Habe jetzt mal in meinen Routereinstellungen rumgefriemelt und jegliche Anwendungen/Geräte, die unter Latenz litten priorisiert. Das hat aber nicht auf anhieb geholfen; erst als ich auch alle ECHTZEITanwendungen z.B. der PS4 priorisiert habe, gibt es keine Latenzprobleme mehr. Fritz!Box unterscheidet irgendwie nochmal zwischen den einzelnen Priorisierungen.
Das Problem ist also gelöst, danke für die Hilfe.