Wegen der durchaus fragwürdingen Antwort will ich jetzt doch mal nachlegen :
Mit der Fritzbox warst du schomal richtig, gibt auf deren Website eine entsprechende Anleitung:
https://avm.de/service/fritzbox/fritzbox-7390/wissensdatenbank/publication/show/228_Internetzugang-fuer-wichtige-Netzwerkgeraete-und-anwendungen-priorisieren/
Ob dein Problem wirklich die anderen Nutzer sind wage ich jedoch zu bezweifeln ich denke eher die Leitung ist schuld ...