Ursachen gibt es viele.
Zum Beispiel ist da die erste Frage, ob du per LAN oder WLAN dich verbindest?
Sollte es per WLAN sein, so stören metallische Gegenstände das Signal.
Allein schon, wenn man einen Kühlschrank im Weg hätte, kann das Signal 100x schlechter werden, aber auch unscheinbare Dinge wie Fernseher und so. Auch die Wände und Luft behindern das Signal, jedoch brauchst du dich darum nicht wirklich kümmern.
Solltest du per LAN zum Modem gehen, müsste man eher von einem Kabelbruch ausgehen, weil du ja schon bis zum Gateway 300ms brauchst, und hier liegt der Wert für gewöhnlich bei <1ms. Auch hier kann es sein, das andere Kabel mit ihren Magnetfleder evtl. dein LAN-Kabel beeinflusssen und auch so das Signal stören.
Sinnvoll wäre zu wissen, wie du zum Modem gehst, wobei ich dir heutzutage eher einen Router empfehlen würde :)! Damit ist es nach außen hin schneller.