Du gehst am besten auf fritz.box im Browser und loggst dich auf die Box ein. Dann gehst du auf Internet - Zugangsdaten. Dort kannst du "Internet über LAN" auswählen.
Wenn das nicht geht (wie es bei mir war), dann gehst du ebenfalls über Internet - Zugangsdaten und stellst mal so ein wie in meinem Screenshot (also weiterer Internetanbieter in Liste wählen) bis irgendwann der Punkt "externes Modem" kommt. Bei mir ist zwar ein Kabelmodem und kein Glasfasermodem davor, sollte aber sonst identisch funktionieren...