Ja, es ist möglich, die aufgerufenen URLs in der Fritz!Box einzusehen.
Die Funktion ist aber nicht per Standard aktiviert und etwas umständlich.
Mehr dazu findest du hier bei chip.

Grundsätzlich kann jedes Gerät, dass deine Daten passieren lässt die URLs die du aufrufst einsehen. Wenn du ganz sicher gehen möchtest, kannst du ein VPN nutzen. Dieses verschiebt dann das Vertrauen des "Nicht-Einsehens" der Daten vom heimischen Router und Telefonanbieter zum VPN-Anbieter. Viele haben sog. No-Log-Richtlinien. Meine Empfehlung wäre IVPN.