Ähnliche Situation bei mir. Man kann am Hauptrouter ein LAN Kabel anschließen und diesen dann bis hoch zum anderen Router ziehen. Den zweiten Router muss man aber so konfigurieren, dass der als Access Point funktioniert. Also der DHCP muss vom Router in der Unteren Etage übernommen werden. Bei der FritzBox ist das recht einfach, da drückt man einfach in den Einstellungen auf "als Repeater verwenden".
Das bereits gezogene Kabel nützt dir nur dann was, wenn es ein Netzwerkkabel ist, also LAN (Cat 5 - Cat 7 ist am sinnvollsten)