Du brauchst einfach einen kleinen Switch. Da der Aufpreis ein paar wenige Euro sind, solltest du natürlich einen Gigabit-Switch nehmen. Beispiele: https://www.idealo.de/preisvergleich/ProductCategory/3104F1135596.html
Ein Switch ist im Netzwerk das, was du beim Strom als Mehrfachsteckdose kennst -> einfach an einen der Ports das Kabel vom Router rein und an die restlichen Ports deine Endgeräte. Du kannst Switches auch einfach kaskadieren...
Zur Antwort von Nemesis900: NEIN, ein Switch teilt keine Verbindungen, sondern das ist eben gerade der Unterschied zu einem (alten) Hub: Bei einem Switch hat jeder Port die volle Gigabit-Geschwindigkeit. Nur die Internet-Leitung (also vom Router zum Provider) ist dann das "geteilte Nadelöhr"...