Du sprichst da ein interessantes Gedankenexperiment an: Das Fermi-Paradoxon.
Wenn das Universum unendlich groß ist, sollte es auch wortwörtlich alles Mögliche irgendwo im Universum geben.
Demnach gibt es allerdings unendlich viele hochentwickelte Zivilisationen, die durchaus zu anderen Sternen reisen könnten.
Also wieso haben wir noch keinen Kontakt mit Aliens aufgebaut, oder zumindest Spuren von ihnen gefunden?
Darauf gibt es viele interessante Hypothesen, aber wir können natürlich nur spekulieren.