Für den fall, dass jemand das gleiche Problem hat:
Bei mir war der Internetanbieter schuld! Ich musste bei diesem "Dynamische IP Vergabe" aktivieren, damit die PS5 permanent einen gescheiteren NAT-Typ erhält. Der Fehler lag also nie bei mir direkt! Wer also Probleme mit dem Matchmaking hat sollte seinen Internetanbieter anrufen, und dort einmal nachforschen und ggf. die Option freischalten lassen.