So, auch wenn es hier für diesen konkrete Fall wahrscheinlich zu spät sein wird, ich habe ein LÖSUNG gefunden!! :)

tl;dr: Auf altem Handy die alte Nummer zu der neuen Nummer ändern, DANACH dann auf dem alten Handy Backup machen (auch wenn ihr es schon davor gemacht hattet, nochmal mit der neuen Nummer sichern), und DANN erst! auf dem neuen Handy Whatsapp verifizieren. Ggf. WhatsApp auf dem neuen Handy reinstallieren.

Das Problem was ich hatte war, dass ich das Google Drive Backup noch über die ALTE Nummer gesichert habe. Als ich das Backup dann wiederherstellen wollte auf dem neuen Handy mit der neuen Nummer, konnte es das nicht tun, weil das Backup in dem Drive so gespeichert ist, dass es nur mit der gleichen Nummer wiederhergestellt werden kann (wahrscheinlich aus Sicherheitsgründen). Aber nochmal alles ganz ausführlich:

Neues Handy mit neuer Nummer: Zuerst habe ich ein Backup gemacht über das Whatsapp Menü (mit der alten Nummer auf dem alten Handy). Dann habe ich die Nummer geändert (immer noch auf dem alten Handy). Dann habe ich Whatsapp auf dem neuen Handy (mit neuer Nummer) geöffnet und dort die neue Nummer verifiziert. Das hat auch alles geklappt, Whatsapp auf dem alten Handy ging dann auch nicht mehr, als er mich dann auf dem neuen Handy nach dem Backup gefragt hat, hat er es auch gefunden, aber konnte es nicht wiederherstellen. Was ich dann gemacht habe:

Wieder meine Nummer zurückgeändert, also vom neuen Handy wieder auf das alte, mich dann dort verifiziert und dann war alles wieder wie vorher (ich hatte sogar auf dem alten Handy Whatsapp deinstalliert, weil ich es irgendwo als Tipp gelesen hatte, heißt selbst auf dem alten Handy waren eigentlich schon alle Chats weg, aber ich konnte es über das Backup (weil es ja die gleiche alte Nummer war) wiederherstellen). Dann habe ich die Nummer erneut geändert (wir befinden uns grad beim alten Handy), und DANN! nochmal ein Google Backup gemacht. Solange ihr die Nummer noch nicht verifiziert habt auf dem neuen Handy kann man die App auf dem alten Handy immer noch nutzen, ist dann nur so, als ob man einfach eine neue Nummer nutzt. Und genau dann müsst ihr das Backup machen, weil dann dort eure Nummer drin steht im Backup. Wenn das alles geladen hat (Achtet auch darauf, dass ihr genug Speicherplatz habt auf dem alten Handy um das Backup zumachen, war bei mir glaube ich auch ein Problem), dann öffnet ihr auf dem NEUEN Handy die App und verifiziert euch und dann sollte das Backup klappen.

Falls er euch aber nicht fragt, wie es auch bei mir war, einfach die WhatsApp deinstallieren (auf dem neuen Handy) und neu herunterladen, dann hat er mich nach dem Backup gefragt und siehe da, ES HAT GEKLAPPT!!

Ich hoffe, ich konnte wenigstens einem damit weiterhelfen :)