Hallo Kingi.
Deinstallieren kannst du die Nvidia Treiber über die Systemsteuerung -> Programme deinstallieren. Dann wird Windows aber auf seine Standard Treiber zurückgreifen, da Windows IMMER versucht einen Display Treiber zu nutzen und zu installieren (gleicher Fall wenn die Deinstallation über den Geräte Manager abläuft).
Wenn Du die Grafikkarte wechselst musst du aber nicht unbedingt die Treiber deinstallieren. Fahre deinen PC herunter, trenne ihn vom Strom, wechsel die Karte und fahre ihn wieder hoch. Die aktuellen Windows Versionen machen dann den Rest.
P.s.: Bei den offiziellen Nvidia GeForce Treibern kannst du bei der Installation auswählen ob die alten Treiber verworfen werden sollen und das Setup eine Neuinstallation vornehmen soll.
Gruß