OK, wow die Lösung war jetzt doch zu einfach um selbst draufzukommen: das Deaktivieren der Devices in den Soundoptionen war die Lösung! Wenn das Gerät erneut angeschlossen wird, bleibt die Deaktivierung gespeichert, und der neu angeschlossene Device wird nicht zum Standard-Gerät!
Ich dachte schon man müsste irgendnen Quatsch im regedit tweaken oder so...