Falls noch jemand das Problem hat, glaube ich habe es herausgefunden. Am Radio muss noch der gelbe Stecker mitangeschlossen werden.
Das heisst, man braucht ein anderen Adapter.
Aktiv System Radio Adapter für Audi A2 A3 A4 B5 A6 A8 TT Bose DSP Kabel 100W https://www.amazon.de/dp/B007JSB7SK/ref=cm_sw_r_cp_api_i_qi-5CbPQC63CY