Hallo,
das ist ganz normal das dein Vermieter sagt das du noch nicht kündigen kannst. Der Vermieter hätte dadurch ja nur Nachteile (neuen Mieter suchen, Renovieren, etc..).
Aber solche Klauseln in den Mietverträgen haben meistens "Hintertüren" und du kannst doch schon viel früher aus deinem Vertrag raus. Das solltest du auf jeden Fall prüfen lassen!
Am besten du lässt dich mal beim Mieterbund oder bei einer Anwaltshotline z.b. rechtsberater de oder anwaltshotline oder so beraten.
Auf jeden Fall ist bei Schimmel eine Mietminderung möglich! Diese kannst du glaube ich auch Rückwirkend beantragen solange du belegen kannst das der Vermieter vom Schimmel wusste und nichts unternommen hat.
Es gibt auch Portale bei denen man die Wohnung und den Vermieter bewerten kann. Da solltest du unbedingt auch eine Bewertung abgeben um mögliche Nachmieter zu warnen!
Viel Erfolg!