Also, bin jetzt in der 12. (sprich, mache gerade Abi) und bin auch im Physik-LK.
Wir haben auch einige im Kurs, bei denen bei 1+1 4 rauskommt, aber die trotz dessen auf 12 Punkte stehen.
Dein Mathelehrer hat an sich recht, Mathematik ist relativ wichtig für die Physik, aber es geht - im Gegensatz zur Mathematik - bei der Physik nicht darum Dinge herzuleiten, zu beweisen o.Ä.
Es genügt meiner Meinung nach wenn du mit Gleichungen umgehen kannst (natürlich mit Taschenrechner), da es in der Schulphysik so ist, dass du Gleichungen bekommst (manche Lehrer leiten diese her, aber das ist für Klausuren etc. irrelevant), und mit Hilfe der Gleichungen dann Werte errechnen musst.
Dies sollte kein Problem sein, wenn du in die Oberstufe kommst, denn das ist Mathe der Klassen 5-7, maximal!
Insgesamt würde ich dir raten, dich mit deinem jetztigen Physiklehrer zu unterhalten, denn dein Mathelehrer kann dir da wenig zu sagen.
Aber an sich sollte es kein Problem sein, denn "echte" Mathe ist wesentlich komplexer als Mathe der Physiker!
Falls du jedoch vor hast Physik zu studieren, würde ich dir raten, dich mit Mathe auseinanderzusetzen, denn du musst (so wie ich das mitbekommen habe) Mathe studieren (ich habe jetzt neben der Schule 1 Semester Ana I studiert und fange jetzt an mit Ana IIa + IIb, wobei in I und IIa viele Physiker sind), wobei ich aber nicht weiß, ob man bestehen muss oder ob die Teilnahme reicht (fast alle Physiker haben die Klausur nicht bestanden, aber ich studiere lediglich Mathe [Ein-Fach Bachelor], deswegen kann ich dir da keine weitere Auskunft geben)