Ich weiß wie schwer das Physikstudium ist, ich studiere selbst Physik und habe mit Mathe ähnliche Probleme, die aber die meisten in meinem Jahrgang haben.
Ich spiele ebenso mit dem Gedanken aufzuhören,da ich sehr viel Stress habe und das Studium extrem zeitaufwändig ist und zu den 'schwersten' Studien zählt die es gibt. Wenn es dich WIRKLICH interessiert, dann solltest du es schon weiter machen, aber wenn du große Probleme mit Mathe hast wirst du ein Problem bekommen, da man in der Physik extrem viel Mathe braucht, auch in späteren Semestern.
Wenn du genügen Zeit/Geld hast um eine längere Zeit zu studieren ist Mathe aber, meiner Meinung nach, schaffbar.
Eine Umorientierung nach einem Jahr ist überhaupt nicht schlimm, es ist eher normal. Fast keiner macht den Abschluss in dem Studium was er als erstes Studiert hat.
Bei meiner Uni sind alle Vorlesungen öffentlich, das heist du könntest dich in jede Vorlesung setzen, an der du Interesse hast. vielleicht findest du so neue Anreize für andere Studienzweige!
Ich hoffe ich habe dir geholfen
Lg Chris