Was würde passieren, wenn die AfD die Mehrheit der Stimmen hat, indes keine Partei mit ihr koalieren möchte?

Das wird nicht passieren. Und die Frage ist zudem, ob unser Präsident einen AfDler bzw. deren Kanzlerkandidaten vorschlagen würde. Er beobachtet zuvor ja das politische Geschehen. Die AfD bräuchte also viele Abgeordnete. Der AfDler müsste nämlich die absolute Mehrheit auf sich vereinigen. Klappt das nicht, so kommt es zur einer zweiten Wahlphase. Hier müssten die Parlamentarier Vorschläge machen, man benötigt ein Viertel der Abgeordneten hinter sich. Der potentielle Kandidat bräuchte dann aber erneut die absolute Mehrheit. Klappt das wieder nicht, würde eine relative Mehrheit reichen. Der Präsident könnte in diesem Fall aber Nein sagen und den Bundestag auflösen.

Das was du meinst ist etwas anderes. Ich gehe davon aus dass du meinst, die AfD bekommt die meisten Stimmen. Damit hätte sie zwar das Recht eine Regierung zu bilden, aber keine Mehrheit weil niemand mit ihr koalieren will. Eine Mehrheit hätte sie erst dann, wenn sie über 50% liegt. Dann bräuchte sie niemanden mehr zum koalieren. Das wird jedoch nicht passieren.

Dafür gibt es genügend Beispiele - mit Ausnahme der Wahl 1972 hatte während der sozialliberalen Koalition (1969 - 1982) die CDU/CSU immer mehr Stimmanteile, gleichwohl hatte die Koalition aus SPD und FDP eine Mehrheit. Hier ist ähnliches anzunehmen, es wird sich eine Mehrheit jenseits der AfD finden.

Hat die Partei die absolute Mehrheit muss sie keine Koalition eingehen sondern kann allein regieren. Wenn es nicht reicht für die absolutee Mehrheit und sei es auch nur knapp, so können theoretisch die anderen Parteien sich zusammenschließen um die Mehrheit zu erreichen, ob das klappt ist natürlich die andere Sache.

Hätte die AFD z.b. 49% der Sitze und die anderen 51% dann würden sich wohl alle anderen zusammen tun um gemeinsam die Mehrheit zu haben. Dann müssten die aber so viele Kompromisse machen daß letztendlich gar nichts mehr raus kommt.