Man kann aus deiner Frage herauslesen, dass du dir sehr viele Gedanken gemacht hast und es sich nicht um eine leichtfertige Entscheidung aufgrund fehlenden "Bock" handelt.

Ich bin ebenfalls dafür, das Pferd abzugeben.

Allerdings würde ich dir dann im Anschluss empfehlen, erstmal wieder "nur" Unterricht auf Schulpferden zu nehmen, bis du sicherer bist.
Lerne viele verschiedene Pferde kennen und mit ihrem Temperament umzugehen. Lerne, in dir zu ruhen und insgesamt entspannter zu werden.

Vielleicht schaust du dir auch mal autogenes Training an.

Ein Pferd spiegelt dich - wenn du danach das nächste Pferd kaufst, wird auch das deine Unsicherheit und Unruhe annehmen und ihr werdet euch wieder hochschaukeln.

Vielleicht ist das nächste Pferd nicht so empfänglich dafür, vielleicht aber auch noch mehr als deine Stute.

Der Charakter eines Pferdes ist festgelegt, ja. Aber es hängt massiv vom Menschen ab, welche Züge sich zeigen und welche zurückgestellt werden.

Ich kann zB mit so ziemlich jedem Pferd überall hingehen. Ich weiß, was ich tue, ich strahle Kompetenz und Sicherheit aus. Das Pferd stellt nicht in Frage, ob es sicher wäre, mit mir mitzugehen oder nicht.
Genauso ist es bei dir. Du bist schnell verunsichert, das sendet an das Pferd natürlich eine Botschaft. Es fragt sich, was der Mensch da oben wohl gesehen hat, was ihn verunsichert. Ein Säbelzahntiger hinter dem Stein dort? Ein Metzger in der Hallenecke?
Es wird selbst unruhig und versucht, eine potenzielle Gefahr wahrzunehmen, die du ja anscheinend schon gesehen hast.

Ein Teufelskreis, den du nur selbst durchbrechen kannst.

Such der Stute ganz ohne Zeitdruck einen passenden Menschen, lass diesen Menschen mehrmals kommen und die Stute in verschiedenen "Launen" erleben. Du wirst bestimmt ein Gefühl bekommen, ob das passen kann oder nicht.

Alles Gute für das Pony und dich.