Im Endeffekt liegt die Entscheidungsgewalt, wer sich in der Wohnung aufhält beim Mieter der Wohnung in der ihr wohnt. Also vermutlich deine Mutter. Wenn mehrere Leute im Mietvertrag stehen können Entscheidungen darüber wer sich in der Wohnung aufhalten darf nur gemeinsam von allen Mietern der Wohnung getroffen werden. Also wenn er irgendwie handgreiflich wird sollte es ausreichen die Polizei zu rufen und ihn aus der Wohnung entfernen zu lassen. Ähnlich dürfte es sich verhalten, wenn er mit Beleidigungen um sich wirft, bzw. ihr euch durch einen Wutausbruch bedroht fühlt.
Ansonsten, wenn das so eine riesige Belastung für euch ist, würde ich das an eurer Stelle auch nicht aushalten wollen. Ich würde an deiner Stelle zuerst einmal mit deiner Mutter unter 4 Augen reden und mit ihr gemeinsam einen Plan schmieden, wie ihr wieder ein angenehmes Leben führen könnt. Entweder ihr müsst X irgendwie rauswerfen, oder vielleicht ist es dir auch zeitweise möglich bei einer Freundin zu wohnen?
Ich habe dir hier mal ein paar Links herausgesucht, die vielleicht die rechtliche Lage etwas besser beleuchten können als ich:
https://www.morgenpost.de/ratgeber/familienrecht/article207279859/Familienrecht-Duerfen-wir-unseren-Sohn-rauswerfen.html
https://www.frag-einen-anwalt.de/volljaehrigen-Sohn-vor-die-Tuer-setzen--f167901.html
https://www.frag-einen-anwalt.de/Rauswurf-des-volljaehrigen-Sohnes-Unterhaltspflicht--f219204.html
Das hier passt zwar nicht ganz auf die Situation, aber geht um etwas ähnliches:
https://www.frag-einen-anwalt.de/Partner-aus-der-eigenen-Wohnung-werfen--f75117.html
Eventuell lohnt es sich für euch auch mal auf dieser Seite um Rat zu fragen.
Was genau sind denn die Konsequenzen, die du/ihr durch einen Rauswurf von X fürchtest?