Kauf dir einfach eine neu Kasette, mir wäre es nämlich zu riskant so rumzufahren und irgendwo im Wald geht dann was schlimmeres kaputt. Wahrscheinlich sind die Bolzen die die Ritzel zusammenhalten beschädigt oder locker. Du brauchst dann noch ein Kasettentool bzw. Lockringtool was du auf deine Ratsche oder am besten Drehmomentschlüssel stecken kannst. Bei Fahrrad.de bekommst du eine von sunline (oder so XD) für 30 Euro mit größer Bandbreite. Oder du gibst etwas mehr aus für hochwertigere Materialien. Aber glaub mir wenn du die Kasette auswechselst musst du nicht gleich den ganzen Antrieb erneuern. Habe bei meinem Downhill Bike auch nur die Kasette gewechselt und es funktioniert einwandfrei. Musste noch nicht mal die Schaltung einstellen.

P.S. Hol dir ein Lockringtool mit Dorn, das hat deutlich bessere Führung und mehr Sicherheit vor Abrutschen.