Muss man beim Reinigen eines Laptops den internen Akku abziehen, auch wenn man nur z. B. Staub entfernt?

Jain...

Also muss man in der Regel nicht zwangsläufig, es wäre aber definitiv kein Fehler, diesen zur Sicherheit abzustecken.

Nein musst du nicht.
Empfehlenswert ist, dass das Gerät nicht im Standby sondern wirklich aus ist.
Weiterhin sind die Lüfter bzw. dies Gitter super gut mit Druckluft zu reinigen, aber ganz wichtig ist dabei:
- Halte den Lüfter mit einem Zahnstocher oder ähnlichem fest. (aus Sicherheitsgründen nicht metallisches - also leitendes)

Tust du das nicht, überdreht der Lüfter, also dreht schneller als er sollte und beim nächsten mal einschalten hörst du dann ein tolles Rasseln, was dann ein Lagerschaden des Lüfters ist. Der kann nicht behoben werden ohne den ganzen Lüfter aus zu tauschen. (Lagen tauschen im Lüfter - für super Frickler ja, normal Menschen nein)
-> Geht gerne schnell ins Geld - und wenn nicht Lieferzeiten aus Chinesistan. Falls man überhaupt passenden Ersatz findet

Also Zahnstocher in den Lüfter mit Druckluft auspusten - Gute Idee.

Wenn sonst das Notebook einfach zu Warm wird und die Lüfter einfach immer Vollgas, geh zum PC Frickel um die Ecke und er soll die Kühlerleitpaste erneuern.
Das ist, einfach eine Art Spachtel Masse die die wärme vom Chip in den Kühler ableitet. Nach 2-3 Jahren härtet die aus und ist das wie Putz an der Wand in feiner.

Wenn die in dem Zustand ist, wird die wärme auch nicht mehr entsprechend weitergegeben.

Hoffe mit der Info konnte ich weiterhelfen. Viel Erfolg!