Wenn ich eine externe Festplatte mit USB-Anschluss mitlaufen lasse, kann ich dann den PC ganz normal abschalten, oder muss ich "Hardware sicher entfernen"? Was könnte im schlimmsten Fall passieren, wenn ich einfach abschalte?

Die kannst Du - sogfern nicht gerade daten transferiert werden -genauso entfernen wioe einen USB-Stick, also ohne besondere Vorkehrungen.

Nach dem Schreiben auf das USB-Gerät solltest du noch einen kleinen Moment warten, bis die Daten wirklich auf dem USB-Gerät "angekommen" sind. Danach könntest du einen USB-Stick abstecken.
Bei einer Festplatte ist das einfache Abstecken aber nicht zu empfehlen. Dort solltest du die Funktion zum "sicheren Entfernen" nutzen. Diese sorgt auch dafür, dass die Festplatte sich korrekt abschaltet und ihre Schreib-/Leseköpfe in Parkposition bringt.
Wird der PC, so wie es sich gehört, bei der Außerbetriebnahme ordentlich heruntergefahren, passiert der Festplatte nicht. Nach dem der PC sich selbst abgeschaltet hat, kann man auch die Stromversorgung der Festplatte abschalten. Bei der Inbetriebnahme in umgekehrter Reihenfolge vorgehen, erst den PC ordentlich hochfahren, dann die externe Festplatte einschalten. Wird die Festplatte bei laufendem Betrieb entfernt, sollte man immer über die Funktion sicheres Entfernen gehen, um Datenverlust oder noch schlimmer, den Verlust des Datensystems zu riskieren. Dann sind u.U. alle Daten auf der Festplatte verloren!

Ich nutze sehr lange eine externe Festplatte, nachdem ich mich vergewissert habe, dass kein Datenverkehr stattfindet, schalte ich sie ab, wie meine vorredner schon gesagt haben. Allerings muss man aufpassen, wenn du textverarbeitungsprogramme etc. offen hast, die mit dem Dokument, welches auf deinen externen gespeichert ist, arbiten. So hatte ich ein Dokument offen, habe die externe abgeschaltet und in dem selben Moment wollte das Programm eine Sicherungskopie erstellen. Das hat mein Dokument zerstört.