Forum auf eigenem Server?

Ja, man kann auch einen eigenen Server, bspw ein Raspberry Pi für kleine Anwendungen, verwenden. Dabei ist man dann aber mit der kompletten Server Pflege betraut, d.h. Sicherheitschecks, Update- und Backup-Management, Sicherheitslücken selbst beheben, das eigene Netzwerk effektiv schützen und vieles mehr. Dazu braucht es natürlich eine entsprechend schnelle Internetverbindung v.a. im Upload.

Der Aufwand kann sich lohnen, tut es meist für Privatpersonen aber nicht, wenn der Dienst auch externen zur Verfügung stehen soll.

Beispiele :

• Private Nextcloud für sich und die Familie? Das kann man auch daheim hosten mit entsprechendem Aufwand. Da soll ja sonst keiner Zugriff haben und wie oft greift man unterwegs auf große Datenmengen zu?
• Öffentlicher Minecraft Server oder ein Forum oder PeerTube Server? Das hostet man besser bei einem Anbieter, der mehr Datentransfer, größere Sicherheit und Speicher bietet. Dazu hat man dann nicht die ganzen Fremden im Privatnetz.

Würde theoretisch auch ein eigener Server gehen, den man Vorort hat

Selbstverständlich!

Und hat ein Server dann auch ein Betriebssystem, mit dem das Forum betrieben wird?

Wenn du kein Betriebssystem auf dem Rechner hast, kannst du auch keine Serversoftware zum Laufen bringen.