Solche Gehäuse sind nicht wirklich dazu gedacht, modular zu sein, und lassen keine großartigen Upgrades zu. Den Festplattenkäfig bekommt man vermutlich nur mit Gewalt heraus.
Ich weiß allerdings nicht, ob dein Netzteil von diesem Office-PC genug Leistung für deine Grafikkarte hat. Falls nicht, kannst du dir gleich ein neues Gehäuse plus Netzteil kaufen. Da du geschrieben hast, dass du ihn geschenkt bekommen hast, wird der PC vermutlich schon einige Jahre auf dem Buckel haben, und die Frage ist dann, ob es nicht zu einem Bottleneck zwischen CPU und GPU kommen kann. Ich weiß nicht, was dein Anwendungsgebiet ist, aber du solltest dir überlegen, ob du wirklich auf Basis dieses PCs aufrüsten willst.
Ist der Anwendungsbereich Gaming, solltest du auch daran denken, dass die bereits installierte Festplatte vermutlich nicht viel Speicherplatz bietet, da dies für den Schulbetrieb nicht nötig war. Zudem bietet das Mainboard keine direkte Möglichkeit, eine SSD nachzurüsten. Dafür bräuchtest du einen extra PCIe-Adapter. Dieser ist zwar recht günstig, kann jedoch die Schreib- und Lesegeschwindigkeit einer SSD beeinträchtigen, für den Fall, dass du eine interne SSD einbauen möchtest.