Habe früher (vor etwa 2 Jahren) auch hexet auf meinem nun in die Jahre gekommenen Macbook pro mit 4 GB ram gespielt. Hatte Hexxit glaub um die 2 GB zugewiesen. Ohne Shader und mit 32 p texturenpaket lief das Spiel auf dem Server flüssig bei ca. 30 fps.
Ist wahrscheinlich ne dumme Frage, aber bist du sicher, dass Hexet wegen dem Arbeitspeicher crasht. Im Spiel gibt (oder gab) es einige Bugs die das Spiel zum Absturz brachten. Beispielsweise Crash beim benutzen eines Zaubertisches. Beheben konnte man dies indem man die Spracheinstellungen auf English zurücksetzte.
Grüsse Andpau200