Probier es mal mit einer anderen Version von Optifine.
Du suchst dir die Spielversion raus, also z.B. 1.19 und dann klickst du auf + More und probierst eine ältere version aus. Optifine ist eine "Client Side Mod", wie Just Enough Items und muss daher nicht vom Server unterstützt werden.

Eine komplette Liste der Mods und der Forge Version wäre gut zu wissen