Was ist ein Willkürstaat? Ist das ein Neologismus?

Nein.

Den Begriff gibt es schon länger.

Russland ist einer, also ein Staat ohne Rechtsstaatlichkeit, in dem willkürlich von den Mächtigen bedarfsweise auch an recht und Gesetz vorbei entschieden wird.

Ein Willkürstaat ist ein Staat, in dem es de facto wenig Rechtsstaatlichkeit, d.h. wenig geltendes Recht gibt.

Der Entscheidende/ Richter muss sich also nicht an geltendes Recht halten, sondern handelt eher nach eigenem Belieben bzw Willkür.

Frühe Königreiche oder Barbarenstämme waren z.B. oft Willkürstaaten.

Kein Neologismus, eher eine Tautologie.
Gesetze sind immer Willkür. Manchmal etwas sachlicher, oft auch nicht.