Das selbe Problem hatte ich auch, das einzige was du machen musst ist in der Config File bei
AllowedIPs
diese IP einzugeben und alles andere löschen im dieser Zeile.
Wenn du zb dein ganzes Heimnetz erreichen willst aber sonnst nichts anderes über VPN kannst
192.168.178.1/24
dort eintragen.