Nüchtern betrachtet, hat er dich vergewaltigt. Deine Worte müssen ausreichen, um ihn zurückzuhalten, es sollte nicht erst nötig sein, ihn zurückzustoßen. Was er getan hat, ist absolut nicht in Ordnung!
An deiner Stelle würde ich definitiv mit ihm darüber reden und dann auch gleich Schluss machen, wenn er nicht einsichtig ist.