Also ich finde es sollte eher anders herum sein - wenn er mit dir ist: kaum erreichbar, aber wenn er ohne dich ist; erreichbar.
Ich würde ihn nochmal darauf ansprechen & wenn er immer noch weiter macht sofort Schluss machen. Das Ganze kommt mir nämlich ein wenig komisch rüber, wenn es ihm ja garnicht zu interessieren scheint!