Natürlich hat jeder seine Privatsphäre und manche Konversationen sind nun mal sehr privat. Vllt haben Freunde ihm Geheimnisse oder Probleme anvertraut, die nicht an Dritte weitergehen sollen. Sowas muss man akzeptieren und es bedeutet noch lange nicht, dass er dir fremdgeht. Du kannst ihn ja mal fragen, warum er etwas dagegen hat.
Dreht er sich allerdings immer zur Seite wenn du neben ihm sitzt und er gerade mit jemandem schreibt oder hat leicht aggressive Züge, würde ich mir Gedanken machen