Ich persönlich würde in Ruhe hinfahren (aber vorher ankündigen/abklären!) und dann bei einem netten Gespräch mal das Problem erwähnen/sagen dass es mich stört wenn es passiert. So ist die Wahrscheinlichkeit höher, dass er zuhört, vielleicht ist es ihm ja noch nicht mal aufgefallen.

Vielleicht mal von sich aus einen Urlaub vorschlagen oder planen, damit er mal sich "gezwungen" fühlt, dich nicht zu versetzen (was anscheinend leider nicht selbstverständlich ist). So würde ich das zumindest machen, die anderen Möglichkeiten erscheinen mir doch ein wenig...extrem xD