Ist es in Ordnung und höflich wenn ich ein Kopfhörer runter mache und den anderen im Kopf habe um mit der anderen Person zu reden oder beide rausnehmen?

Kopfhörer zu tragen finde ich generell unhöflich in der Öffentlichkeit. Genauso wie Airpods oder ähnliches.

Im Normalfall beide rausnehmen. Ausnahmen würde ich nur bei engen Kumpels oder Verwandten wie Mutter machen, die dich gut verstehen und dir das nicht krumm nehmen, wenn das Gespräch nur aus einer kurzen Zwischenfrage besteht, nach der man sofort wieder weiterhört.

Es ist genau so Unhöflich, wie Handy am Ohr, wenn du mit Jemanden redest.

Also alles raus und Ausschalten.