Du musst mit ihm darüber reden, wenn's dich wirklich stört. Sag ihm einfach dass du das nicht schön findest wenn er sowas sagt und entweder er versteht es oder net. Ich würde mal sagen du hast nix zu verlieren also Versuch es einfach mal. Es ist möglich dass er dann kurz eingeschnappt ist, aber er wird sich wieder beruhigen.
Und Chill mal ist eigentlich eine normale Reaktion nur manche verletzt es aber ich bin mir sicher das er es nicht abwertend meint.