Also grundsätzlich empfindet man jemanden (kann auch ein Ort sein) unsympathisch wenn einem irgendetwas an ihm missfällt und unangenehm erscheint. Das kann an etwas liegen, was die Person sagt oder tut, das kann auch an Äußerlichkeiten oder am Geruch der Person liegen, der einem entweder bewusst oder auch nur unterbewusst nicht zusagt. Wie beschrieben, es gibt eine Vielzahl bewusster und unbewusst empfundener Gründe, warum einem jemand sympathisch oder unsympathisch erscheint.
An deiner Stelle würde ich mir da auch keine Gedanken machen, warum dieser Betrunkene dich als unsympathisch betitelte, kann ja sein, dass du ihn an seine Ex erinnert hast, die ihn verlassen hat oder einfach nur, weil er im Suff verwirrt war. Spielt letztlich keine Rolle, denn du musst ja auch nicht jedem sympathisch sein. So wie du geschrieben hast, kommst du auf jeden Fall sympathisch rüber.