Ich sage mal so, der Typ sucht sich das im dem Moment auch nicht aus. Vllt ist es ihm auch genau so unangenehm wie dir.
Zumindest zeigt das, dass er dich offensichtlich sehr attraktiv findet.
Wenn er dich fragt ob du mit in seine Wohnung kommen möchtest und du das nicht willst, lehn höflich ab.
Solange er dich nicht drängt oder übergriffig wird, ist das aus meiner Sicht her kein Problem. Sollte das der fall sein, würde ich dir natürlich empfehlen den Kontakt abzubrechen.