Erste Option wäre natürlich ansprechen. Wenn dir das zu unangenehm ist kannst du dich ja mit anderen Nachbarn treffen, die sein Verhalten ebenfalls beobachtet haben und sich auch von ihm gestört fühlen und ihr könnt ihn dann in einer Gruppe zur Rede stellen.
Vielleicht hat er ja eine Ehefrau oder einen Ehemann oder wohnt sonst mit jemandem zusammen, dem man davon erzählen könnte. Das wäre zwar ein wenig mehr hinterrücks, aber es würde sicherlich was bringen.
Bist du der Meinung er würde nur dich beobachten ist vielleicht ein Gang zur Polizei die richtige Option. Das hört sich vielleicht ein wenig extrem an, aber Stalking und Voyeurismus ist eine ernste Angelegenheit und kann schnell eskalieren. Du hast auch oben von Pedophilie gesprochen, die Polizei reagiert bei einem Verdacht da drauf für gewöhnlich recht diskret und schnell. Wobei man natürlich auch immer Beweise vorlegen, oder zumindest den Verdacht begründen muss.
Wenn es nicht gleich so extrem ist, ist der Tipp mit dem zurück starren ganz gut. Vielen Leuten wird klar wie gruselig und unangenehm sie sich benehmen, wenn ihnen sozusagen ein "Spiegel" vorgehalten wird.