Hallo,
naja es gibt schon ein paar Raupen die gefährlich sein können und heftige Reaktionen beim Menschen auslösen können. Mit denen ist nicht zu spaßen. Solche Exemplare sollten dann auch dringend entfernt werden. Der Eichenprozessionsspinner beispielsweise ist einer dieser Kandidaten. Wenn es sich um diese Raupe handelt, solltest du wirklich auf Abstand gehen. Wie sehen die Raupen den genau aus? Du könntest ja ein Foto von denen machen und einen Spezialisten fragen, wenn es dich beruhigt.