In der Öffentlichkeit trägt man in der Regel Jeans (oder ähnliches).
Es wirkt eben asozial, weil es von vielen aus TV & Problemviertel so assoziiert wird (schalte mal RTL oder ähnliche Sender ein).
Des Weiteren sieht eine Schlabberhose nicht wirklich elegant und seriös aus. Ich persönlich finde es übrigens auch schrecklich, wenn Menschen graue Stoffjogginghosen tragen. Das aber auch nur, weil die meisten Menschen, die sowas tragen, im Gesamten weniger sozial wirken.