Klar, macht es dich zum Außenseiter. Nüchtern betrachtet macht es dich immer zum Außenseiter, wenn ein Großteil der Menschen um dich rum etwas machen und du darauf verzichtet.
Ob das jetzt gut, schlecht oder schlimm ist, musst du beurteilen! Kann natürlich sein, dass manche dich "komisch" finden, weil du kein Handy hast. Dann musst du entscheiden, ob diese Leute für dich wichtig sind, oder nicht. Wenn jemand dich absolut gern hat, wirds auch kein Problem sein, dass du kein Handy hast.
Ist auch etwas seltsam irgendwie..du machst nicht das, was viele Andere machen und fragst jetzt eine anonyme Community aus anderen Leuten, was du machen sollst :P Mach einfach das, wozu du Lust hast und was du für richtig hältst.
Und ganz abgesehen von alldem ist ein Handy natürlich ziemlich praktisch, wenn man zB mit dem Auto irgendwo im Graben hängt, sich unterwegs verletzt hat oder sonstetwas passiert..