Ich finde die ganzen "Mach, was du willst" oder "Ist doch alles relativ" Antworten ein wenig irritierend. Du hast eine ziemlich klare Frage gestellt, basierend auf dem, was dir ein Veganer gesagt hat - der sich bei seiner Aussage aller Wahrscheinlichkeit auch was gedacht hat.
Erst Mal, pauschal: Nein, vegetarisch zu essen ist nicht schlimmer als Fleisch zu essen. Ja, auch für Milch und Eier, etc. leiden jedoch Tiere, da diese aus der gleichen, oftmals schrecklichen Haltung stammen, wie das Fleisch.
Für mich hört es sich sehr an, als würde dieser Freund von dir sagen wollen: "Guck Mal, du wirkst trotzdem noch an Massentierhaltung mit, und ich nicht - das heißt ich bin gut, und alle anderen nicht, nur weil ich schlechte Tierhaltung noch weniger unterstütze."
In einer idealen Welt könnten Menschen Milch und Eier konsumieren von Tieren, die nicht im Überschuss oder unter Qualen gehalten werden, und uns stattdessen nur so viel geben, wie sie haben. Darauf kannst du auch jetzt schon arbeiten, indem du sicher stellst woher eigentlich deine Milch und Eier (und Honig) kommen.
Nichtsdestotrotz machst du als Vegetarier trotzdem einen größeren Unterschied als Fleischesser; Hühnerküken werden nicht geschreddert, zum Beispiel. Fische bräuchten nicht mehr im Übermaß gefischt zu werden. Tiere, von denen keine Milch oder Eier gewonnen werden, würden nicht mehr für ihr Fleisch getötet werden müssen. Herstellung von Fleisch für Läden, etc. benötigt ebenfalls Extra-Ressourcen.
So wie auch Menschen, die ihr eigenes Essen jagen und das nur in Maßen, moralisch "besser" sind (was den Aspekt betrifft) als der normale Ottoverbraucher Fleischesser, so sind es auch Vegetarier. Und klar, vegan zu leben ist dann noch Mal 'ne Schippe besser.
Im Endeffekt können Menschen aber auch nicht Leben, ohne zu zerstören (zumindest so, wie wir heute leben). Denkst du dein Freund isst nie Avocados oder sonst ein Obst oder Gemüse, das umweltschädlich hergeflogen wurde? Woraus ist sein Handy gemacht? Wer hat es gemacht? Was ist mit seinen Möbeln? Seinen Collageblöcken? Hygieneprodukte?
Das Einzige, was du tun kannst, ist es dein Bestes zu geben und dein Leben zu leben. Ja, es ist gut Fragen zu stellen und Recherche zu betreiben, damit du hoffentlich gute Entscheidungen treffen kannst. Du kannst dich darüber informieren, und dann schauen, ob du dich vegan ernähren möchtest, da es gute Gründe dafür gibt.
Du kannst dich auch dagegen entscheiden. Oder für einen Mittelweg, dass du zum Beispiel öfters vegan isst. Egal, welche Entscheidung du im Endeffekt triffst, es ist deine Entscheidung. Mit dieser musst du leben.
Lass' dich von Anderen deswegen nicht runtermachen, dafür, nicht perfekt zu sein. Niemand ist das, und jeder kann selber entscheiden wo und wie viel er tut, um "gut" zu sein.
