Diese Frage wird Dir hier niemand ernsthaft beantworten können, weil das nur Euch vier etwas angeht (Dich und Deinen Mann und Deinen Freund und dessen Frau).
Meine persönliche Einschätzung: Ich könnte so nicht leben und ich könnte auch meiner Familie nicht so weh tun - lügen (und nicht anderes ist eine Affäre im Grunde genommen) ist nicht meine Sache. Könntest Du Dir wirklich ein Leben mit dem Freund vorstellen??? Oder ist das "nur" das Verbotene, was Dich reizt?
Was empfindest Du denn noch für Deinen Mann? Hast Du mal mit ihm darüber gesprochen? Nicht vorwurfsvoll, was er alles falschmacht, sondern einfach mal darüber, was DU empfindest und Du unsicher bist, ob Du diese Ehe noch willst...
Wegen der Kinder zusammenbleiben....?! Schwierig. Deine Kinder merken doch, dass da etwas ist (ein fremder Mann, keine Liebe mehr zwischen den Eltern), auch wenn sie es vielleicht nicht so genau artikulieren können. Die Frage ist, ob Du mit ausharren Deinen Kindern wirklich einen Gefallen tust.
Alles in allem: eine sehr komplizierte Frage, deren Antwort nur Du finden kannst. Vielleicht solltest Du Dich aber mal beraten lassen. Es gibt geschulte Menschen, die Dich bei der Entscheidungsfindung unterstützen können (zB Familienberatungsstelle). Versteh mich nicht falsch, aber Du scheinst überfordert mit der Situation.
Alles Gute für Dich!