Beides sind Video encoder, aber ich habe im Internet keinen direkten vergleich der beiden gefunden.

Das FFmpeg-Projekt besteht nicht nur aus dem ffmpeg-Programm selbst, sondern ist eine großartige Open-Source-Programmbibliothek (genauergesagt mehrere, libavformat und libavcodec), die von anderen Programmen verwendet werden kann und die praktisch alles beinhaltet, was man zum de- und encodieren der meisten Videoformate- und Codecs braucht. Zum Beispiel sind der VLC-Player, ffdshow und auch MPlayer und MEncoder um diese Bibliothek gebaut.
Es dürfte also keinen großen Unterschied machen, ob du das ffmpeg-Programm oder MEncoder verwendest. ffmpeg ist nur ein kleines (4000 Zeilen) Beispielprogramm, dass das nach außen zur Verfügung stellt, was die ffmpeg-Bibliothek kann; MEncoder macht ein paar Dinge anders und hat noch ein mehr Features, z.B. Unterstützung für Formate oder Codecs, die ffmpeg alleine nicht unterstützt, und es ist vielleicht etwas benutzerfreundlicher.