Woher es kommt, ist nicht ganz klar, weil die Geste schon so alt ist. Belegen lässt sich ihre Herkunft beispielsweise im Mittelalter aus England, weil der Mittelfinger den Bogen bei der Jagd spannt, und somit ließ sich der erhobene Mittelfinger als Drohung lesen.
Aber bereits in der Antike war der sogenannte "schamlose Mittelfinger" als Verweis auf den Phallus bekannt und galt als obszöne Geste.
Soviel zur womöglichen Geschichte.
Was an einem Finger so schlimm ist? Natürlich die Nachricht, die er als Symbol transportiert. Wem ich meinen Mittelfinger aufgerichtet hinhalte, dem zeige ich eben nicht nur einen von zehn Fingern, sondern auch meine Geringschätzung.
Die rausgestreckte Zunge, das Finger-an-die-Stirn-Tippen - alle möglichen obszönen und beleidigenden Gesten sind ja an sich nur vorgezeigte harmlose Körperteile.
Aber man könnte sogar noch weiter gehen mit Deiner Frage: Was ist schlimm an einem Hintern oder an einem echten Penis? Sind ja alles normale Körperteile wie Arm und Hand und Ohr, und trotzdem unterscheiden wir relativ willkürlich zwischen "anständigen" und "unanständigen" Körperteilen...