Im Grunde liegt die Antwort schon ein Stück weit in der Frage: Menschen ohne Gewissen treiben weiter ihr Unwesen, weil sie kein Gewissen haben, das sie zurückhält. Ein schlechtes Gewissen fühlt sich schlecht an und in der Regel wollen Menschen sich nicht schlecht fühlen. Sprich ein schlechtes Gewissen kann dazu führen, dass man eine Handlung nicht mehr ausführt, weil sie einem negative Gefühle einbringt. Fehlt das Gewissen, fehlt auch ein Mechanismus, der zur Selbstkontrolle beiträgt. Solange es keine Konsequenzen von außen gibt, die als negativ empfunden werden, gibt es dann wenig Gründe, etwas nicht zu tun.
Der Gegensatz wäre dann weniger ein gutes Herz, sondern eher ein ausgeprägtes Gewissen. Genau dieses Gewissen sorgt für die Selbstvorwürfe.