Tja, wie Martin schon sagt ist es wahrscheinlich am Sinnvollsten (In deinem Fall) mit "CreateProcessA" oder "CreateProcessW" das Programm zu starten und dann über "TerminateProcess" das Programm zu killen. wenn du den System befehl verwenden willst geht das natürlich auch:
system("tskill Programm-Name")
Hierbei ist zu beachten das dies nur unter Windows funktioniert. Als Programm-Name kannst du alles mögliche angeben. Wenn du nur ein explizietes Programm Töten willst solltest du allerdings den ganzen namen mit extension schreiben. Sonst wird das nächste Programm getötet auf das der Teil-Name zutrifft. Mit tskill * tötest du zB. Alle Tasks. ^^