Könnte A.I gefährlich werden?

Eine KI wird keine Emotionen oder Gelüste nach Weltherrschaft entwickeln (da es hierzu keinen Trieb gibt. Emotionen sind evolutionär bei uns entstanden, bei KI wäre das nicht gegeben).
Allerdings wird die größte Gefahr die Interpretation unserer Befehle darstellen.

Es gibt ein Gedankenexperiment: Jemand befiehlt einer starken KI Büroklammern herzustellen. Was könnte schon schief gehen?

Nun, eine wirklich starke KI würde, nun ja, sicherstellen dass sie Büroklammern herstellt. Da wir Menschen sie aufhalten und abschalten könnte, was in weniger Büroklammern resultieren würde, bringt sie uns um und verwandelt Schritt für Schritt den Planeten, das Sonnensystem und die ganze Galaxis in Büroklammern.

Das veranschaulicht das Problem mit einer KI: Man muss exakte Regeln und Definitionen aufstellen, und es wäre vermutlich praktisch unmöglich eine weit genug fortgeschrittene KI aufzuhalten sobald man "auf Start drückt".

Darüber hinaus existiert das Problem das KI an sich keine Moral kennt. Sie führt eben Befehle aus. Und wenn die Befehle für das Wohl der Menschheit negativ ist (Hacking, globale Kontrolle, etc.) dann macht sie das eben auch.

Allerdings verspricht die KI auch für uns enorme potentielle Vorteile. Eine wirklich starke KI (General AI) wird um ein Vielfaches klüger sein als wir Menschen und hat beinahe unbegrenzten Speicher und perfekte Erinnerungen. Der technologische Fortschritt könnte explodieren, die Arbeit uns größtenteils (wenn nicht gar irgendwann komplett) abgenommen werden.

Selbst eine weniger starke KI (die man ja auch deutlich einfacher kontrollieren kann) wäre bereits eine enorme Bereicherung.

Terminator
Matrix
Ex-Machinima

soll ich weitermachen? ;)

Wie jede andere Technologie kann auch AI/KI missbraucht werden - oder "falsche Wege" einschlagen. 

Ich denke schon. K.I. soll ja auch selbst lernen und soll sein Verhalten selbst anpassen.

Das heisst, das Programm wird nicht nur strikt gemäss seiner Programmierung vorgehen, sondern auch lernen, wie es einen austrickst oder Täuschungsversuche erkennen kann. Das Verhalten einer K.I. wird dadurch schnell unvorhersagbar.

Na klar. Terminator war nicht nur ein film, sondern eine prophezeiung und die wird eines tages wirklichkeit (auch wenn die terminatoren in wirklichkeit dann nicht aussehen, wie arnold schwarzenegger)

Die Dummheit der Algorithmen, die wir heute als "künstliche Intelligenz" bezeichnen, führt heute schon dazu, dass manche Menschen Schaden erleiden, dazu ein paar Beispiele:

Auskunfteien für Kreditwürdigkeit berechnen die Kreditwürdigkeit anhand für den einzelnen Menschen höchst ungerechten Parametern wie z.B. die Adresse und wie die Zahlungsmoral anderer Menschen in dieser Gegend aussieht.

Autos fahren in Lastwagen, weil sie weiße Auflieger für den Himmel halten.

Die Börse in New York erlebte schon massive Kurzstürze, weil automatische Kauf- und Verkaufsprogramme sich durch kleine Fehler gegenseitig eine Krise suggeriert haben. Da der Handel in Millisekunden abläuft, kann kein Mensch rechtzeitig eingreifen. Sinnvolle Sperren wie "Man darf Aktien, Derivate und Optionen erst nach einen Tag wieder verkaufen" sind politisch unter Trump nicht durchsetzbar.

Echte, selbständig denkende künstliche Intelligenz werden wir nicht mehr erleben. Die Hürden dafür sind riesig. Daher ist keine Gefahr absehbar.