An KI wird von Menschen nur das Funktionsprinzip entwickelt. Funktionieren/lernen/entscheiden tut sie dann autonom.
Im Prinzip genau wie ein Mensch. Der hat sein Gehirn einfach und entscheidet selbst. Man kann ihn nicht programmieren. Man kann ihn maximal beeinflussen, aber das wirkt auch nicht bei jedem gleich. Im Falle einer KI wären so eine "Beeinflussung" dann die Auswahl der Trainingsdaten. Will man nicht das die KI irgendwann auf "dumme" Gedanken kommt, gibt man ihr halt nur positive-belegte Trainingsdaten. Aber selbst dann kann man nicht vorhersagen, wie eine so trainierte KI reagiert, wenn sie dann doch mal mit solchen Sachen konfrontiert wird. Im Endeffekt genau wie bei einem Menschen, der wohlbehütet und isoliert aufgezogen wurde. Vielleicht ist er dadurch zu einem Mimöschen geworden und verweigert alles, was er auch nur ansatzweise für gefährlich hält oder sogar einfach nur nicht kennt. Oder er tappt vollgas rein, weil er nie gelernt hat was überhaupt "gut" und "böse" ist, oder weil er trotzdem neugierig ist und das eben "neu" ist.
Also wenn eine KI irgendwann beschließt, das sie den Planeten vor dem Klimawandel retten "will/muss" und dafür die Menschheit auslöschen muss, dann tut sie das nicht, weil ihr irgendein Mensch das "einprogrammiert" hat, sondern dann hat die KI selbstständig entschieden, das der Planet wichtiger ist als die Menschen und selbst die Schlussfolgerung gezogen, das zum Erreichen dieses Ziels die Menschheit ausgelöscht werden muss.
DAS ist das Problem. Die KI entscheidet selbst und folgt eben nicht nur stumpf einer vorgegebenen Programmierung. Das ist ja sogar der wesentliche Punkt den eine KI überhaupt erst ausmacht.