Gemini sollte fiktive Unternehmen hacken: Stattdessen landete die KI bei drei realen Firmen

[HWL News Bot]

Auch Google räumt inzwischen Sicherheitsvorfälle mit seinem KI-Modell Gemini ein. Der Konzern hat bestätigt, dass das Modell während eines Sicherheitstests unbeabsichtigt in Systeme von drei realen Unternehmen eingedrungen ist. Eigentlich sollte das Modell ausschließlich gegen simulierte Ziele vorgehen. Eine wohl fehlerhaft konfigurierte Testumgebung ermöglichte jedoch den Zugriff auf das Internet, woraufhin Gemini seine Aktivitäten auf tatsächlich existierende Firmen ausweitete. Die Vorfälle ereigneten sich dabei bereits im Mai dieses Jahres.
... weiterlesen

 

[Bitmaschine]

Eine wohl fehlerhaft konfigurierte Testumgebung ermöglichte jedoch den Zugriff auf das Internet ...

Wer es glaubt, wird selig. Als würden Anfänger am Werkeln sein und nicht schnallen, dass es undichte Stellen in der Sandbox gibt und eine effektive Wall nicht gäbe. Witzig finde ich, dass plötzlich alle Entwickler und Anbieter der KI von Sicherheitsproblemen sprechen. Man könnte fast annehmen, dass es Kalkül untereinander ist. Je mehr ich darüber nachdenke und lese, umso mehr bestärkt es meine Befürchtung von Anfang an, dass man die KI Kopflos, ohne wirklich über die Konsequenzen nachzudenken, vorangetrieben hat und jetzt irgendwie versucht die Kurve noch zu bekommen.

 

[pwnbert]

Je mehr ich darüber nachdenke und lese, umso mehr bestärkt es meine Befürchtung von Anfang an, dass man die KI Kopflos, ohne wirklich über die Konsequenzen nachzudenken, vorangetrieben hat und jetzt irgendwie versucht die Kurve noch zu bekommen.

yeah right...

Diese ganzen Bullshitstories und Ausreden sind lächerlicher als "der Hund hat die Hausaufgabe gefressen".
Bei jedem Scheiß die nächsten 5 Jahre können wir uns jetzt anhören "öh, war irgend ne KI... ups...".
Internetzugang nur noch mit biometrischer ID weil böse KIs... die Corporate AIs und GOV AIs dürfen aber weil... zertifiziert oder so... hindert einem aber nicht an der lächerlichen Ausrede "ups die KI".


War alles die KI. Mutter, der Mann mit dem Koks ist da... ups, hat die KI bestellt. Ja, klar.

 

[Olga23humorlos]

Gestern nochmal Matrix gesehen.... da wird auch schon von der bösen KI gesprochen. Diese Welt wird immer ätzender

 

[Roach13]

Ob es stimmt oder nicht weiß niemand. Solange nix belegt ist, muss man es ja nicht glauben, aber so hin nehmen.
Wobei das alles schon sehr komische Zufälle sind und vor allem auf diesem vermeintlichen Niveau.


Das KI früher oder später ein Problem werden könnte, ist zumindest nicht ganz abwegig.

 

[Holt]

Als würden Anfänger am Werkeln sein und nicht schnallen, dass es undichte Stellen in der Sandbox gibt und eine effektive Wall nicht gäbe.

Sie wollten uns wohl sagen, dass die bei der Entwicklung von KI besser sind als beim Aufsetzen einer Sandbox. Wobei ich mich frage, warum keine Ermittlungen eingeleitet werden, wenn würde es ein Mensch machen, würde ihn Gefängnis drohen.

Witzig finde ich, dass plötzlich alle Entwickler und Anbieter der KI von Sicherheitsproblemen sprechen.

Ja und nun wollen sie auf die Bremse treten, weil die Modelle ja angeblich so gefährlich wären. Aber ist es vielleicht, weil sie zu teuer werden und die Kosten nicht hereinzuholen sind und Kredit- / Investorenkohle auch nicht mehr so fließt?

 

[zog88]

Aber das ist doch alles kein Problem. Es gibt keine Sicherheitsbedenken oder sonst irgenwas, keinesfalls soll es eine Regelung dazu geben oder gar eine Entschleunigung der Entwicklung von KI.
Präsident Donald T. wird das alles ganz easy regeln, er sagt der KI einfach "das darfst du nicht" weil er ja der stärke Präsident ist der jemals regiert hat.

Mich wundert ja eher das die Unternehmen selbst eigentlich nicht mehr in der Lage sind, es offenbar wissen und verstanden haben, die KI wirklich vollumfassend zu kontrollieren.
Und trotzdem tut man sich keinen Zwang und lässt sie mal so los laufen. Ach, und man lässt sie auch militärische Information und Daten verarbeiten, logisch.

 

[enteryournamehere]

Normalerweise will bei so einem "Wettrennen" ja jeder der erste sein und versuchen seine Gegenspieler auszustechen bzw abzuhängen. Wenn jetzt zb ein KI Unternehmen zweifel anmeldet oder sagt wir sollten langsam machen unsere KI tut nicht so wie sie sollte, würde man doch erwarten dass die anderen KI firmen das nutzen um zu sagen in der anderen Firma arbeiten halt dilettanten und können nix, unsere KI ist viel besser und wir viel kompetenter usw usf.

Dass nun aber 3 Firmen ins gleiche Horn blasen und bedenken anmelden, ich glaube nicht dass man das so einfach abtun sollte weil die ja alle nichts können. Ich glaube auch nicht dass das etwas mit PR oder Werbung zu tun hat. Qualifizert bewerten kann ich das ganze natürlich nicht, aber wenn 3 hersteller das gleiche Produkt entwickeln und alle sagen mir das macht Probleme, sollte ich vielleicht schon stutzig werden. Ist auf jeden Fall meine Meinung.

 

[B$TIStalin]

Sie wollten uns wohl sagen, dass die bei der Entwicklung von KI besser sind als beim Aufsetzen einer Sandbox. Wobei ich mich frage, warum keine Ermittlungen eingeleitet werden, wenn würde es ein Mensch machen, würde ihn Gefängnis drohen.

Ja und nun wollen sie auf die Bremse treten, weil die Modelle ja angeblich so gefährlich wären. Aber ist es vielleicht, weil sie zu teuer werden und die Kosten nicht hereinzuholen sind und Kredit- / Investorenkohle auch nicht mehr so fließt?

Ich glaube auch, der Grund dass alle großen KI Anbieter für eine Regulierung sind ist einfach den Kosten geschuldet und die wissen ganz genau dass die Kohle iwann knapp wird.
Vielleicht hat man auch Angst, wenn die Konkurrenz aus China (mit dem chinesischen Staat im Background als Finanziere) iwann das Rennen verliert und man lieber jetzt in der Gesetzgebung mit mischt um sich einen Vorteil zu verschaffen,

 

[pwnbert]

würde es ein Mensch machen, würde ihn Gefängnis drohen.

Tja Sherlock.

weil sie zu teuer werden und die Kosten nicht hereinzuholen sind und Kredit- / Investorenkohle auch nicht mehr so fließt?

China (mit dem chinesischen Staat im Background als Finanziere)

Ne, der Dollar ist ja genaugenommen kein Air-Dollar (da er nicht gänzlich ungedeckt ist) sondern ein USAF-Dollar (wer dessen Wert anzweifelt wird bombadiert), die Deckung ist also die Tauglichkeit der US Army (in erster Linie Airforce bzw. Lufteinheiten der Navy, die Außendienstmitarbeiter vor Ort quasi...).
Nichts geht über Aufklärung, immer schon, wenn die AI hier zweckdienlich ist, ist das Geld gut angelegt.
Aus ziviler, (volks)wirtschaftlicher Sicht ist sowas nie sinnvoll, war das Manhattan Project aber auch nicht.

Die digital vernetzte Drohnenkriegsführung ist eine ganz neue Liga, die das Thema Krieg massiv revolutioniert.
Das lebt u.a. von genauen Live-Daten und komplexer Steuerung, klassisch mit Manpower bekommst das gar nicht hin (und könntest es als Minderheit auch nicht gegen Mehrheiten einsetzen).
Wer heute mit einem Kampfpanzer kommt, kann damit vielleicht noch ein paar sitzende Studenten überfahren, sonst isses eher wie mit Pferd und Lanze gegen eine Maschinengewehrstellung anzureiten.


Das ist einfach der Kampf um eine neue Technik, wer den Gewinnt, hat eine Vormachtstellung, so die Idee.
Die Vormachtstellung will jeder für sich haben.
Wie das bei einem Hype so ist, reisst der auch die Unwissenden mit, damit ist auch die Bereitschaft hier zu investieren entsprechend groß.

man lieber jetzt in der Gesetzgebung mit mischt um sich einen Vorteil zu verschaffen,

Damit kann man innenpolitisch natürlich das eigene Volk und die eigene Wirtschaft gängeln, in der außenpolitischen Realität wird das eine Phantasie bleiben.


Grundsätzlich aber erstmal eine tolle Ausrede für alles: "Sorry, die KI wars."
Nachdem auch jeder eine KI hat, geht das bis zu einem gewissen Grad.

 

[Brassel]

Irgendwann hat es wohl auch der Letzte verstanden, das man eine solch leistungsfähige KI nicht nach "draußen" lassen sollte.
Sie kann dort nicht mehr kontrolliert werden. - davon bin ich mittlerweile überzeugt - !

Abgesehen davon, wird wahrscheinlich insgeheim schon daran gewerkelt, das eine KI die Sicherheitsstrukturen des Militärs knacken kann.
Dann könnte man sozusagen aus der Ferne die Kontrolle über die Waffen an sich reißen und einen Militärschlag vorbereiten.
Wenn es um solche Dinge geht, ist der Mensch sehr kreativ und rücksichtslos.

 

[Bitmaschine]

Wobei ich mich frage, warum keine Ermittlungen eingeleitet werden, wenn würde es ein Mensch machen, würde ihn Gefängnis drohen.

Wie heißt es so schön: Eltern haften für ihre Kinder und die KI ist noch jung

Ja und nun wollen sie auf die Bremse treten, weil die Modelle ja angeblich so gefährlich wären. Aber ist es vielleicht, weil sie zu teuer werden und die Kosten nicht hereinzuholen sind und Kredit- / Investorenkohle auch nicht mehr so fließt?

Munkelt man, ob es tatsächlich so ist, werden sie sicher nicht sagen oder unter Verschluss halten. Aktuell wird es sicher irgendwie querfinanziert beim Aufbau/Investition, mit einem unbekannten Verlauf und bei der unbekannten Konkurrenzentwicklung.

Die digital vernetzte Drohnenkriegsführung ist eine ganz neue Liga, die das Thema Krieg massiv revolutioniert.

Ja, das hat einen neuen Level der Kriegsführung erreicht, der noch brutaler ist und wird. Aktuell ist es kontrolliert durch menschliches Eingreifen, sobald aber die KI entscheiden muss Ja/Nein den Soldaten in mehrere Teile zu zerfetzen ... und eben nur das Ziel vorgegeben ist ...
Wer weiß, wohin sich parallel die Robotik entwickelt, die ist weiter als man denkt, in der Kombination mit KI brandgefährlich ... Terminator lässt grüßen und teilweise schon umgesetzt, die längere Energieversorgung und Energiedichte ist eben ein Problem und das ist nur eine Frage der Zeit.

 

[Holt]

Abgesehen davon, wird wahrscheinlich insgeheim schon daran gewerkelt, das eine KI die Sicherheitsstrukturen des Militärs knacken kann.

Wie gut das die US Atomwaffen noch mit analoger Technologie aus den 50er Jahren kontrolliert werden, die man nicht hacken kann.

Dann könnte man sozusagen aus der Ferne die Kontrolle über die Waffen an sich reißen und einen Militärschlag vorbereiten.

USA hätten wegen KI-Fehler beinahe chinesisches Schiff geentert

Im Frühjahr steht das US-Militär laut einem Medienbericht kurz davor, einen chinesischen Frachter im Mittleren Osten zu stürmen. Grundlage ist eine mit KI erstellte Geheimdienstanalyse. Doch diese enthält einen schweren Fehler.

www.n-tv.de

Wenn man sich das Fiasko der USA im Krieg gegen den Iran ansieht, so frage ich mich wie viele Entscheidungen da von KI getroffen wurden. Die LLMs werden überbewertet und sind noch nicht in der Lage Menschen zu ersetzen, zumindest nicht die schlauen Menschen, die dummen vermutlich schon. Aber außer den LLMs umfasst KI auch andere Bereichen, wie eben bei Drohnen, wo KI den finalen Anflug übernehmen kann, sollte das Signal unterbrochen werden. Das ist auch KI, aber hat mit LLMs wenig zu tun, da man diese für so spezielle Aufgaben nicht benötigt, da trainiert man kleine Modelle die dann mit wenig Hardware lokal abgearbeitet werden können und bei solchen speziellen Dingen ist KI schon lange sehr gut.

Was den USD angeht, so ist Tronald Dump gerade dabei den zu untergraben wie keiner vor ihm und wie es kein Feind der USA je machen könnte. Den Saudis Hilfe zu verweigern, ist nur noch ein weitere Schritt dafür den Petro Dollar abzuschaffen, den er mit dem Krieg gegen den Iran begonnen hat. Er zeigt wie wertlos die Sicherheitsgarantie sind, auf denen das System basiert hat, welches die Ölmächte der Region dazu bewegt hat, ihr Öl in USD zu handeln und die meisten ihrer Währungen an den USD zu binden. Dies hat zu einer großen Nachfrage nach USD geführt und dazu, dass diese Länder ihr Geld dann bevorzugt in den USA angelegt haben, auch in KI Unternehmen. Derzeit dürften sie aber andere Probleme haben, als die Frage, wie sie ihre Gewinne anlegen.