BSI besorgt: Neues Anthropic KI-Modell zum Suchen von Sicherheitslücken bedroht Cybersicherheit

[HWL News Bot]

Das Bundesamt für Sicherheit in der Informationstechnik sieht in neuen KI-gestützten Werkzeugen zur Schwachstellensuche ein potenzielles Risiko für die Cybersicherheit. Anlass ist ein vom US-Unternehmen Anthropic entwickeltes Modell namens Claude Mythos, das gezielt verborgene Sicherheitslücken in Software identifizieren kann.
... weiterlesen

 

[Zyxx]

Es gab und gibt in den letzten Jahren immer mehr Projekte die unter KI generierten Fehlermeldungen ächzen.
Erst Anfang des Jahres hat Curl Alarm geschlagen da KI generierte "schlechte" Reports zu einer Überlastung der Maintainer führten.

No curl bug bounty​

The curl project does not offer any rewards for reported bugs orvulnerabilities. We do not aid security researchers to get such rewards forcurl problems from other sources.
A bug bounty gives people too strong incentives to find and make up "problems"in bad faith that cause overload and abuse.
We still appreciate and value valid vulnerability reports.

Quelle

Das soll nicht heißen das ich die News herabwürdige, aber das Problem das hier beschrieben wird ist nicht neu.
Wir bekommen bspw. auch TONNEN an Fehlermeldungen die aus gefuzztem halluziniertem Salat und Fehlermeldungen bestehen, die oft nichtmals mit unseren Produkten zu tun haben.
Was da an Lebenszeit verbrannt wird...

Wenn Anthropic das nun von der Qualität her auf ein neues Level hebt, ist das ein dicker Win für Entwickler.

Lesenswert hierzu auch ein Artikel von Golem:

Golem

 

[Rudi Ratlos]

Dazu zählen unter anderem Unternehmen wie Apple, Amazon und Microsoft sowie Organisationen aus dem Sicherheitsumfeld. Diese sollen die KI nutzen, um eigene Systeme frühzeitig auf Schwachstellen zu überprüfen und entsprechende Gegenmaßnahmen zu entwickeln.

..oder die Lücken anderer für sich zu behalten, um sie auszunutzen? Stichwort Wannacry?

 

[Bitmaschine]

Mein erster Gedanke war, dass das KI-Programm Schwachstellen im System herausfindet, alles sicherer macht, schneller ist, als die kriminelle Energie die Schwachstellen herausfindet. Eigentlich ja gut.
Seit Trump mit Gefolgsleute und starke Einflüsse in Sicherheitsministerien, innen wie außen, und seine Ablehnung gegenüber Europa ist die Sicherheit in Europa wirklich gefährdet. Ich will es nicht verallgemeinern, es gibt solche und solche Amerikaner, aber ich traue ihnen zunehmend nicht mehr. Wie schnell plötzlich eine geschichtliche Freundschaft fragil werden kann. Das erschreckt mich persönlich ein wenig.
CEOs und Präsidenten wechseln ständig, die Geschichte lehrt uns aber, das leider nichts ewig (friedlich und freundschaftlich) bleibt.
Von daher finde ich es gut, dass es bzgl. nationale und europäische Sicherheit einfach die amerikanische KI hinterfragt wird, ob es ein Unsicherheitsfaktor ist. Vertrauen ist gut, Kontrolle ist besser. In diesem Fall ist Vertrauen schädlich.

 

[Rudi Ratlos]

Ich frage mich nur, warum man jetzt erst damit anfängt, und "Trump" dafür als Argument bringt. Das genannte Wannacry war Anfang 2017 und basierte auf einem NSA-Tool, das offiziell seit mindestens 5 Jahren benutzt worden war. Also zur Amtszeit von Obama. Ebenso Prism und die weltweite Spionage der USA und ihrer "Verbündeten", welche Edward Snowden 2013 aufdeckte.

Nicht mißverstehen, ich begrüße es, wenn man jetzt endlich mal nachdenkt. Besser spät als nie. Aber die Motivation hinterfrage ich.

War das jetzt schon wieder zuviel Politik im Politikthema?

 

[n3cron]

Ich frage mich nur, warum man jetzt erst damit anfängt, und "Trump" dafür als Argument bringt. Das genannte Wannacry war Anfang 2017 und basierte auf einem NSA-Tool, das offiziell seit mindestens 5 Jahren benutzt worden war. Also zur Amtszeit von Obama. Ebenso Prism und die weltweite Spionage der USA und ihrer "Verbündeten", welche Edward Snowden 2013 aufdeckte.

Nicht mißverstehen, ich begrüße es, wenn man jetzt endlich mal nachdenkt. Besser spät als nie. Aber die Motivation hinterfrage ich.

War das jetzt schon wieder zuviel Politik im Politikthema?

Das größerer Problem das ich hier sehe ist, das man sich ggf. auf die KI verlässt - die selbst ja fremdbestimmt wurde.
Der Hersteller der KI kann letzten ende filtern welche Sicherheitslücken dir angezeigt werden und behält die Hintertüren für andere wichtige Dienste offen.
"Ausspähen unter Freunden". Umso wichtiger ist hier Europäische Unabhängigkeit.

Für die Kommerziellen Sicherheitslücken durch schlampige Software Entwicklung oder historisch gewachsene Wucherungen mag es initial erstmal besser als nix sein, aber da man sich da auch nicht 100% darauf verlassen kann könnte es eben auch mehr Arbeit machen als es eigentlich bringt.
Die KI ist nicht 100%, heiß du musst alles nochmal nachtrollieren ob es Arbeit ersparen wird wage ich zu bezweifeln im zweifeln macht es mehr Arbeit und bringt nicht wirklich das gewünschte Resultat.

Nicht jeder Fehler der als solcher "erkannt" wird ist auch wirklich einer. Manchmal sind auch bewusste design Entscheidungen. Wenn ich physischen Zugang zu einem System brauche um eine Sicherheitslücke zu nutzen, dann ist es garantiert nicht ein Fehler. Bei Linux z. B den Startup unterbrechen um die Konsole als System zu nutzen einen Root User zu ändern oder hinzuzufügen ist halt eine bewusste Designentscheidung und keine Sicherheitslücke.

Ich weiß halt nicht ob hier die KI wirklich zwischen fiesen Sicherheitslücken entscheiden könnte oder einfachen design Entscheidungen. Die fieseren Fehler wie Buffer Overflow etc... hängen ja nicht immer mittelbar von der Anwendung selbst ab.
Wenn Windows einer Anwendung erlaubt in System Speicherbereich zu schauen und zu schreiben, dann weiß ich nicht ob das ein Fehler der Software Anwendung wäre und nicht eher ein Fehler vom OS.