Inzwischen gibt es einige Angriffsmoeglichkeiten gegen KI-basierte Systeme und somit rueckt auch das Hacken von KI-Systemen selbst immer mehr in den Fokus potentieller Angreifer und nicht nur die Nutzung als Hacker Werkzeug. Der Vortrag gibt einen Ueberblick ueber relevante Schwachstellen und zeigt an Hand ausgewaehlter Beispiele die Implikationen und Konsequenzen auf.
Michael Thumann
Kurzfassung
Michael Thumann sprach über die Sicherheitsrisiken und Schwachstellen von Large Language Models (LLMs) und deren Anwendungen. Er stellte vier Hauptschwachstellen vor: Prompt Injection, Sensitive Information Disclosure, Training Data Poisoning und Misinformation. Thumann betonte die Notwendigkeit, KI-Systeme sicher zu gestalten und die Ergebnisse kritisch zu hinterfragen.
Langfassung
Michael Thumann, ein Experte für IT-Sicherheit, hielt einen Vortrag über die Sicherheitsrisiken und Schwachstellen von Large Language Models (LLMs) und deren Anwendungen. Er begann mit einem Disclaimer, dass Hacking ohne Legitimation eine Straftat ist, und betonte die Wichtigkeit, Experimente nur in kontrollierten Umgebungen durchzuführen. Thumann erklärte die Grundlagen von LLMs, die auf neuronalen Netzen und Wahrscheinlichkeitsrechnungen basieren, und beleuchtete typische Anwendungsfälle wie Textgenerierung, Übersetzungen und die Automatisierung von Suchprozessen.
Ein zentraler Punkt des Vortrags war die Vorstellung der OWASP Top 10 für Large Language Model Applications, einer Liste der häufigsten Schwachstellen in KI-Systemen. Thumann konzentrierte sich auf vier Schwachstellen: Prompt Injection, Sensitive Information Disclosure, Training Data Poisoning und Misinformation. Er erläuterte, wie Angreifer durch Prompt Injection das Verhalten von KI-Systemen manipulieren können, entweder direkt oder indirekt. Beispiele wie die Manipulation von ChatGPT und Microsoft Copilot zeigten die praktischen Auswirkungen dieser Schwachstelle.
Sensitive Information Disclosure wurde anhand von Beispielen illustriert, bei denen KI-Systeme dazu gebracht wurden, sensible Informationen preiszugeben, etwa durch geschickte Formulierungen. Training Data Poisoning, bei dem Angreifer die Trainingsdaten einer KI manipulieren, um deren Verhalten zu beeinflussen, wurde ebenfalls thematisiert. Thumann betonte, dass solche Angriffe oft Geduld und Präzision erfordern, aber für Angreifer mit hohen potenziellen Gewinnen lohnend sind.
Ein weiteres Thema war Misinformation, bei der KI-Systeme falsche oder irreführende Informationen generieren. Thumann zeigte, wie fehlerhafte Code-Beispiele oder erfundene Paketnamen zu Sicherheitsrisiken führen können. Er warnte davor, den Ergebnissen von KI-Systemen blind zu vertrauen, und betonte die Notwendigkeit, diese kritisch zu überprüfen.
Abschließend hob Thumann hervor, dass KI-Technologien nicht ignoriert oder verteufelt werden sollten. Stattdessen sollten Sicherheitsmaßnahmen entwickelt und implementiert werden, um die Technologie sicher und effektiv zu nutzen. Er betonte, dass der Umgang mit neuen Technologien ein Lernprozess ist, der Zeit und Engagement erfordert. Der Vortrag endete mit der Aufforderung, KI verantwortungsvoll und sicher einzusetzen.
Schlüsselwörter
Produkte / Programme
Genannte Personen