Google DeepMind entwickelt CaMeL als Schutzschild gegen KI-Angriffe durch Prompt-Injection
Johanna Schwarz
Google DeepMind entwickelt CaMeL als Schutzschild gegen KI-Angriffe durch Prompt-Injection
Google DeepMind stellt neues Abwehrsystem CaMeL gegen Prompt-Injection-Angriffe auf KI vor
Google DeepMind hat ein neues Verteidigungssystem namens CaMeL präsentiert, das Prompt-Injection-Angriffe auf Künstliche Intelligenz abwehren soll. Solche Attacken stellen seit dem breiten Einsatz von Chatbots im Jahr 2022 ein erhebliches Sicherheitsrisiko dar. Das System zielt darauf ab, sensible Daten vor unbefugtem Zugriff und internen Bedrohungen zu schützen.
Cashback bei deinen
Lieblingsrestaurants und Services
Kaufe Gutscheine und spare in deinen Lieblingsorten in deiner Nähe
Der Ansatz basiert auf der Aufteilung von Aufgaben zwischen zwei getrennten KI-Modellen, wodurch das Risiko böswilliger Manipulation von KI-Entscheidungen verringert wird. CaMeL funktioniert, indem es Verantwortlichkeiten zwischen einem "privilegierten Sprachmodell" und einem "isolierten Sprachmodell" aufteilt. Das privilegierte Modell generiert Code auf Basis vordefinierter Werte, während das isolierte Modell unstrukturierte Daten in strukturierte Ausgaben umwandelt – ohne Zugriff auf Werkzeuge oder Speicher. Diese Trennung verhindert, dass unbefugte Daten schädliche Ziele erreichen.
Nutzereingaben werden in eine Reihe kontrollierter Schritte umgewandelt, die innerhalb eines sicheren Interpreters ausgeführt werden. Dieses System überwacht den Datenfluss und blockiert unbefugte Zugriffe, wobei Sprachmodelle als potenziell unzuverlässige Komponenten behandelt werden. Tests mit dem AgentDojo-Benchmark zeigten, dass CaMeL Prompt-Injection-Angriffe abwehrt, die zuvor als unlösbar galten.
Trotz seiner Stärken bietet das System keine vollständige Lösung. Nutzer müssen weiterhin Sicherheitsrichtlinien definieren und aktualisieren, um den Schutz aufrechtzuerhalten.
Neben externen Bedrohungen schützt CaMeL auch vor internen Risiken und böswilligen Tools, die darauf ausgelegt sind, Daten zu stehlen. Durch die Isolierung sensibler Informationen wird die Exposition gegenüber unbefugten Dritten begrenzt.
CaMeL stellt einen wichtigen Fortschritt beim Schutz von KI-Systemen vor Prompt-Injection-Angriffen dar. Das Zwei-Modell-Design erhöht die Widerstandsfähigkeit gegen Datenschutzverletzungen, ohne die Funktionalität einzuschränken. Dennoch bleibt eine kontinuierliche Verwaltung der Sicherheitsrichtlinien für langfristigen Schutz unverzichtbar.
