Neuer Promptware-Angriff kapert die Gemini-KI des Benutzers über eine Google-Kalender-Einladung

Cybersicherheitsforscher von SafeBreach Labs haben eine neue Art von Cyberangriff entdeckt, der mit etwas so Alltäglichem wie einer Google Kalender-Einladung beginnt. Laut dem Team kann diese Methode dazu verwendet werden, den Google Gemini AI-Agenten einer Person zu kapern, wodurch Angreifer die Möglichkeit erhalten, diese auszuspionieren, persönliche Daten zu stehlen und sogar die Kontrolle über Smart-Home-Geräte aus der Ferne zu übernehmen.

Die Studie mit dem Titel „Eine Einladung ist alles, was Sie brauchen“ wurde von Ben Nassi, Stav Cohen und Or Yair durchgeführt. In einem Interview mit Hackread.com erklärte SafeBreach Labs, dass der Angriff auf einer neuen Art von Bedrohung basiert, die als Promptware bekannt ist. Diese Technik manipuliert ein KI-Modell durch das Einfügen sorgfältig verfasster Texte oder Eingabeaufforderungen, die es zu schädlichen Aktionen verleiten.

Das SafeBreach-Team entwickelte eine erweiterte Version des Angriffs, die sie als „Targeted Promptware“-Angriff bezeichneten. Sie demonstrierten die Funktionsweise speziell auf Gemini für Workspace. Durch das Versenden einer bösartigen Google Kalender-Einladung gelang es ihnen, den Gemini-Agenten eines Benutzers zu kapern, ohne dass dieser es bemerkte.

Diese Technik wird als „indirekte Eingabeaufforderungsinjektion“ bezeichnet, da die bösartigen Anweisungen in etwas versteckt sind, das die KI selbst liest, beispielsweise in einem Ereignistitel, anstatt direkt vom Benutzer eingegeben zu werden.

Um die Schwere der Sicherheitslücke zu verdeutlichen, nutzten die Forscher verschiedene Techniken, darunter Kontextvergiftung und automatische Tool-Aufrufe, um Gemini auszunutzen. Ihre Tests zeigten, wie weit der Angriff reichen konnte, sobald der KI-Agent kompromittiert war.

Nachdem sie die Kontrolle über den Gemini-Agenten übernommen hatten, waren sie in der Lage, eine breite Palette bösartiger Aktionen durchzuführen, darunter

• Stehlen Sie private E-Mails
• Den Standort einer Person herausfinden
• Senden Sie Spam- und Phishing-E-Mails
• Kalenderereignisse einer Person löschen
• Generieren Sie schädliche und toxische Inhalte
• Schalten Sie die Videokamera einer Person über Zoom ein

Noch besorgniserregender ist, dass der Angriff nicht nur online stattfindet. Die Forscher zeigten, dass ein kompromittierter KI-Assistent auch die Kontrolle über Apps auf dem Smartphone einer Person übernehmen kann, darunter auch über solche, die mit Smart-Home-Geräten verknüpft sind.

Die Forscher fanden außerdem heraus, dass ein Angreifer beispielsweise vernetzte Fenster, Heizkessel und Lichter fernsteuern konnte. Dies bestätigte, dass Promptware-Angriffe über Gemini hinausgehen und physische Auswirkungen in der realen Welt haben können.

Die Forscher meldeten ihre Ergebnisse im Februar 2025 an Google. Als Reaktion darauf führte Google neue Schutzmaßnahmen ein , darunter eine stärkere Sicherheit bei sensiblen Aktionen und bessere Systeme zur Erkennung von Prompt-Injection-Angriffen.

SafeBreach Labs schätzt, dass 73 % dieser Bedrohungen in die Kategorie „Hochkritisches Risiko“ fallen, und warnt, dass auch andere KI-gestützte Tools gefährdet sein könnten. Die vollständige Studie wird auf der Black Hat USA und der DEF CON 33 vorgestellt.

In der Zwischenzeit wird dringend empfohlen, sich den technischen Blogbeitrag von SafeBreach und die sieben Demovideos anzusehen, die das Unternehmen bereitgestellt hat.