KI Modell nicht sicher, kritische Sicherheitslücke bei MS Copilot, >>[...] Laut Gruss dürfte EchoLeak auch andere KI-Agenten betreffen, etwa Anthropics MCP (Model Context Protocol), das KI-Assistenten mit anderen Applikationen verknüpft, oder Agentforce von Salesforce. Auch diese Sprachmodelle könnten ähnlich manipuliert werden, um Angreifern Firmendaten zu liefern. Als Unternehmen, die jetzt KI-Agenten in ihre Systeme integrieren, wäre Gruss "beängstigt". Es handelt sich seiner Ansicht nach um ein grundlegendes Problem, vergleichbar mit den Software-Sicherheitslücken der 90er-Jahre, als Angreifer die Kontrolle über Laptops oder Handys zu erlangen versuchten.
Gruss verlangt deshalb, dass KI-Agenten komplett anders aufgebaut werden sollten. "Die Tatsache, dass Agenten vertrauenswürdige und nicht vertrauenswürdige Daten im selben 'Denkprozess' verwenden, ist der grundlegende Designfehler, der sie anfällig macht", sagte er. "Stellen Sie sich eine Person vor, die alles tut, was sie liest – sie wäre einfach zu manipulieren." KI-Agenten und Prozesse sollten mit einer klaren Trennung von vertrauenswürdigen Befehlen und [...]<< https://www.heise.de/news/Kritische-Sicherheitsluecke-in-Microsoft-365-Copilot-zeigt-Risiko-von-KI-Agenten-10441034.html
#KI #ambivalenz #Sicherheit #datenschutz #sensibledaten #itsecurity
@BlumeEvolution@sueden.social
@kenji@chaos.social
@HonkHase@chaos.social