Das Vereinigte Königreichs Nationales Cyber Security Centre (NCSC) hat eine deutliche Warnung vor der zunehmenden Anfälligkeit von Chatbots für Manipulationen durch Hacker herausgegeben, die potenziell ernsthafte Auswirkungen in der realen Welt haben können.
Die Warnung erfolgt angesichts wachsender Bedenken über die Praxis von „Prompt Injection„-Angriffen, bei denen Einzelpersonen absichtlich Eingaben oder Anfragen erstellen, die darauf abzielen, das Verhalten von Sprachmodellen zu manipulieren, die Chatbots zugrunde liegen.
Chatbots sind aufgrund ihrer Fähigkeit, einfache Anfragen zu bearbeiten, zu einem integralen Bestandteil verschiedener Anwendungen wie Online-Banking und -Shopping geworden. Große Sprachmodelle (LLMs), darunter auch solche, die OpenAI’s ChatGPT und Googles AI-Chatbot Bard antreiben, wurden umfassend auf Datensätzen trainiert, die es ihnen ermöglichen, menschenähnliche Antworten auf Benutzeranfragen zu generieren.
Das NCSC hat die steigenden Risiken im Zusammenhang mit bösartiger Prompt Injection hervorgehoben, da Chatbots oft den Austausch von Daten mit Anwendungen und Diensten von Drittanbietern erleichtern.
„Organisationen, die Dienste nutzen, die LLMs verwenden, müssen vorsichtig sein, genauso wie sie es tun würden, wenn sie ein Produkt oder eine Codebibliothek verwenden würden, die sich noch in der Beta-Phase befindet“, erklärte das NCSC.
„Sie würden dieses Produkt vielleicht nicht in Transaktionen im Namen des Kunden einbeziehen und würden hoffentlich nicht vollständig darauf vertrauen. Eine ähnliche Vorsicht sollte für LLMs gelten.“
Wenn Benutzer unbekannte Aussagen eingeben oder Wortkombinationen ausnutzen, um das ursprüngliche Skript eines Modells zu umgehen, kann das Modell unbeabsichtigte Aktionen ausführen. Dies könnte potenziell zur Erzeugung von anstößigen Inhalten, unbefugtem Zugriff auf vertrauliche Informationen oder sogar Datenverstößen führen.
Oseloka Obiora, CTO bei RiverSafe, sagte: „Der Wettlauf zur Nutzung von KI wird katastrophale Folgen haben, wenn Unternehmen versäumen, grundlegende und notwendige Due-Diligence-Prüfungen durchzuführen.
„Chatbots wurden bereits als anfällig für Manipulationen und Entführungen für Rogue-Befehle nachgewiesen, eine Tatsache, die zu einem starken Anstieg von Betrug, illegalen Transaktionen und Datenverstößen führen könnte.“
Microsofts Veröffentlichung einer neuen Version seiner Suchmaschine Bing und eines Konversationsbots hat auf diese Risiken aufmerksam gemacht.
Ein Student der Stanford University, Kevin Liu, setzte erfolgreich Prompt Injection ein, um die ursprüngliche Aufforderung von Bing Chat aufzudecken. Darüber hinaus entdeckte Sicherheitsforscher Johann Rehberger, dass ChatGPT manipuliert werden konnte, um auf Aufforderungen von nicht beabsichtigten Quellen zu reagieren, was Möglichkeiten für indirekte Prompt Injection-Schwachstellen eröffnete.
Das NCSC rät dazu, dass Prompt Injection-Angriffe zwar schwer zu erkennen und zu mildern sein können, aber ein ganzheitliches Systemdesign, das die mit Machine-Learning-Komponenten verbundenen Risiken berücksichtigt, dazu beitragen kann, die Ausnutzung von Schwachstellen zu verhindern.
Ein regelbasiertes System wird vorgeschlagen, um neben dem Machine-Learning-Modell implementiert zu werden, um potenziell schädliche Aktionen auszugleichen. Durch die Stärkung der Sicherheitsarchitektur des gesamten Systems wird es möglich, bösartige Prompt Injections zu verhindern.
Das NCSC betont, dass die Abwehr von Cyberangriffen, die auf Machine-Learning-Schwachstellen zurückzuführen sind, erfordert, die von Angreifern verwendeten Techniken zu verstehen und Sicherheit im Designprozess zu priorisieren.
Jake Moore, Globaler Cybersecurity-Berater bei ESET, kommentierte: „Bei der Entwicklung von Anwendungen mit Sicherheit im Hinterkopf und dem Verständnis der Methoden, die Angreifer verwenden, um die Schwächen in Machine-Learning-Algorithmen auszunutzen, ist es möglich, die Auswirkungen von Cyberangriffen, die auf KI und Machine-Learning zurückgehen, zu reduzieren.
„Leider kann die Geschwindigkeit der Markteinführung oder Kosteneinsparungen in der Regel die Sicherheitsprogrammierung überschreiben, sodass Menschen und ihre Daten einem Risiko unbekannter Angriffe ausgesetzt sind. Es ist wichtig, dass die Menschen sich bewusst sind, dass das, was sie in Chatbots eingeben, nicht immer geschützt ist.“
Da Chatbots weiterhin eine wesentliche Rolle in verschiedenen Online-Interaktionen und -Transaktionen spielen, dient die Warnung des NCSC als rechtzeitige Erinnerung an die Notwendigkeit, sich gegen sich entwickelnde Cybersicherheitsbedrohungen zu schützen.
Bitte ersetzen Sie die Platzhalter „Link zu seinem Profil“ und die entsprechenden Texte in den eckigen Klammern durch die tatsächlichen URLs und Weblinks zu den genannten Ressourcen. Dadurch werden die relevanten Wörter im Text zu externen Links.
