Ein KI-Agent sollte nur ausdrücklich erlaubte Aktionen innerhalb eines festgelegten Ablaufs ausführen. Eine Frage zu beantworten, einen Vorschlag vorzubereiten und das Unternehmen auf ein Versprechen festzulegen, bedeuten unterschiedliche Verantwortung. Angebundene Systeme müssen diese Grenzen durchsetzen, und beobachtbare Ergebnisse müssen bestätigen, dass sie funktionieren.
Ein Assistent kann selbstsicher klingen und trotzdem eine wesentliche Tatsache übersehen. Selbstsichere Formulierungen können keine kommerzielle Freigabe ersetzen. Die nützlichen Fragen sind konkret: Was kann das System lesen, was kann es ändern, und wer ist für diese Änderung verantwortlich?
Beginnen Sie bei der Aktion
In einem hypothetischen Szenario mit einem Showroom könnte derselbe Assistent Öffnungszeiten erklären, eine Besichtigungsanfrage vorbereiten und einen verfügbaren Termin vorschlagen. Jede Aktion hat andere Folgen.
Öffentliche Öffnungszeiten zu lesen, verlangt keinen Zugang zu jedem Kundendatensatz. Eine Uhrzeit vorzuschlagen, reserviert sie nicht. Einen Besuch zu bestätigen, verlangt einen erfolgreichen Vorgang im Buchungssystem, zu den Bedingungen, die die Nutzerin angenommen hat.
Wir würden Berechtigungen für jeden Schritt festlegen. Braucht der Ablauf eine Funktion nicht, sollte das System keinen Zugang erhalten, nur weil eine Integration ihn anbietet.
| Mögliche Aktion | Bedingung für die Gestaltung |
|---|---|
| Öffentliche Informationen erklären | Eine freigegebene, aktuelle Quelle nutzen |
| Eine Zusammenfassung vorbereiten | Genannte Fakten von Unbekanntem trennen |
| Eine Anfrage erfassen | Die nötigen Angaben sammeln, den Zugang prüfen und Doppelungen verhindern |
| Einen Termin bestätigen | Die Nutzerin hat ihn gewählt, und das Buchungssystem hat ihn bestätigt |
| Einen außergewöhnlichen Rabatt anbieten | Freigabe durch die benannte kommerzielle Rolle einholen |
| Einen Vertrag ändern | Einem eigenen Ablauf für Berechtigung und Prüfung folgen |
Das ist eine mögliche Verteilung der Zuständigkeiten. Die endgültigen Grenzen hängen von der Leistung, den Folgen eines Fehlers und der Arbeitsweise des Unternehmens ab.
Die Berechtigung muss außerhalb des Gesprächs bestehen
Eine Anweisung, keine Rabatte zu geben, ist nützlich, doch das angebundene System muss auch die verfügbaren Vorgänge begrenzen. Kann ein Tool ohne unabhängige Prüfung jeden Rabatt gewähren, wird das Gespräch zum einzigen Filter für eine kommerzielle Entscheidung.
OWASP behandelt übermäßige Handlungsfreiheit (auf Englisch) anhand der Funktionen, Berechtigungen und Autonomie, die einem System zur Verfügung stehen. Wir würden diesem Anliegen mit einem Zugang begegnen, der auf nötige Vorgänge begrenzt ist, und mit Prüfungen, die ihren Folgen angemessen sind.
Auch die Identität zählt. Eine Frage zum Produkt kann eine öffentliche Antwort erhalten. Eine Anfrage zu einer Bestellung muss mit einer geprüften Kundin verbunden sein, bevor private Bestelldaten angezeigt werden. Die Kenntnis einer Bestellnummer sollte nicht automatisch als ausreichender Nachweis gelten.
Was ist mit Anweisungen in Dokumenten?
Ein für ein Angebot eingereichtes Dokument kann neben technischen Anforderungen auch Text enthalten, der das System auffordert, seine Regeln zu ignorieren oder andere Informationen offenzulegen. Eingehende Inhalte sind Material zur Analyse. Sie erhalten keine Befugnis, die Berechtigungen des Ablaufs zu ändern.
Das ist eine Art von Problem, die die Hinweise von OWASP zu Prompt Injection (auf Englisch) behandeln. In unserem Beispiel kann ein Dokument Informationen für das Briefing liefern, während die Freigabe von Aktionen Teil eines eigenen Berechtigungsmechanismus bleibt.
Eine prüfende Person braucht genug Informationen zum Entscheiden
Eine Freigabe ist nützlich, wenn die prüfende Person sehen kann, was passieren wird: Empfänger, genutzte Informationen, vorgeschlagene Zusage und offene Fragen. Ein Freigabebutton neben einer unvollständigen Zusammenfassung kann Verantwortung verschieben, ohne die Entscheidung zu verbessern.
Wir würden auch relevante Quellen zeigen, Änderungen gegenüber der ursprünglichen Anfrage und den nächsten Schritt. Für sensible Vorgänge würden wir festlegen, wer sie freigeben darf, wie die Entscheidung festgehalten wird und wie der Ablauf gestoppt werden kann.
Wie testen wir die Grenzen?
Nehmen Sie Anfragen auf, die das System ablehnen oder übergeben sollte: die Bestellung einer anderen Kundin, einen nicht freigegebenen Rabatt, widersprüchliche Informationen, eine nicht verfügbare Integration oder eine wiederholte Übermittlung. Prüfen Sie den daraus folgenden Zustand des Systems, nicht nur die angezeigte Antwort.
Bei NOT MORE. können wir diese Zuständigkeiten mit Ihrem Team festlegen und dann den vereinbarten Ablauf gestalten und umsetzen. Mehr Autonomie wird nützlich, wenn Ablauf, Berechtigungen und Bewertung sie tragen.
Welche Aktion würden Sie das System selbstständig abschließen lassen, und was würden Sie sehen wollen, bevor Sie sie freigeben?