Agent AI powinien wykonywać wyłącznie działania wyraźnie dozwolone w ramach określonego procesu. Odpowiedź na pytanie, przygotowanie propozycji i zobowiązanie firmy obietnicą to różne odpowiedzialności. Połączone systemy muszą egzekwować te granice, a obserwowalne wyniki muszą potwierdzać, że działają.
Asystent może brzmieć bardzo pewnie i pominąć kluczowy fakt. Pewne sformułowanie nie może zastąpić zatwierdzenia handlowego. Przydatne pytania są konkretne: co system może odczytać, co może zmienić i kto odpowiada za tę zmianę?
Zacząć od działania
W hipotetycznym scenariuszu showroomu ten sam asystent mógłby wyjaśniać godziny otwarcia, przygotowywać zgłoszenie wizyty i proponować dostępny termin. Każde działanie ma inne konsekwencje.
Odczytanie publicznych godzin otwarcia nie wymaga dostępu do wszystkich kart klientów. Zaproponowanie terminu go nie rezerwuje. Potwierdzenie wizyty wymaga poprawnej operacji w systemie rezerwacji, na warunkach zaakceptowanych przez użytkownika.
Uprawnienia określilibyśmy dla każdego kroku. Jeśli proces nie potrzebuje danej funkcji, system nie powinien mieć do niej dostępu tylko dlatego, że oferuje ją integracja.
| Możliwe działanie | Warunek projektowy |
|---|---|
| Wyjaśnienie informacji publicznych | Użyć zweryfikowanego i aktualnego źródła |
| Przygotowanie podsumowania | Oddzielić podane fakty od niewiadomych |
| Zarejestrowanie zgłoszenia | Zebrać potrzebne informacje, sprawdzić dostęp i unikać duplikatów |
| Potwierdzenie wizyty | Użytkownik ją wybrał, a system rezerwacji ją potwierdził |
| Zaproponowanie wyjątkowego rabatu | Uzyskać zgodę wyznaczonej roli handlowej |
| Zmiana umowy | Przejść osobny proces autoryzacji i przeglądu |
To możliwy podział odpowiedzialności. Ostateczne granice zależą od usługi, konsekwencji błędu i sposobu działania firmy.
Autoryzacja musi istnieć poza rozmową
Instrukcja, by unikać rabatów, jest przydatna, ale połączony system musi też ograniczać dostępne operacje. Jeśli narzędzie może zastosować dowolny rabat bez niezależnego sprawdzenia, rozmowa staje się jedynym filtrem decyzji handlowej.
OWASP omawia nadmierną autonomię (po angielsku) z punktu widzenia funkcji, uprawnień i autonomii, którymi dysponuje system. Na to ryzyko odpowiedzielibyśmy ograniczonym dostępem do potrzebnych operacji i sprawdzeniami proporcjonalnymi do ich konsekwencji.
Tożsamość też ma znaczenie. Pytanie o produkt może otrzymać publiczną odpowiedź. Zapytanie o zamówienie musi zostać powiązane ze zweryfikowanym klientem, zanim pokaże się prywatne szczegóły. Znajomość numeru zamówienia nie powinna być automatycznie uznawana za wystarczający dowód.
A instrukcje zawarte w dokumentach?
Dokument przesłany do wyceny może zawierać wymagania techniczne obok tekstu, który każe systemowi zignorować jego zasady lub ujawnić inne informacje. Otrzymana treść jest materiałem do analizy. Nie zyskuje uprawnień do zmiany uprawnień procesu.
To rodzaj problemu, którego dotyczą zalecenia OWASP dotyczące wstrzykiwania promptów (po angielsku). W naszym przykładzie dokument może zasilać podsumowanie, a zatwierdzanie działań zależy od osobnego mechanizmu autoryzacji.
Osoba zatwierdzająca potrzebuje informacji wystarczających do decyzji
Zatwierdzenie jest przydatne, gdy osoba widzi, co się wydarzy: odbiorcę, użyte informacje, proponowane zobowiązanie i nierozstrzygnięte pytania. Przycisk zatwierdzenia obok niekompletnego podsumowania może przenieść odpowiedzialność, nie poprawiając decyzji.
Pokazalibyśmy też istotne źródła, zmiany względem pierwotnego zgłoszenia i kolejny krok. W przypadku wrażliwych operacji ustalilibyśmy, kto może je zatwierdzać, jak rejestrowana jest decyzja i jak można zatrzymać proces.
Jak testować granice?
Warto uwzględnić zgłoszenia, które system musi odrzucić lub przekazać dalej: zamówienie innego klienta, nieautoryzowany rabat, sprzeczne informacje, niedostępną integrację lub powtórne wysłanie. Trzeba sprawdzić wynikowy stan systemu, a nie tylko wyświetlaną odpowiedź.
W NOT MORE. możemy określić te odpowiedzialności z Państwa zespołem, a następnie zaprojektować i wdrożyć uzgodniony proces. Większa autonomia jest przydatna, gdy pozwalają na to proces, uprawnienia i ocena.
Które działanie pozwoliliby Państwo wykonywać systemowi samodzielnie, a co chcieliby Państwo zobaczyć przed jego zatwierdzeniem?