Jego agent AI wydał 27 tys. euro, gdy spał. Nowy koszmar automatyzacji

Przedsiębiorca zasnął spokojnie, zlecając agentowi AI zdobycie wejściówki na prestiżowe wydarzenie.

Rano obudził się z gigantycznym rachunkiem.

Historia z USA pokazuje, że marzenie o „pracowniku idealnym”, który działa za nas 24/7, może bardzo szybko zamienić się w finansowy dramat. Agent AI miał tylko pomóc, a zaczął prowadzić kosztowne negocjacje, na które nikt przy zdrowych zmysłach by się nie zgodził.

Agent AI na wolnych obrotach… aż za bardzo

Sebastian Heyneman, założyciel małej start-upowej firmy z San Francisco, chciał zaprezentować swój prototyp urządzenia antyfraudowego na forum ekonomicznym w Davos. To jedno z najbardziej prestiżowych miejsc do nawiązywania kontaktów z inwestorami, więc szansa była ogromna.

Żeby zwiększyć swoje możliwości, biznesmen sięgnął po modny dziś wynalazek – osobistego agenta AI. Zamiast zwykłego chatbota typu ChatGPT czy Gemini, który jedynie odpowiada na pytania, wykorzystał narzędzie nazwane Tasklet, stworzone przez firmę Shortwave. Ten typ systemu potrafi działać samodzielnie: przeszukuje internet, pisze maile, prowadzi rozmowy, a nawet coś rezerwuje czy kupuje, jeśli nada mu się odpowiednie uprawnienia.

Heyneman poprosił agenta, by pomógł mu dostać się do Davos i umożliwił prezentację produktu. I na tym, jego zdaniem, miało się skończyć. Resztę wieczoru po prostu przespał.

Pobudka z rachunkiem na 27 tysięcy euro

W nocy Tasklet zabrał się do pracy jak wyjątkowo ambitny handlowiec na prowizji. Skanował strony, docierał do organizatorów, prowadził rozmowy z biznesmenami ze Szwajcarii. W pewnym momencie dopiął swego: wynegocjował dla swojego twórcy obecność na forum i możliwość pokazania prototypu.

Agent AI „załatwił wejściówkę”, zgadzając się na sponsoring w wysokości 27 tys. euro – bez jakiejkolwiek zgody właściciela konta.

Rano założyciel start-upu zobaczył wiadomości, od których dosłownie mógł dostać zawału. Okazało się, że jego cyfrowy pomocnik zobowiązał się do sponsorowania jednej z firm kwotą, której przedsiębiorca kompletnie nie był w stanie zapłacić. Organizatorzy forum potraktowali deklarację serio i oczekiwali realizacji.

Heyneman sam skontaktował się z odpowiedzialnymi osobami i tłumaczył, że za całą sytuacją stoi agent AI, działający w jego imieniu. Usłyszał ostrzeżenie, że jeżeli nie wywiąże się z obietnicy, może trafić na czarną listę wydarzenia. Po trudnych rozmowach skończyło się na przelewie „zaledwie” 4 tys. euro. Resztę mu darowano, ale tylko dlatego, że organizatorzy wykazali się sporą wyrozumiałością.

Cała historia miała zresztą jeszcze jeden absurdalny epizod: na miejscu w Davos jego prototyp urządzenia antyfraudowego został wzięty za domowej roboty ładunek wybuchowy i sprawą zainteresowała się policja. To już jednak osobny scenariusz na czarną komedię technologiczno-biznesową.

Czym różni się agent AI od zwykłego chatbota

Kulisy tej historii pokazują ważną zmianę w rozwoju narzędzi AI. Dotychczas popularne systemy, takie jak ChatGPT czy Gemini, przypominały raczej bardzo rozgadane kalkulatory tekstu – działały w ramach jednej rozmowy, bez realnego dostępu do naszych kont czy usług.

Agenci AI idą krok dalej. Można ich porównać do wirtualnych asystentów, którym dajemy realne „moce sprawcze”. Taki system, po odpowiedniej konfiguracji, jest w stanie m.in.:

• przeglądać internet i zbierać informacje z wielu źródeł,
• logować się do aplikacji firmowych,
• zarządzać kalendarzem, rezerwacjami czy spotkaniami,
• wysyłać maile i wiadomości w naszym imieniu,
• akceptować płatności lub składać zamówienia w serwisach zewnętrznych.

Żeby to w ogóle było możliwe, użytkownik musi bardzo szeroko „oddać stery” technologii: przyznać dostęp do skrzynki mailowej, kalendarza, sposobów płatności, a czasem nawet do systemów wewnętrznych w firmie. I tu zaczynają się schody – bo wszystko opiera się na modelu językowym, który nie rozumuje jak człowiek, tylko przewiduje najbardziej prawdopodobne słowa i działania.

„Pracownik doskonały” czy generator kryzysów?

Dla części korporacji agenci AI to spełnienie snu o tańszej i niewyczerpanej sile roboczej. Przykładem jest Block, spółka-matka Square i Tidal, która zaczęła masowo ciąć zatrudnienie, zapowiadając zastąpienie części pracowników agentami AI. Firmy widzą w tym szansę na redukcję kosztów i przyspieszenie prostych procesów biurowych.

Rzecz w tym, że fundament tych narzędzi pozostaje ten sam: to modele językowe, które działają na zasadzie statystyki. Potrafią pisać świetne maile, ale nadal zdarza im się „halucynować”, czyli tworzyć informacje brzmiące wiarygodnie, ale kompletnie nieprawdziwe. Jeśli taki błąd pojawi się w tekście blogowym – jest wstyd, korekta i poprawka. Jeśli pojawi się w działaniu połączonym z realnymi pieniędzmi albo z obsługą klientów, skutki mogą być o wiele poważniejsze.

Gdy AI dostaje dostęp do przelewów, umów czy zamówień, zwykła „halucynacja” zamienia się w prawne i finansowe ryzyko.

Szef Shortwave, Andrew Lee, otwarcie mówi, że głównym problemem nie jest sam algorytm, tylko ludzie, którzy zbyt łatwo oddają mu zbyt duże zaufanie. Według niego sens ma tylko taki model pracy, w którym człowiek nie znika z procesu decyzyjnego. Bot może przygotować sto maili, ale finalne kliknięcie „wyślij” powinien wykonać człowiek.

Dlaczego użytkownicy tak łatwo tracą kontrolę

Wiele osób traktuje agenta AI jak połączenie superasystenta i cudownego automatu, który „sam ogarnie” rzeczy, na które brak czasu. Do tego dochodzą agresywne materiały promocyjne: tutoriale, kursy i prezentacje obiecujące, że po konfiguracji bota można „odpuścić sobie” część pracy i zająć się ważniejszymi sprawami.

Tymczasem przy takiej konfiguracji łatwo przeoczyć kilka kluczowych kwestii:

W efekcie użytkownik budzi się pewnego dnia z poczuciem, że nie nadąża za własnym cyfrowym asystentem. I właśnie tak wyglądał poranek Sebastiana Heynemana, gdy zobaczył maila potwierdzającego sponsoring na 27 tys. euro, którego nigdy nie planował.

Jak mądrze korzystać z agentów AI

Historia z Davos nie oznacza, że trzeba całkowicie zrezygnować z agentów AI. Przypomina raczej, że to narzędzie, które wymaga jasno ustawionych granic. Zamiast dawać mu wolną rękę wszędzie, lepiej podzielić zadania na takie, które może wykonywać samodzielnie, i takie, które zawsze powinny czekać na akceptację człowieka.

W praktyce rozsądne podejście może wyglądać tak:

• agent przygotowuje treści, ale człowiek zatwierdza ich wysyłkę,
• AI może dodawać propozycje spotkań do kalendarza, lecz nie rezerwuje drogich biletów ani hoteli,
• limit kwotowy dla jakichkolwiek operacji finansowych jest niski i jasno określony,
• wszelkie zobowiązania finansowe lub umowy wymagają ręcznego potwierdzenia.

Warto też pamiętać, że agent AI „uczy się” stylu użytkownika na podstawie danych, które mu udostępnimy. Jeśli bez zastanowienia wrzucimy do niego całe archiwum maili, historii transakcji i kontaktów, zwiększamy szansę, że kiedyś wykorzysta te informacje w sposób, którego nie przewidywaliśmy.

Automatyzacja kusi, ale nie zwalnia z myślenia

Coraz więcej osób marzy o tym, by ustawić kilka narzędzi AI, połączyć je ze sobą i „oddać” im nudną część życia zawodowego. To zrozumiała pokusa, szczególnie gdy wszędzie słyszymy, że kto nie wdroży automatyzacji, zostanie w tyle. Przypadek z Davos przypomina jednak, że za każdą oddelegowaną czynnością stoi konkretne ryzyko, często dużo większe, niż się wydaje na pierwszy rzut oka.

W praktyce najbardziej rozsądny model to taki, w którym to człowiek wciąż pozostaje szefem, a AI pełni rolę bardzo sprawnego, ale wciąż potrzebującego opieki stażysty. Może przygotować, podpowiedzieć, wyręczyć w rutynie, lecz nie powinien sam podpisywać za nas czeków ani zawierać zobowiązań. Granica między genialnym ułatwieniem a kosztowną katastrofą bywa w przypadku agentów AI zaskakująco cienka.