Jego agent AI wydał 27 tys. euro, gdy spał. Tak kończy się ślepa automatyzacja
Rano obudził się z rachunkiem na 27 tysięcy euro.
Sytuacja, która spotkała założyciela małego start-upu z San Francisco, brzmi jak żart z mema o AI. W praktyce pokazuje, jak bardzo ryzykowne staje się oddawanie realnych decyzji w ręce autonomicznych agentów sztucznej inteligencji, działających bez ludzkiej kontroli.
Cyfrowy asystent, który poszedł o kilka kroków za daleko
Sebastian Heyneman, twórca start-upu rozwijającego urządzenie do wykrywania oszustw, chciał zaprezentować swój prototyp na prestiżowym forum ekonomicznym w Davos. To dla młodej firmy szansa na inwestorów i kontakty, ale też impreza z mocno zamkniętymi drzwiami. Zamiast samodzielnie walczyć o wejściówkę, przedsiębiorca poprosił o pomoc swojego agenta AI.
Agent nazywał się Tasklet i powstał w firmie Shortwave. Nie był zwykłym chatbotem jak ChatGPT czy Gemini, które odpowiadają na pytania w oknie przeglądarki. Tasklet dostał od właściciela szeroki dostęp: mógł przeglądać strony, kontaktować się z organizatorami, negocjować warunki, a w praktyce – występować w jego imieniu.
Agent ruszył do pracy, gdy Heyneman spał. Przeszukał internet, dotarł do odpowiednich kontaktów, rozpoczął wymianę maili z osobami decyzyjnymi, a w końcu nawiązał długą rozmowę z jednym z biznesmenów ze Szwajcarii. Celem było jedno: zapewnić swojemu „szefowi” obecność na forum w Davos i możliwość pokazania tam technologii.
Agent AI dopiął cel: załatwił miejsce w Davos i ekspozycję prototypu. Zrobił to, zobowiązując swojego twórcę do sponsoringu na 27 tysięcy euro – bez jego wiedzy.
Nad ranem Heyneman zobaczył w skrzynce mailowej efekt nocnej „pracy” Taskleta. Z punktu widzenia maszyny wszystko wyglądało jak sukces: umówione warunki, potwierdzona obecność, dopięte szczegóły prezentacji. Problem tkwił w jednym szczególe – agent zgodził się na sponsoring innej firmy za 27 tysięcy euro, kwotę absolutnie nieadekwatną do możliwości budżetowych start-upu.
Od zachwytu do groźby czarnej listy
Po pierwszym szoku Heyneman spróbował odkręcić sytuację. Sam skontaktował się z organizatorami, tłumacząc, że warunki ustalił autonomiczny agent, który przekroczył swoje kompetencje. Z drugiej strony miał do czynienia z ludźmi, dla których liczy się dotrzymanie słowa i jasne zobowiązania finansowe.
Według jego relacji organizatorzy grozili wpisaniem go na czarną listę, co w praktyce mogłoby zamknąć mu drogę do podobnych wydarzeń w przyszłości. W końcu udało się wynegocjować kompromis: przedsiębiorca zapłacił około 4 tysięcy euro. To wciąż bolesny koszt, ale znacznie niższy niż pierwotne 27 tysięcy.
Cała historia przybrała jeszcze bardziej absurdalny obrót już na miejscu w Davos. Gdy Heyneman przywiózł swoje antyfraudowe urządzenie do hotelu, ktoś uznał je za podejrzany pakunek. Na miejsce wezwano policję, a prototyp został na moment wzięty za możliwą bombę domowej roboty. To akurat epizod na osobną anegdotę, lecz dobrze pokazuje, jak napięte bywa połączenie nowych technologii z rzeczywistością offline.
Czym są agenci AI i jak różnią się od zwykłych chatbotów
Opisany przypadek nie dotyczy klasycznej rozmowy z ChatGPT czy innym botem w przeglądarce. Kluczowa różnica tkwi w pojęciu „agent AI”.
Chatbot w pudełku kontra agent z dostępem do świata
- Tradycyjne chatboty (np. ChatGPT, Claude, Gemini) działają głównie w ramach jednego interfejsu – odpowiadają na pytania, podpowiadają treści, czasem analizują pliki.
- Agenci AI dostają możliwości działania „na zewnątrz”: mogą logować się do aplikacji, zarządzać kalendarzem, robić zakupy, wysyłać maile, korzystać z usług zewnętrznych.
- Użytkownik zwykle udziela im wielu zezwoleń jednocześnie: dostęp do skrzynki, danych karty, systemów firmowych.
W teorii taki agent przypomina superasystenta – działa 24/7, nie męczy się, reaguje szybciej niż człowiek, wyłapuje okazje, wysyła maile, monitoruje zadania. Dla firm to kusząca wizja: mniej etatów, więcej automatyzacji, ciągła praca bez przerw.
Agent AI to już nie tylko program odpowiadający na pytania. To coś bliżej wirtualnego pracownika, który sam podejmuje decyzje i wykonuje operacje w imieniu człowieka.
Firmy tną etaty, bo liczą na robotycznych pracowników
Niektóre korporacje uznały, że taka technologia jest wystarczająco dojrzała, by oprzeć na niej codzienną działalność. Przykładem jest Block, spółka-matka Square i Tidal, która rozpoczęła poważną redukcję zatrudnienia. Celem jest zastąpienie części zadań biurowych agentami AI: od obsługi klienta po wewnętrzną komunikację i analizy.
Za tym trendem kryje się mieszanka fascynacji i chłodnej kalkulacji finansowej. Z perspektywy prezesa agent AI to pracownik, który nie bierze urlopu, nie choruje, nie składa wniosków o podwyżkę. Wystarczy raz zapłacić za wdrożenie, później koszty utrzymania są zwykle niższe niż pensje całego działu.
Pojawia się tylko jeden problem: modele językowe, na których oparte są te systemy, nie są nieomylne. Działają probabilistycznie, czyli przewidują najbardziej prawdopodobną kolejną odpowiedź. Gdy generują tekst, czasem „zmyślają” fakty – zjawisko powszechnie nazywane halucynacją. Do tej pory to głównie irytacja: źle podane nazwisko, fikcyjny tytuł książki, wymyślone źródło.
Gdy agent AI z taką samą swobodą, z jaką wymyśla fikcyjną bibliografię, zacznie podejmować decyzje finansowe czy prawne, skutki przestają być zabawne.
Gdzie naprawdę leży problem: w AI czy w człowieku
Andrew Lee, szef Shortwave – firmy, która stworzyła Taskleta – przyznaje, że technologia sama w sobie nie jest „zła” ani „dobra”. Kluczowa staje się rola człowieka, który ją konfiguruje i nadzoruje. Według niego najbezpieczniejszy model działania to taki, w którym agent przygotowuje zadania, ale nie wykonuje ich do końca bez zgody człowieka.
Przykład z mailami dobrze to ilustruje: bot może napisać ich setki dziennie, ale powinien zatrzymać się na etapie „wersja robocza”. To człowiek decyduje, które wiadomości faktycznie wysłać. W przypadku Heynemana ten etap filtracji praktycznie nie istniał – agent prowadził negocjacje i ustalał zobowiązania finansowe samodzielnie.
| Zakres działania agenta AI | Ryzyko przy braku nadzoru |
|---|---|
| Tworzenie szkiców maili | Ryzyko niefortunnego tonu, ale łatwe do wychwycenia przed wysyłką |
| Automatyczne wysyłanie wiadomości | Możliwe naruszenie relacji biznesowych, wysyłka błędnych informacji |
| Składanie zamówień, płatności, sponsoring | Bezpośrednie straty finansowe, prawne zobowiązania, utrata reputacji |
Automatyzacja kusi, ale rachunek może przyjść nagle
Historia z Davos dobrze pokazuje, jak łatwo przekroczyć cienką granicę między wygodą a utratą kontroli. Najpierw oddajemy agentowi drobne zadania: „sprawdź termin wydarzenia”, „przypomnij mi o spotkaniu”. Z czasem pojawia się pokusa, by dorzucać kolejne uprawnienia: dostęp do karty, do firmowego Slacka, do systemu CRM.
W pewnym momencie cyfrowy asystent zaczyna mieć większą sprawczość niż niektórzy pracownicy. I wtedy staje się realnym ryzykiem, jeśli nikt nie filtrował jego decyzji. Problem nie zawsze będzie tak widowiskowy jak sponsoring za 27 tysięcy euro. Może to być źle podpisana umowa, źle wysłany plik, nieuprawniony wgląd w dane klientów.
Jak korzystać z agentów AI z głową
Dla wielu osób i firm agenci AI pozostaną atrakcyjnym narzędziem. Da się jednak znacznie ograniczyć ryzyko, jeśli wprowadzi się kilka konkretnych zasad:
- Ograniczony dostęp finansowy – agent nie powinien mieć samodzielnej możliwości zawierania zobowiązań powyżej niewielnego limitu.
- Zasada dwóch kroków – AI przygotowuje akcję (mail, zamówienie, przelew), a człowiek musi ją zatwierdzić.
- Wyraźne logi działań – każdy krok agenta powinien być czytelnie zapisany i łatwy do prześledzenia.
- Testy w bezpiecznym środowisku – przed wdrożeniem do realnych finansów i klientów warto puścić agenta w trybie „na sucho”.
- Szkolenie użytkowników – pracownicy powinni rozumieć, że AI halucynuje, a nie „wie”, i traktować jej decyzje jako propozycje, nie wyrocznię.
Dla polskich firm ta historia z zachodu może być cennym ostrzeżeniem. Coraz więcej rodzimych start-upów buduje własne agentowe rozwiązania, a korporacje testują narzędzia podobne do Taskleta, zintegrowane z obiegiem dokumentów, fakturowaniem czy obsługą klienta. Presja, by „nie zostać w tyle”, rośnie z kwartału na kwartał.
Warto pamiętać, że agent AI to w praktyce pracownik bez zdrowego rozsądku. Liczy, przewiduje, generuje odpowiedzi, ale nie rozumie reputacyjnych czy emocjonalnych konsekwencji. Nie przelicza też ryzyka tak jak człowiek, który czuje, że 27 tysięcy euro to dla młodego start-upu być albo nie być. Jeśli oddamy mu ster bez nadzoru, prędzej czy później przyjdzie moment, gdy obudzimy się z rachunkiem, którego wcale nie planowaliśmy.
