Z tego artykułu dowiesz się:
- Dlaczego chatboty AI, takie jak ChatGPT czy Gemini, nie potrafią realistycznie ocenić własnych możliwości i stają się jeszcze bardziej pewne siebie mimo błędów.
- Jak brak naturalnych sygnałów niepewności w komunikacji AI sprawia, że użytkownicy łatwiej ufają błędnym odpowiedziom.
- Jakie ryzyka niesie nadmierna pewność siebie AI w obszarach wysokiej stawki - od prawa po informacje w mediach i co to oznacza dla użytkowników.
Najnowsze badania naukowców z Carnegie Mellon University wskazują na kluczową słabość dużych modeli językowych (LLM): łączą nadmierną pewność siebie z brakiem samoświadomości. To połączenie może poważnie zaburzać proces podejmowania decyzji przez człowieka.
AI kontra człowiek: kto lepiej kalibruje swoje możliwości?
W eksperymencie porównano ludzi i cztery różne modele LLM: ChatGPT, Bard/Gemini, Sonnet i Haiku. Badanych postawiono przed zadaniami obejmującymi quizy z wiedzy ogólnej, przewidywanie wyników (np. Oscarów czy meczów NFL) oraz grę w rozpoznawanie obrazków przypominającą kalambury (Pictionary).
Rezultaty okazały się znaczące:
- Początkowa nadmierna pewność siebie pojawiała się zarówno u ludzi, jak i u modeli.
- Ludzie potrafili się dostosować. Jeśli uczestnik przewidywał, że odpowie poprawnie na 18 pytań, a faktycznie udało mu się tylko 15, to w kolejnych szacunkach obniżał swoje oczekiwania (np. do 16).
- AI nie potrafiło tego zrobić. Modele LLM zamiast się uczyć na błędach, często stawały się… jeszcze bardziej pewne siebie, mimo że ich wyniki były słabe.
Najbardziej jaskrawy przykład to Gemini. W zadaniu typu Pictionary rozpoznał średnio zaledwie 0,93 rysunku na 20, a mimo to retrospektywnie ocenił, że poprawnie odpowiedział na 14,40. To wyraźny dowód na brak zdolności do realistycznej oceny własnej skuteczności.
Utrata naturalnych wskazówek niepewności
W relacjach międzyludzkich niepewność łatwo dostrzec, ktoś marszczy brwi, waha się z odpowiedzią, mówi wolniej. To są sygnały, które pomagają nam ocenić, czy druga osoba wie, o czym mówi.
W przypadku AI takich sygnałów nie ma. Modele LLM wypowiadają się z pełnym przekonaniem, nawet wtedy, gdy to przekonanie nie ma pokrycia w rzeczywistości. To oznacza, że użytkownicy tracą naturalne mechanizmy ostrzegawcze i łatwiej przyjmują błędne informacje jako prawdziwe.
Dlaczego to nie jest tylko akademicka ciekawostka?
Eksperymenty opierały się na zadaniach niskiego ryzyka, takich jak quizy czy przewidywanie rozrywkowych wydarzeń. Ale konsekwencje sięgają znacznie dalej.
Wysoka pewność siebie AI bez podstaw może być groźna w obszarach o dużym znaczeniu społecznym i prawnym. Dowody już istnieją:
- Jedno z badań wykazało, że gdy LLM odpowiadały na pytania dotyczące wiadomości, ponad połowa odpowiedzi miała „poważne problemy” - od błędów faktograficznych po błędne przypisywanie źródeł.
- Inne badanie z 2023 roku pokazało, że AI „halucynowało”, czyli tworzyło fałszywe informacje, w 69–88% zapytań prawnych.
Jeśli takie odpowiedzi są podawane z pełnym przekonaniem, ryzyko wprowadzenia ludzi w błąd rośnie wykładniczo.
Wnioski dla nas, użytkowników
Najważniejsza lekcja z tych badań brzmi: AI nie jest z definicji nieomylna, a jej pewność siebie nie powinna być traktowana jako dowód prawdziwości.
Co to oznacza w praktyce?
- Podchodźmy krytycznie do odpowiedzi AI, szczególnie w kwestiach istotnych.
- Traktujmy deklarowaną pewność modelu jako sygnał, który trzeba weryfikować, a nie jako dowód.
- Jeśli chatbot otwarcie przyznaje się do niskiej pewności – warto potraktować to poważnie i nie polegać na takiej odpowiedzi.
Naukowcy podkreślają też, że ujawnianie słabości, takich jak nadmierna pewność siebie, jest szansą dla rozwoju technologii. W przyszłości modele mogłyby być wyposażone w elementy metapoznania, czyli zdolności do refleksji nad własnym działaniem. To umożliwiłoby im lepszą kalibrację pewności i mniejsze ryzyko wprowadzania użytkowników w błąd.
Podsumowanie
Badania z Carnegie Mellon pokazują, że największym problemem nie jest to, że AI się myli, bo to jest w jakimś stopniu naturalne, ale że myli się z pełnym przekonaniem i bez świadomości własnych ograniczeń.
Dla użytkowników oznacza to konieczność większej czujności. A dla twórców przede wszystkim wyzwanie, by wyposażyć przyszłe systemy w zdolność krytycznej oceny własnych odpowiedzi.
Bo dopóki tego zabraknie, nadmierna pewność AI będzie naszym wspólnym ryzykiem.
