Najnowsze badania naukowców z Carnegie Mellon University wskazują na kluczową słabość dużych modeli językowych (LLM): łączą nadmierną pewność siebie z brakiem samoświadomości. To połączenie może poważnie zaburzać proces podejmowania decyzji przez człowieka.
falseW eksperymencie porównano ludzi i cztery różne modele LLM: ChatGPT, Bard/Gemini, Sonnet i Haiku. Badanych postawiono przed zadaniami obejmującymi quizy z wiedzy ogólnej, przewidywanie wyników (np. Oscarów czy meczów NFL) oraz grę w rozpoznawanie obrazków przypominającą kalambury (Pictionary).
Rezultaty okazały się znaczące:
truetruetrueNajbardziej jaskrawy przykład to Gemini. W zadaniu typu Pictionary rozpoznał średnio zaledwie 0,93 rysunku na 20, a mimo to retrospektywnie ocenił, że poprawnie odpowiedział na 14,40. To wyraźny dowód na brak zdolności do realistycznej oceny własnej skuteczności.
falseW relacjach międzyludzkich niepewność łatwo dostrzec, ktoś marszczy brwi, waha się z odpowiedzią, mówi wolniej. To są sygnały, które pomagają nam ocenić, czy druga osoba wie, o czym mówi.
W przypadku AI takich sygnałów nie ma. Modele LLM wypowiadają się z pełnym przekonaniem, nawet wtedy, gdy to przekonanie nie ma pokrycia w rzeczywistości. To oznacza, że użytkownicy tracą naturalne mechanizmy ostrzegawcze i łatwiej przyjmują błędne informacje jako prawdziwe.
falseEksperymenty opierały się na zadaniach niskiego ryzyka, takich jak quizy czy przewidywanie rozrywkowych wydarzeń. Ale konsekwencje sięgają znacznie dalej.
Wysoka pewność siebie AI bez podstaw może być groźna w obszarach o dużym znaczeniu społecznym i prawnym. Dowody już istnieją:
truetrueJeśli takie odpowiedzi są podawane z pełnym przekonaniem, ryzyko wprowadzenia ludzi w błąd rośnie wykładniczo.
falseNajważniejsza lekcja z tych badań brzmi: AI nie jest z definicji nieomylna, a jej pewność siebie nie powinna być traktowana jako dowód prawdziwości.
Co to oznacza w praktyce?
truetruetrueNaukowcy podkreślają też, że ujawnianie słabości, takich jak nadmierna pewność siebie, jest szansą dla rozwoju technologii. W przyszłości modele mogłyby być wyposażone w elementy metapoznania, czyli zdolności do refleksji nad własnym działaniem. To umożliwiłoby im lepszą kalibrację pewności i mniejsze ryzyko wprowadzania użytkowników w błąd.
falseBadania z Carnegie Mellon pokazują, że największym problemem nie jest to, że AI się myli, bo to jest w jakimś stopniu naturalne, ale że myli się z pełnym przekonaniem i bez świadomości własnych ograniczeń.
Dla użytkowników oznacza to konieczność większej czujności. A dla twórców przede wszystkim wyzwanie, by wyposażyć przyszłe systemy w zdolność krytycznej oceny własnych odpowiedzi.
Bo dopóki tego zabraknie, nadmierna pewność AI będzie naszym wspólnym ryzykiem.
