Rozpoznanie, czy tekst napisał człowiek, czy chatbot, bywa zaskakująco trudne. W badaniu opublikowanym w „Nature Human Behaviour” uczestnicy ponad 72 tysięcy razy oceniali odpowiedzi ludzi i sztucznej inteligencji, a ich trafność była niewiele lepsza od rzutu monetą. Lepiej szło wtedy, gdy mogli sami zadawać pytania.

Jak przeprowadzono badanie

Zespół kierowany przez Mengmi Zhang z Nanyang Technological University w Singapurze zebrał przykładowe odpowiedzi od 636 osób oraz 37 modeli AI. Oceniało je osobno 1916 sędziów. Materiał obejmował sześć kategorii, od pisania opisów obrazków i prowadzenia rozmów po rozpoznawanie kolorów i przedmiotów na zdjęciach.

Dane zebrano w latach 2023–2024, a dodatkowe eksperymenty kontrolne w 2025 roku. W testach pojawiły się między innymi GPT-4o, Claude 3.7 i Llama 3.3. Wyniki pokazują więc wcześniejszy etap rozwoju AI i nie mówią, jak poradziłyby sobie nowsze modele.

Wynik niewiele lepszy od zgadywania

• W głównych testach językowych sędziowie wskazywali autora z trafnością około 53–57 proc., a samo zgadywanie dałoby 50 proc.
• Opisy obrazków stworzone przez AI rozpoznano jako maszynowe tylko w 46 proc. przypadków.
• Odpowiedzi konwersacyjne napisane przez AI rozpoznano w 47 proc. przypadków.
• Często mylnie uznawano też odpowiedzi ludzi za maszynowe.

Trzeba dodać, że materiał był wcześniej przygotowany: badacze usunęli część oczywistych potknięć AI, na przykład rozmowy, które robiły się powtarzalne albo urywały się zbyt szybko. Wynik dotyczy zatem kontrolowanych warunków, a nie wykrywania każdego tekstu z chatbota.

Badanie pokazało też, że przekonujące udawanie człowieka to coś innego niż poprawna odpowiedź. GPT-4 trafnie opisał ludzi na plaży, ale nie zauważył wizualnego triku, przez który wyglądało, że mężczyzna trzyma własną odciętą głowę. Autorzy podsumowali: „Being right or wrong is not the same as imitation” – czyli bycie w błędzie lub w prawdzie to nie to samo co naśladowanie człowieka (Mengmi Zhang i współautorzy).

Rozmowa na żywo daje przewagę

W mniejszym eksperymencie sędziowie sami rozmawiali z człowiekiem i chatbotem, wybierali tematy i zadawali dodatkowe pytania. W siedmiu rozmowach, w których GPT-3.5-Turbo miał udawać człowieka, wszyscy sędziowie poprawnie go rozpoznali. Ten wynik mógł jednak wynikać z drobnych wskazówek, takich jak styl i czas odpowiedzi albo reakcja zabezpieczeń, która ujawniała, że po drugiej stronie jest AI.

Aby to ograniczyć, zespół powtórzył próbę na większą skalę z modelem Llama-3-70B-Instruct z wyłączonymi zabezpieczeniami. W 188 próbach z udziałem 28 osób sędziowie się mylili, ale im dłuższa była rozmowa, tym lepiej wskazywali odpowiedzi maszyny. Eksperymenty różniły się modelami i instrukcjami, więc nie da się wyizolować wpływu samego dopytywania. Wskazują jednak, że w rozmowie można znaleźć ślady, których brakuje w gotowym zapisie.

Co to oznacza dla czytelnika w Polsce

Badanie nie dotyczy bezpośrednio Polski ani przepisów UE, ale jego wniosek jest praktyczny. Jeśli podejrzewamy, że po drugiej stronie czatu, w wiadomości od „konsultanta” albo w podejrzanej korespondencji jest bot, samo przeczytanie jednej odpowiedzi to za mało. Lepiej dopytać, poprosić o doprecyzowanie albo wrócić do wcześniejszego wątku rozmowy.

Nie ma jednak metody, która działa zawsze. Autorzy zaznaczają, że rozpoznanie jednego chatbota w małym teście nie dowodzi, że ludzie potrafią niezawodnie odróżniać AI od człowieka w różnych systemach i sytuacjach. Przy nowszych modelach, które mogły się znacząco zmienić od czasu zbierania danych, ostrożność jest tym bardziej uzasadniona.

Źródło: Tech Xplore – „AI often passes for human, but asking follow-up questions can trip it up”