Makbet był tyranozaurem

Jest ryzyko, że modele językowe będą powielać błędne struktury, których się nauczą, analizując przesłane im teksty. W dodatku będą te struktury upowszechniać

Z Rafałem Mazurem rozmawia Anna Wittenberg

ChatGPT zdałby maturę z polskiego?

To trudne pytanie, bo dużo zależy od kryteriów oceny. Sądzę, że miałby problem z zaliczeniem rozprawki.

Dlaczego?

ChatGPT popełnia bardzo dużo błędów, także merytorycznych. A jeśli taki poważny błąd, nazywany przez Centralną Komisję Egzaminacyjną kardynalnym, zdarzy się w wypracowaniu, egzaminator stawia za nie zero punktów. Takie błędy to wynik tzw. halucynacji – w wyniku procesów, których, jak się wydaje, nawet twórcy nie rozumieją, wielkie modele językowe mogą podawać nieprawdziwe informacje. Zresztą na stronie ChatGPT twórcy piszą małym druczkiem, że informacje, które narzędzie generuje, nie muszą być prawdziwe.

A czy chociaż z ortografią można na niego liczyć?

Też nie! Przeprowadziłem analizę, z której wynika, że czat popełnia takie błędy językowe, których wykształcony użytkownik języka polskiego popełniać nie powinien. Choć błędów ortograficznych znalazłem stosunkowo mało, to już składniowe czy interpunkcyjne popełniał bardzo często. Wstawiał na przykład przecinek między podmiotem a orzeczeniem. To taka rzecz, która dla nas jest oczywista, ale program ma z nią problem, zwłaszcza w złożonych strukturach. Polska interpunkcja jest naprawdę trudnym zagadnieniem nawet dla skomplikowanego algorytmu. A co do składni, czasem forma orzeczenia nie pasowała do podmiotu, czasem pojawiały się też błędnie uzgodnione formy w związkach pobocznych, np. Adam i Ewa zostali przez chatbota opisani jako „niewinni istoty” – takie połączenia rażą chyba każdego przeciętnego użytkownika języka.