Czy detektory AI działają?

Your Text Is AI Generated. Ten komunikat brzmi jak wyrok. Czy rzeczywiście nie ma od niego odwołania? Tak się składa, że orzeczenia niezawisłych sędziów w “osobie” detektora sztucznej inteligencji są bardzo łatwe do podważenia. W artykule przedstawiamy nieskuteczność detektorów AI, zakrawających niekiedy o ułomność.

Czym jest detektor AI i jak działa?

Detektory AI to narzędzia bazujące nomen omen na sztucznej inteligencji. Są to modele językowe, które z założenia mają identyfikować treści tworzone przez AI i odróżniać je tekstów pisanych przez człowieka.

Detektory AI weryfikują i analizują słowa występujące w treści w określonym kontekście. Narzędzie rozpoznaje wybrany zwrot, a następnie na podstawie algorytmu przewiduje, jakie wyrażenia pojawią się w dalszych fragmentach. Przewidywania bazują na ogólnym podobieństwie treści generowanych przez dany model językowy, np. ChatGPT czy Gemini.

Popularne detektory treści AI

Narzędzia oferujące wykrywanie treści generowanych przez sztuczną inteligencję są dostępne w sieci za darmo. Do najpopularniejszych należą np.:

• GPTZero,
• ZeroGPT,
• Content at Scale (Grammarly.com),
• Copyleaks.

Wymienione narzędzia wykorzystamy do wykrycia AI w treściach tworzonych przez naszych copywriterów.

Wykrywanie treści AI przez detektory — nasze wnioski

Jak detektory AI faktycznie radzą sobie z wykrywaniem treści generowanych przez modele językowe bazujące na sztucznej inteligencji? Sprawdźmy to na żywych przykładach.

Tekst blogowy z kwietnia 2020, napisany przez copywritera

Na pierwszy ogień pójdzie tekst pt. Jak zdezynfekować samochód, który nie miał prawa zostać wygenerowany przez modele językowe AI, ponieważ został napisany dla jednego z naszych Klientów w kwietniu 2020 roku. Wtedy jeszcze copywriterzy zupełnie nie martwili się o swoją pracę, a pozycjonerzy śmiali się z hasła SEO is dead.

Dla transparentności na screenie przedstawiamy historię zmian w dokumencie, która potwierdza datę napisania tekstu:

Co na to dektektory AI?

Wyniki są rozbieżne

• ZeroGPT stwierdza, że tekst został wygenerowany przez sztuczną inteligencję. Podaje 78,39% zgodności z modelami AI.

• GPTZero potwierdza, że tekst napisał człowiek. Wskazuje na 0% fragmentów AI, 98% treści napisanych przez człowieka i 2% zmieszanych / wątpliwych. Warto natomiast wspomnieć, że to narzędzie informuje, że nie rozumie w 100% języka polskiego. Dlatego wyniki należy traktować z pewnym dystansem.

• Content at Scale wskazuje na w pełni napisany przez człowieka tekst.

• Copyleaks również wskazuje, że artykuł został napisany przez człowieka.

Wnioski? W przypadku treści pisanych przez człowieka detektory z reguły poprawnie stwierdzają, że tekst ma swojego żywego autora. Wyjątkiem jest ZeroGPT, który nadał scoring niemal 80% zgodności z AI. Stanowi to wyraźne odchylenie od reszty wyników. Warto podkreślić, że na dzień pisania tego artykułu jest to najwyżej wypozycjonowany model detektora w wyszukiwarce Google, stąd można zakładać, że wiele osób skorzysta właśnie z niego.

Artykuł wygenerowany przez ChatGPT

Przyjrzyjmy się zatem, jak przedstawia się ocena artykułu faktycznie wygenerowane przez sztuczną inteligencję i wklejonego z do detektora prosto z okna ChatuGPT.

• ZeroGPT wskazuje zaledwie nieco ponad 60% zgodności z modelem językowym AI. Jest to zatem wynik wyraźnie niższy niż w przypadku artykułu napisanego przez człowieka!

• GPTZero radzi sobie jeszcze gorzej, ponieważ sugeruje, że aż 84% tekstu ma charakter typowy dla treści pisanej przez żywego autora.

• Content at Scale wskazuje 0% zgodności z modelami językowymi sztucznej inteligencji.

• Copyleaks nie wykrywa żadnej zgodności z modelami AI.

Wnioski? Najbliżej rozpoznania treści wygenerowanej przez AI był detektor ZeroGPT, który wskazał nieco ponad 60% zgodności. To jednak wciąż mniej niż w przypadku tekstu, który został napisany przez człowieka. Pozostałe detektory nie radziły sobie z rozpoznaniem treści generowanej przez sztuczną inteligencję.

Oznacza to ni mniej ni więcej tyle, że dobry prompt, nad którym copywriter lub inny autor musi trochę popracować, może przynieść efekty w formie zhumanizowanej treści wygenerowanej przez AI.

Treść wygenerowana przez AI z poprawką poprzez prosty prompt “zhumanizuj poniższy tekst”

Na tapet weźmy jeszcze jedną wersję tekstu wygenerowanego przez AI. Tym razem będzie to zmodyfikowana wersja poprzedniego artykułu, którą ChatGPT poprawił po wpisaniu prostego polecenia “zhumanizuj poniższy tekst” (tak, tak, w promcie na screenie jest błąd) — bez żadnych dodatkowych instrukcji i zaleceń.

• ZeroGPT wskazuje niespełna 27% zgodności ze stylem modelu językowego ChatGPT.

• GPTZero wskazuje zaledwie 1% zgodności i 82% niezgodności z ChatemGPT. Pozostałe 17% ocenia jako “mixed”, co możemy interpretować jako fragmenty wygenerowane przez AI, ale redagowane przez copywritera.

• Content at Scale ponownie nie wykrył treści wygenerowanej przez sztuczną inteligencję.

• Copyleaks w tym przypadku także uznał treść za napisaną przez człowieka.

Detektory AI — bezużyteczne czy pomocne?

Na podstawie naszej analizy różnych przypadków stwierdzić można, że detektory AI są narzędziami mocno zawodnymi. Przypisywały autorstwo AI treściom pisanym przez człowieka, natomiast treści faktycznie generowanych przez sztuczną inteligencję oceniały jako “ludzkie”. Nie brakowało również wyników mieszanych, które wskazywały “domieszkę” sztucznej inteligencji lub około 60-procentową zgodność z AI. Pole do interpretacji wyników pozostaje zatem naprawdę duże.

Skąd takie rozbieżności?

• Wykrywacze sztucznej inteligencji działają na zasadzie przewidywalności. Ich ocena polega wyłącznie na znajomości stylów poszczególnych modeli językowych i dopasowaniu analizowanej treści do wzorca.
• Modele językowe AI ewoluują praktycznie z miesiąca na miesiąc. Jakość generowanych przez nie treści rośnie, stąd mogą mieć one coraz bardziej ludzki charakter.
• Testy SEO mogą mieć nieco generatywny wydźwięk. Liczba kombinacji call to action czy innych zwrotów sprzedażowo-marketingowych wbrew pozorom jest ograniczona. To sprawia, że teksty autorstwa człowieka mogą być interpretowane jako AI.
• Sprawy nie ułatwia rozpychające się łokciami Google AI Overview. Wymaga bowiem od autorów treści tego, aby odpowiadały bezpośrednio na zapytania internautów. Oznacza to, że treści tworzone pod SEO zaczynają mieć nieco generatywny charakter, przypominający sekcję FAQ. Takie działania są jednak niezbędne do tego, aby sprostać zmieniającym się realiom pozycjonowania.
• Modele językowe sztucznej inteligencji często lubią upodobać sobie pewne wyrażenia, przez co zaczynamy je identyfikować jako typowe dla AI. Nie możemy jednak zapominać, że wciąż są one poprawne i pojawiały się w tekstach copywriterów jeszcze przed erą AI.

Zawodne detektory AI na pewno nie powinny stanowić podstawy do zarzucania copywriterom freelancerom lub agencjom marketingowym wyręczenia się sztuczną inteligencją w pracy. Ocena wydana z ich pomocą może być bowiem mylna i niesprawiedliwa. Warto pamiętać, że koniec końców Google promuje treści wysokiej jakości, nie zważając na to, czy są one pisane przez człowieka czy generowane przez AI.

Korzystanie lub niekorzystanie z AI działa w dwie strony. Z jednej, stworzenie rzetelnego promptu może wesprzeć pracę autora, wspomóc selekcję informacji czy redagowanie powtarzalnych fragmentów (np. listy cech lub zalet danego produktu w celu uniknięcia duplikacji treści). Warto podkreślić, że to również wymaga pewnej wiedzy z zakresu znajomości modeli językowych i poświęcenia niekiedy sporej ilości czasu. Z drugiej strony, nawet w 100% “ludzki” tekst może być zwyczajnie słaby i zawierać błędy i w merytoryce, i w warstwie językowej.

Co z niniejszym artykułem?

Niniejszy artykuł został wklejony w detektor ZeroGPT, który wykrył 0% treści wygenerowanej przez AI. Faktycznie ten tekst został napisany przez żywego autora. Skąd zatem rozbieżność z innym “ludzkim” artykułem?

Wytłumaczyć można to m.in. tym, że w przypadku tego artykułu praktycznie nie był wykonywany żaden research, który wymagałby przeredagowywania wcześniej już sformułowanych wypowiedzi. Zdania w nim zawarte są efektem posiadania własnej wiedzy oraz interpretowania testów przeprowadzanych na bieżąco w narzędziach internetowych.

Nie ma w nim list cech i zalet produktów czy sprzedażowych zwrotów call to action. Nie zawiera on również fraz kluczowych w formie pytań wpisywanych przez użytkowników sieci w wyszukiwarkach. Praktycznie rzecz biorąc, jest to artykuł napisany kompletnie nie pod SEO, a wyłącznie z myślą o podzieleniu się wiedzą i wnioskami. Jego struktura i język są w stu procentach wizją autora, który postanowił na potrzeby wyjaśnienia zagadnienia detektorów AI zupełnie nie przejmować się algorytmami wyszukiwarki Google.