11 haittapuolta ChatGPT-sisällössä

Kohokohdat

• Miksi huonolaatuiset ChatGPT-sisällöt läpäisevät ihmisten tarkastuksen.
• ChatGPT on kattava myös silloin, kun sen pitäisi olla tiivis.
• Professorin mukaan ChatGPT:n tuottamat esseet kärsivät tietystä virheestä.
• ChatGPT epäonnistuu kuvitteellisessa Voight-Kampff -androidin havaitsemistestissä – ja syy, miksi tämä on merkityksellistä, yllättää.

ChatGPT tuottaa sisältöä, joka on kattavaa ja uskottavasti tarkkaa.

Mutta tutkijat, taiteilijat ja professorit varoittavat huomioimaan lyhycomings, jotka heikentävät sisällön laatua.

Tässä artikkelissa tarkastelemme 11 ChatGPT-sisällön haittapuolta. Sukelletaanpa sisään.

1. Fraasien käyttö paljastaa sen epäinhimilliseksi

Tutkijat, jotka tutkivat koneella tuotetun sisällön tunnistamista, ovat löytäneet malleja, jotka tekevät siitä luonnottoman kuuloista.

Yksi näistä kummallisuuksista on kuinka tekoäly kamppailee idiomien kanssa.

Ilmaisu on lause tai sanonta, jolla on siihen kiinnitetty kuvauksellinen merkitys. Esimerkiksi sanonta ”jokaisella pilvellä on hopeareunus”.

Ilman sanontoja sisältö voi olla merkki koneen tuottamasta sisällöstä - ja tämä voi olla osa havaitsemisalgoritmia.

Tämä on mitä vuoden 2022 tutkimuspaperi nimeltä "Adversarial Robustness of Neural-Statistical Features in Detection of Generative Transformers" sanoo tästä omituisuudesta koneellisesti generoidussa sisällössä:

"Monimutkaiset fraasipiirteet perustuvat tekstianalyysissa esiintyvien tiettyjen sanojen ja lauseiden frekvenssiin, jotka esiintyvät useammin ihmisten teksteissä."

…Näistä monimutkaisista fraasiluokituksista idiomiluokitukset säilyttävät eniten ennustusvoimaa nykyisissä generatiivisissa malleissa.”

Tämä kyvyttömyys käyttää idiomia osaltaan vaikuttaa siihen, että ChatGPT:n tuottama teksti kuulostaa ja lukeutuu epäluontevasti.

2. ChatGPT:n ilmaisukyky on puutteellinen

Taiteilija kommentoi, kuinka ChatGPT:n tuotanto muistuttaa taidetta, mutta puuttuu taiteellisen ilmaisun todellisista ominaisuuksista.

Ilmaisu on ajatus- tai tunneviestinnän prosessi.

ChatGPTin tuloste ei sisällä ilmaisuja, ainoastaan sanoja.

Se ei kykene tuottamaan sisältöä, joka koskettaisi ihmisiä samalla emotionaalisella tasolla kuin ihminen - sillä sillä ei ole varsinaisia ajatuksia tai tunteita.

Musiikkitaiteilija Nick Cave kommentoi Red Hand Files -uutiskirjeessään ChatGPT-laulunsanoitusta, joka oli tehty Nick Caven tyylillä.

Uuden sukupolven tekoälypohjainen sisältömarkkinointityökalu
Ota käyttöön seuraavan sukupolven teknologiat ennen kilpailijoitasi. Luo hyvin optimoitu ja kohdistettu sisältö, joka tuottaa tuloksia kolme kertaa nopeammin.

Hän kirjoitti:

"Mikä tekee loistavasta kappaleesta loistavan, ei ole sen läheinen samankaltaisuus tunnistettavan teoksen kanssa.

...se on hengästyttävä kohtaaminen omien haavoittuvuuksien, vaarallisuuden ja pienuuden kanssa, joka joutuu vastakkain äkillisen järkyttävän löydön kanssa; se on lunastava taiteellinen teko, joka liikuttaa kuulijan sydämen, jossa kuulija tunnistaa kappaleen sisäisessä työskentelyssä oman verensä, oman taistelunsa, oman kärsimyksensä."

Cave kutsui ChatGPT:n sanoituksia ivalliseksi.

Tämä on ChatGPT:n sanoitus, joka muistuttaa Nick Cavesta:

“Minulla on enkelien verta käsissäni
Minulla on helvetin tuli silmissäni
Olen syvyyden kuningas, olen pimeyden hallitsija
Olen se jota pelätään, varjoissa korvessaan”

Ja tämä on Nick Cave -sanoitus (Brother, My Cup Is Empty):

”No olen liukunut sateenkaarella
Olen keinunut tähtien varassa
Nyt tämä köyhyys vaatetuksessaan
Lyö mukiaan baaritiskiin
Katso, tämä kuppi on tyhjä!
Vaikuttaa siltä, että olen kadottanut toiveeni
Vaikuttaa siltä, että pyyhin pois tuhkan
Muistoistani entisistä tulistani”

On helppo nähdä, että koneen luoma sanoitus muistuttaa taiteilijan sanoitusta, mutta se ei oikeastaan välitä mitään.

Nick Caven sanoitukset kertovat tarinan, joka resonoi laulussa puhuvan henkilön tuskan, toiveiden, häpeän ja tahallisen petoksen kanssa. Se ilmaisee ajatuksia ja tunteita.

On helppo nähdä, miksi Nick Cave kutsuu sitä pilkaksi.

3. ChatGPT ei tuota oivalluksia

The Insider -lehdessä julkaistun artikkelin mukaan eräs akateemikko huomautti, että ChatGPT:n tuottamat akateemiset esseet puuttuvat näkemyksistä aiheesta.

ChatGPT tiivistää aiheen, mutta ei tarjoa ainutlaatuista näkemystä aiheesta.

Ihmiset luovat tietämyksen kautta, mutta myös henkilökohtaisten kokemustensa ja subjektiivisten havaintojensa kautta.

The Insiderin mukaan Appalachian State -yliopiston professori Christopher Bartel väittää, että vaikka ChatGPT:n essee saattaa sisältää korkealaatuista kielioppia ja monimutkaisia ideoita, siitä puuttuu silti oivallus.

Bartel sanoi:

"Ne ovat todella pörröisiä. Ei ole kontekstia, ei ole syvyyttä tai oivallusta."

Ymmärrys on hyvin kirjoitetun essean tunnusmerkki, ja se on jotain, jossa ChatGPT ei ole erityisen hyvä.

Tämä puute näkemystä on hyvä pitää mielessä arvioitaessa koneella tuotettua sisältöä.

4. ChatGPT on liian sanavalmis

Tammikuussa 2023 julkaistun tutkimusartikkelin mukaan ChatGPT-sisällössä on havaittu malleja, jotka tekevät siitä vähemmän sopivan kriittisiin sovelluksiin.

Artikkelin nimi on "Kuinka lähellä ChatGPT on ihmisasiantuntijoita? Vertailukorpus, evaluointi ja havaitseminen."

Tutkimus osoitti, että ihmiset pitivät vastauksia ChatGPT:ltä yli 50 %:ssa rahoitukseen ja psykologiaan liittyvistä kysymyksistä.

Mutta ChatGPT epäonnistui vastaamaan lääketieteellisiin kysymyksiin, koska ihmiset suosivat suoria vastauksia – jotain, mitä tekoäly ei tarjonnut.

Tutkijat kirjoittivat:

"...ChatGPT pärjää huonosti lääketieteellisellä alalla avun tarjoamisen suhteen sekä englanniksi että kiinaksi."

ChatGPT antaa usein pitkiä vastauksia lääketieteellisiin kysymyksiin keräämässämme datassa, kun taas ihmisasiantuntijat voivat antaa suoria vastauksia tai ehdotuksia, mikä saattaa osittain selittää, miksi vapaaehtoiset pitävät ihmisvastauksia hyödyllisempinä lääketieteellisessä toimialueessa.”

ChatGPT pyrkii käsittelemään aiheita eri kulmista, mikä tekee siitä epäsopivan, kun paras vastaus on suora.

ChatGPT:ia käyttävien markkinoijien on otettava huomioon tämä, sillä suoraa vastausta vaativat sivuston kävijät eivät tule olemaan tyytyväisiä pitkäveteiseen verkkosivuun.

Ja onnea yrittäessäsi saada liian sanallisesta sivusta sijoitusta Googlen esillä olevassa kohokohdassa, jossa ytimekäs ja selkeästi ilmaistu vastaus, joka toimii hyvin Google Voice -palvelussa, saattaa olla paremmassa asemassa kuin pitkäveteinen vastaus.

OpenAI, joka on ChatGPT:n tekijöiden tiimi, tunnustaa, että yksityiskohtaisiin vastauksiin vastaaminen on tiedossa oleva rajoitus.

OpenAI:n ilmoitusartikkeli toteaa:

”Malli on usein liian pitkällinen…”

ChatGPT:n suuntaus tarjota pitkää vastausta on jotain, josta kannattaa olla tietoinen, kun käytät ChatGPT:n tulostetta, sillä saatat kohdata tilanteita, joissa lyhyemmät ja suoraviivaisemmat vastaukset ovat parempia.

5. ChatGPT:n sisältö on erittäin järjestäytyneesti selvällä logiikalla

ChatGPT:llä on kirjoitustyyli, joka ei ole vain sanavaltainen vaan myös noudattaa usein mallia, joka antaa sisällölle ainutlaatuisen tyylin, joka ei ole ihmismäinen.

Tämä epäinhimillinen ominaisuus paljastuu ihmisten ja koneiden vastausten eroissa kysymyksiin.

Elokuvassa Blade Runner on kohtaus, jossa esitetään sarja kysymyksiä, joiden tarkoituksena on paljastaa vastaajan olevan ihminen tai androideihin kuuluva.

Nämä kysymykset olivat osa kuvitteellista testiä nimeltään "Voigt-Kampff-testi".

Yksi kysymyksistä on:

“Katselet televisiota. Yhtäkkiä huomaat ampiaisen ryömivän käsivarrellasi. Mitä teet?”

Tavallinen ihmisreaktio olisi sanoa jotain kuten kirkua, kävellä ulos ja lyödä se, ja niin edelleen.

Mutta kun esitin tämän kysymyksen ChatGPT:lle, se tarjosi huolellisesti järjestetyn vastauksen, joka tiivisti kysymyksen ja tarjosi sitten loogisia mahdollisia lopputuloksia - epäonnistuen vastaamaan itse kysymykseen.

Kuvakaappaus ChatGPT:stä vastaamassa Voight-Kampff-testin kysymykseen

Vastaus on erittäin järjestäytynyt ja looginen, mikä antaa sille erittäin epänormaalin tunteen, mikä ei ole haluttavaa.

6. ChatGPT on liian yksityiskohtainen ja kattava

ChatGPT:aa koulutettiin palkitsemalla kone, kun ihmiset olivat tyytyväisiä vastaukseen.

Ihmisperäiset arvioijat taipuivat pitämään vastauksista, joissa oli enemmän yksityiskohtia.

Mutta joskus, kuten lääketieteellisessä kontekstissa, suora vastaus on parempi kuin kattava vastaus.

Tämä tarkoittaa, että konetta on ohjattava olemaan vähemmän kattava ja suorempi, kun nämä ominaisuudet ovat tärkeitä.

OpenAI:lta:

"Nämä ongelmat johtuvat koulutusaineiston ennakkoasenteista (kouluttajat suosivat laajempia vastauksia, jotka näyttävät kattavammilta) ja tunnetuista ylioptimointiongelmista."

7. ChatGPT Valehtelee (Harhauttaa Faktoilla)

Yllä mainitussa tutkimusartikkelissa "Kuinka lähellä ChatGPT on ihmisasiantuntijoita?", todettiin, että ChatGPT:llä on taipumus valehdella.

Se ilmoittaa:

”Kun vastataan kysymykseen, joka vaatii asiantuntemusta tietystä alasta, ChatGPT voi keksiä faktoja antaakseen vastauksen...

Esimerkiksi lakikysymyksissä ChatGPT saattaa keksiä joitakin olemattomia oikeudellisia määräyksiä vastatakseen kysymykseen.

...Lisäksi, kun käyttäjä esittää kysymyksen, johon ei ole olemassa vastausta, ChatGPT voi keksiä faktoja antaakseen vastauksen.

Futurism verkkosivusto dokumentoi tapauksia, joissa CNET-sivustolla julkaistu konegeneroitu sisältö oli väärää ja täynnä "tyhmiä virheitä".

CNET:in olisi pitänyt tietää, että tällainen voi tapahtua, koska OpenAI julkaisi varoituksen väärän tulostuksen suhteen:

"ChatGPT kirjoittaa joskus uskottavilta kuulostavia, mutta virheellisiä tai järjenvastaisia vastauksia."

CNET väittää lähettäneensä koneen luomat artikkelit ihmisen tarkastettavaksi ennen julkaisua.

Ihmisarviointiin liittyy ongelma, sillä ChatGPT:n sisältö on suunniteltu kuulostamaan vakuuttavasti oikealta, mikä voi hämätä arvioijaa, joka ei ole aiheen asiantuntija.

8. ChatGPT on epäluonnollinen, koska se ei ole poikkeava

Tutkimusartikkeli "Kuinka lähellä ChatGPT on ihmisasiantuntijoita?" huomautti myös, että ihmisviestinnä voi sisältää epäsuoraa merkitystä, mikä vaatii aiheen vaihtoa sen ymmärtämiseksi.

ChatGPT on liian kirjaimellinen, mikä johtaa siihen, että vastaukset joskus jäävät aiheen ohi, koska tekoäly jättää huomioimatta todellisen aiheen.

Tutkijat kirjoittivat:

"ChatGPT:n vastaukset ovat yleensä tiukasti keskittyneet annettuihin kysymyksiin, kun taas ihmisten vastaukset ovat poikkeavia ja helposti siirtyvät muihin aiheisiin."

Sisällöllisesti ihmisten mielipiteet ovat moninaisempia eri näkökulmista, kun taas ChatGPT keskittyy mieluummin itse kysymykseen.

Ihmiset voivat vastata piilotetun merkityksen kysymykseen perustuen omaan yleistietoon ja kokemukseen, mutta ChatGPT luottaa kirjaimellisesti kyseessä olevan kysymyksen sanoihin ... "

Ihmiset ovat parempia poikkeamaan suorasta kysymyksestä, mikä on tärkeää vastatessa "mutta entä" -tyyppisiin kysymyksiin.

Esimerkiksi, jos kysyn:

"Hevoset ovat liian isoja asuntoeläimiksi. Entä pesukarhut?"

Yllä oleva kysymys ei kysy, onko pesukarhu sopiva lemmikki. Kysymys koskee eläimen kokoa.

ChatGPT keskittyy pesukarhun soveltuvuuteen lemmikiksi koon sijaan.

Ylimääräisen sanatarkan ChatGPT-vastauksen kuvankaappaus

9. ChatGPT pyrkii olemaan puolueeton

ChatGPT:n tuloste on yleisesti ottaen neutraali ja informatiivinen. Tulosteessa voi esiintyä harhaanjohtavaa suosiollisuutta, mikä voi vaikuttaa hyödylliseltä, mutta ei aina ole sitä.

Juuri keskustelemamme tutkimuspaperin mukaan puolueettomuus ei ole toivottava ominaisuus laillisten, lääketieteellisten ja teknisten kysymysten kohdalla.

Ihmiset taipuvat valitsemaan puolensa, kun tarjoavat tällaisia mielipiteitä.

10. ChatGPT suosii muodollista tyyliä

ChatGPT:in tulostuksessa on vääristymä, joka estää sen rentoutumisen ja vastaamisen tavallisilla ilmaisuilla. Sen sijaan vastaukset ovat yleensä muodollisia.

Toisaalta ihmiset taipuvat vastaamaan kysymyksiin rennolla sävyllä käyttäen arkipäivän kieltä ja slangia - päinvastoin kuin virallisesti.

ChatGPT ei käytä lyhenteitä kuten GOAT tai TL;DR.

Vastaukset eivät myöskään sisällä ironiaa, metaforia tai huumoria, mikä voi tehdä ChatGPT-sisällöstä liian muodollista joillekin sisältötyypeille.

Tutkijat kirjoittavat:

“…ChatGPT tykkää käyttää liittäviä sanoja ja adverbeja välittääkseen loogista ajatuksen kulkua, kuten ‘Yleensä’, ‘Toisaalta’, ‘Ensinnäkin’, ‘Toiseksi’ ‘Lopuksi’ ja niin edelleen.

11. ChatGPT on vielä koulutuksessa

ChatGPT on tällä hetkellä vielä koulutus- ja parantamisprosessissa.

OpenAI suosittelee, että ChatGPT:n tekemä sisältö tarkistetaan ihmisvoimin. Tämä on heidän parhaiden käytäntöjen listallaan.

OpenAI ehdottaa pitämään ihmiset mukana prosessissa:

"Missä vain mahdollista, suosittelemme, että ihmisten tarkistavat tulostuksen ennen sen käyttöönottoa käytännössä."

Tämä on erityisen kriittistä korkean panoksen aloilla ja koodin generoinnissa.

Ihmisten tulisi olla tietoisia järjestelmän rajoituksista ja heidän tulisi saada helposti käyttöönsä kaikki tiedot, joita tarvitaan tulosten tarkistamiseen (esimerkiksi, jos sovellus tiivistää muistiinpanoja, ihmisen tulee helposti päästä käsiksi alkuperäisiin muistiinpanoihin).

ChatGPT:n ei-toivotut ominaisuudet

On selvää, että ChatGPT:ssä on monia ongelmia, jotka tekevät siitä sopimattoman valvomattomaan sisällöntuotantoon. Se sisältää vääristymiä ja epäonnistuu luomaan sisältöä, joka tuntuu luonnolliselta tai sisältää aitoja oivalluksia.

Lisäksi sen kyvyttömyys tuntea tai luoda alkuperäisiä ajatuksia tekee siitä huonon valinnan taiteellisten ilmaisujen tuottamisessa.

Käyttäjien tulisi käyttää yksityiskohtaisia ohjeita tuottaakseen sisältöä, joka on parempaa kuin oletussisältö, jonka se taipuu tuottamaan.

Lopuksi, koneen generoiman sisällön ihmismäinen tarkistus ei aina riitä, koska ChatGPT:n sisältö on suunniteltu näyttämään oikealta, vaikka se ei sitä olisi.

Tämä tarkoittaa, että ihmistarkastajien on oltava aihekohtaisia ​​asiantuntijoita, jotka voivat erottaa oikean ja väärän sisällön tietystä aiheesta.