Kuinka tarkka ChatGPT on vastauksia tuottamisessa?

ChatGPT, OpenAI:n kehittämä tekoäly chatbot on herättänyt huomiota eri aloilla tarkkuutensa ja suorituskykynsä ansiosta. On kuitenkin tärkeää huomata, että sen tietämys rajoittuu vuoteen 2021 saakka saatavilla oleviin tietoihin. Yksi sen tarkkuuden testeistä toteutettiin professori Christian Terwieschin toimesta Pennsylvanian Yliopistolla, joka testasi ChatGPT:n antamalla sille MBA-kokeen.

Koe koostui seitsemästä kysymyksestä, jotka käsittelivät erilaisia liiketoimintakäsitteitä, kuten prosessianalyysiä, varaston kiertonopeutta ja jonotusanalyysiä. Tämä oli suunniteltu simuloimaan todellista ihmisympäristöä, ja kysymykset esitettiin tarkalleen samalla tavalla kuin ihmiskokeessa. Yllätykseksi professori Terwieschille, ChatGPT aloitti kokeen räjähtävästi ja sai A+ -arvosanan vastauksestaan ensimmäiseen kysymykseen pullonkaulan käsitteestä prosessianalyysissä.

Vaikka chatbotilla oli vaikeuksia monimutkaisempien kysymysten kanssa, professori oli silti vaikuttunut sen yleisestä suorituskyvystä. Suoritettuaan MBA-kokeen ChatGPT:llä, professori Terwiesch päättelee, että AI-chatbot olisi saanut arvosanaksi B:n tai B-:n välillä.

ChatGPT:n tarkkuus selitetty

Toinen esimerkki ChatGPT:n tarkkuudesta oli lääketieteen alalla, jossa chatbot pystyi läpäisemään Yhdysvaltain lääketieteellisen lisensiaattitutkinnon (USMLE). Tutkimuksen mukaan ChatGPT saavutti yli 50% tarkkuuden kaikissa kokeissa ja tarjosi jopa oivalluksia ja selityksiä vastauksilleen.

Toisessa tutkimuksessa, jonka lääketieteellisen aloitusyritys Ansible Healthin lääkärit johtivat, ChatGPT suoritti kaikki kolme Yhdysvaltojen lääkäriluvan saamiseksi vaadittua tenttiä läpäisyrajalla tai sen lähellä. Vaikka ChatGPT:n tarkkuus onkin huomattava, on tärkeää pitää mielessä, että sen suorituskyky voi vaihdella kontekstin ja annetun kysymyksen mukaan.

Koulutusdata, jota käytettiin mallin kouluttamiseen, sisältää käytettyjen tekstilähteiden vääristymiä ja rajoituksia, joten mallin käyttäminen vastuullisesti on ratkaisevan tärkeää.

Tämä ajatus välittyi myös OpenAI:n toimitusjohtajan tweetistä, jossa hän totesi, että "ChatGPT on äärimmäisen rajallinen" ja että "On virhe luottaa siihen mihinkään tärkeään juuri nyt".

00:48

01.12

Keskustelun testaus Chat GPT:n kanssa epäonnistui

Kuten yllä olevasta kuvasta näkyy, ChatGPT:n kanssa käyty testikeskustelu osoitti, että tekoälyosaston suoritus ei aina ole johdonmukaista.

Kun kysyttiin, kuinka monta kertaa Argentiina voitti jalkapallon FIFA World Cupin, ChatGPT vastasi aluksi: "Argentiina on voittanut FIFA World Cupin kerran, vuonna 1986." Kuitenkin, kun kysyttiin: "Kuka voitti FIFA World Cupin vuonna 1978", ChatGPT vastasi: "Argentiina voitti 1978 FIFA World Cupin."

Tämä johti siihen johtopäätökseen, että Argentina oli voittanut jalkapallon maailmanmestaruuden kahdesti. Kuitenkin kun sama kysymys esitettiin uudestaan, "Kuinka monta kertaa Argentina on voittanut jalkapallon maailmanmestaruuden?" ChatGPT antoi saman vastauksen, "Argentina on voittanut FIFA:n maailmanmestaruuden kerran, vuonna 1986," huolimatta aiemmasta keskustelusta.

Tämä korostaa Chat GPT:n tarkkuutta ja jatkuvan parantamisen ja hiomisen tarvetta.

LUE NYT: Voiko Chat GPT kirjoittaa ja korjata koodia?

Antaako ChatGPT saman vastauksen kaikille?

ChatGPT:n vastaukset voivat vaihdella hieman, mutta jos käyttäjät kysyvät saman kysymyksen, huomaamme yleensä hyvin samankaltaisia vastauksia annettavan.

Onko ChatGPT luotettava?

ChatGPT:lla on rajoituksia, mikä tarkoittaa, että se voi joskus antaa epätarkkoja tai vääriä tuloksia, joten ole varovainen.