Studija, ChatGPT i kritičko razmišljanje poboljšavaju rad

Eksperiment sa preko 1.000 studenata na Bocconi univerzitetu pokazuje da pristup ChatGPT-u i trening kritičkog razmišljanja poboljšavaju rad na različite načine. Za firme koje planiraju AI obuku zaposlenih, ovo je rijedak dokaz iz kontrolisanog eksperimenta.

Studija pokazuje da ChatGPT i kritičko razmišljanje zajedno poboljšavaju rad
Ilustracija, ChatGPT i kritičko razmišljanje
Sadržaj

Nova studija na više od 1.000 studenata pokazuje da pristup ChatGPT-u i trening kritičkog razmišljanja poboljšavaju rad na različite načine, pravi napredak dolazi kad se kombinuju.

Istraživači sa Univerziteta Bocconi, u saradnji sa OpenAI-jevim ekonomskim istraživačkim timom, sproveli su randomizovani eksperiment sa više od 1.000 studenata prve godine koji su radili na stvarnom poslovnom zadatku, marketinškim preporukama za univerzitetsku prodavnicu suvenira. Studenti su nasumično podijeljeni u četiri grupe, sa pristupom ChatGPT-u, sa treningom u uzročno-posljedičnom razmišljanju, sa oboje ili bez ičega od toga. Rezultati pokazuju da pristup AI-ju i trening kritičkog razmišljanja poboljšavaju rad studenata na različite, komplementarne načine. Za firme u regionu koje razmišljaju o obuci zaposlenih za korišćenje AI alata, ovo je jedan od rijetkih kontrolisanih eksperimenata koji pokazuje šta se stvarno dešava kad se pristup AI-ju i razvoj vještina kombinuju, umjesto da se o tome samo nagađa.

  • Eksperiment je obuhvatio više od 1.000 studenata na Univerzitetu Bocconi, podijeljenih u četiri grupe
  • Grupa sa pristupom ChatGPT-u ostvarila je skoro cio poen viši rezultat na skali od pet, sa jasnijom logikom i idejama bližim onima koje bi dao stručnjak
  • Trening kritičkog razmišljanja nije podigao ocjenu po standardnoj rubrici, ali je doveo do raznovrsnijih i originalnijih ideja
  • Grupa koja je dobila i pristup ChatGPT-u i trening pokazala je najširi raspon poboljšanja
  • Istraživači upozoravaju da škole i firme možda treba da mijenjaju način na koji ocjenjuju rad, jer polirani odgovor više ne znači nužno da neko dobro razumije problem

Šta se tačno desilo

Studenti su bili nasumično raspoređeni po terminima predavanja u jednu od četiri grupe, pristup ChatGPT, trening u uzročno-posljedičnom razmišljanju (oblik kritičkog razmišljanja koji se bavi povezivanjem uzroka i posljedice i objašnjavanjem zašto neko rješenje radi ili ne radi), oboje ili nijedno. Trening o kritičkom razmišljanju nije imao veze sa AI-jem, nego je studente kroz igru, primjere i povratne informacije učio da razmišljaju o uzrocima i posljedicama. Radove su ocjenjivali obučeni ljudski ocjenjivači po rubrici od pet poena, a odvojeno su istraživači automatskom analizom teksta mjerili broj i raznovrsnost ideja, tragove uzročnog razmišljanja i sličnost sa rješenjima koje su dala tri stručnjaka.

Studenti sa pristupom ChatGPT-u ostvarili su skoro cjeli poen viši rezultat na skali od pet. Njihovi odgovori su sadržali više ideja, imali jasniju logiku i bili bliži preporukama koje bi dao stručnjak. Studenti pritom nisu jednostavno prepisivali odgovore AI-ja, morali su da odluče šta da pitaju, ocijene odgovore i izaberu šta ide u finalni rad. Grupa koja je prošla samo trening kritičkog razmišljanja nije dobila viši rezultat po rubrici, ali je proizvela širi raspon originalnih ideja, nešto što standardna rubrika nije mjerila jer je gledala samo koliko dobro rad pokriva dva marketinška cilja. Grupa sa oboje, pristupom ChatGPT-u i treningom, pokazala je dobitke po najširem rasponu mjera, raznovrsnost ideja kao kod grupe sa samo treningom, i ocjenu i broj ideja kao kod grupe sa samo ChatGPT-jem, uz jaču logičku koherentnost.

Kontekst i konkurencija

Ovaj eksperiment se uklapa u sve veći broj istraživanja o uticaju AI-ja na učenje, ali se izdvaja time što randomizovani dizajn dozvoljava da se efekti pristupa AI-ju i efekti treninga kritičkog razmišljanja razdvoje jedan od drugog, umjesto da se posmatraju zajedno kao jedna nejasna promjena. Istraživači upozoravaju da postavlja i širi izazov za škole, ako AI pomaže studentima da naprave uglađen, stručnjački rad, gledanje samo u finalni odgovor govori sve manje o tome šta student stvarno razumije, pa ocjenjivanje možda treba da se pomjeri ka nagrađivanju originalnosti i rezonovanja, ne samo urednog konačnog odgovora.

Naša perspektiva, šta ovo znači za region

Za firme koje planiraju obuku zaposlenih za korišćenje AI alata, ovaj eksperiment nudi konkretan argument protiv čestog pristupa "samo im dajte pristup ChatGPT-u pa će se snaći". Pristup alatu sam po sebi poboljšava kvalitet i strukturu rada, ali ne uči zaposlenog da postavlja bolja pitanja ili smišlja rješenja koja niko drugi u firmi nije predložio. Firma za obuku i konsalting koja gradi program uvođenja AI-ja u malu ili srednju firmu ima ovdje jasan argument da program treba da kombinuje pristup alatu sa treningom razmišljanja, na primjer kroz vježbe u kojima zaposleni prvo sami analiziraju problem prije nego što uključe AI, umjesto da program bude samo "evo vam licenca, snađite se".

Za HR timove koji mjere uspjeh takve obuke, rezultat je upozorenje da standardna ocjena kvaliteta finalnog rada možda neće uhvatiti da li je zaposleni zaista naučio nešto novo, ili je samo naučio da bolje formuliše pitanja za AI.

Zaključak

Eksperiment pokazuje da pitanje "AI ili sopstveno razmišljanje" nije prava dilema, oboje doprinosi na različit način, a najbolji rezultat dolazi kad se kombinuju. Vrijedi pratiti da li će univerziteti i firme za obuku u regionu početi da mijenjaju svoje programe u tom pravcu, ili će nastaviti da tretiraju pristup AI alatima kao dovoljnu meru za "AI pismenost".

Ako želiš praktične primjere kako firme u regionu grade obuku zaposlenih za AI, prijavi se na AI Balkan newsletter.


Izvori

Pretplatite se da biste se pridružili diskusiji.

Napravite besplatan nalog da biste postali član i pridružili se diskusiji.

Već imate nalog? Prijavite se

Prijavi se na AIBalkan - vijesti o vještačkoj inteligenciji newsletter.

Budite u toku sa pažljivo odabranom kolekcijom naših najboljih priča.

Provjerite svoj inboks i potvrdite. Nešto je pošlo po zlu. Pokušajte ponovo.