Recomanacions sobre l’ús de la IA generativa en la docència i l’avaluació

Índex

Mans teclejant amb un teclat d'ordinador portàtil.

Què és ChatGPT?

ChatGPT és un sistema informàtic capaç de contestar preguntes i realitzar tasques mitjançant una interfície de text escrit. Destaca per la seua capacitat per a mantindre converses coherents i donar respostes plausibles que poden parèixer obra d’una persona, pràcticament sobre qualsevol tema i en qualsevol idioma. Utilitza algoritmes d’Intel·ligència Artificial (IA) generativa, entrenats amb el contingut de milions de pàgines web, articles de la Wikipedia, llibres, etc.

  • L’entrenament d’aquests sistemes requereix conjunts de dades immensos i una gran potència de computació, amb un cost energètic i econòmic de l’ordre de centenars de milers o fins i tot milions d’euros.
  • La generació de les respostes és un procés iteratiu en què, a cada pas, l’algoritme computa quina paraula pot afegir a continuació, d’acord amb els patrons estadístics detectats en l’entrenament previ.

ChatGPT es va posar en funcionament el 30 de novembre de 2022. És un servei d’OpenAI, una empresa tecnològica amb participació majoritària de Microsoft. En aquest moment es pot utilitzar gratis, però també té versions de pagament.

  • Microsoft ha integrat aquesta tecnologia, amb la denominació Copilot, en el buscador Bing, el navegador Edge i les aplicacions d’Office, com ara Word, on permet generar resums automàtics, esborranys de documents i correus, etc.
  • L’API (Application Programming Interface) d’OpenAI permet integrar les funcions de ChatGPT en altres aplicacions. A hores d’ara hi ha un gran nombre d’eines que utilitzen, com ChatPDF, Explainpaper, etc.
  • Altres empreses han desenvolupat també serveis similars a ChatGPT, com Google Gemini. De la mateixa manera que Microsoft, Google ha integrat funcions d’IA generativa amb el seu buscador web, GMail o Google Docs.

Per a què serveix la IA generativa?

La IA generativa pot realitzar tasques molt útils relacionades amb la creació i processament de textos a partir de la informació que li proporcione l’usuari en la seua petició o prompt. Les funcions següents, entre altres, podrien ser rellevants en el context de l’educació superior:

  • Generar l’esquema per a un document, article, treball, etc., a partir d’una idea o tema descrit per l’usuari.
  • Generar un esborrany complet a partir d’una idea o un esquema.
  • Reescriure un text amb un altre estil, p. ex. per a un tipus de públic diferent, com ara un article de divulgació a partir d’un article científic.
  • Resumir un text aportat per l’usuari, p. ex. per a generar un abstract.
  • Generar preguntes (p. ex. qüestionaris d’avaluació o autoavaluació) sobre un tema, o a partir d’un text, apunts, etc., aportats per l’usuari.
  • Generar codi informàtic (Python, Javascript, HTML, CSS, etc.) que realitze una funció descrita per l’usuari.
  • Conversar en anglès o en altres idiomes sobre qualsevol tema.

És fiable la IA generativa?

La IA generativa no és una enciclopèdia. Sol donar respostes coherents i versemblants, però és molt important tenir en compte que no són sempre correctes. Sovint contenen errors de fet en qualsevol àmbit temàtic. De vegades són errades flagrants, p. ex. en càlculs matemàtics, o quan atribueix a un autor obres que no ha escrit o no existeixen. Aquests errors solen anomenar-se, molt gràficament, al·lucinacions.

La raó d’aquestes al·lucinacions és que aquest tipus d’algoritmes no està dissenyat per a verificar els fets (fact-checking), sinó que es limiten a generar frases coherents a partir dels milions de textos de tot tipus amb què han estat entrenats.

Pel mateix motiu, ChatGPT i les altres aplicacions d’IA generativa no solen ser capaces de donar referències que sostinguen les seues afirmacions, ja que no basen les afirmacions en referències: són només frases derivades d’altres frases, sense prendre en consideració la realitat dels fets.

Per tant, la IA generativa no sol ser una bona eina per a resoldre dubtes o obtenir informació sobre un tema. No pot substituir els buscadors, la Wikipedia, o la bibliografia especialitzada. Resulta molt més útil per a generar esborranys, els quals en tot cas caldrà revisar i editar.

Quines conseqüències té la IA generativa per a la docència?

És evident que l’estudiantat pot utilitzar ChatGPT o altres aplicacions equivalents per a redactar documents, p. ex. treballs acadèmics. De la mateixa manera que pot o podrà fer-ho fora de l’àmbit acadèmic, p. ex. en l’entorn laboral. I de la mateixa manera que pot fer-ho el professorat.

Hem d’assumir que la Intel·ligència Artificial seguirà amb nosaltres i les seues aplicacions augmentaran i evolucionaran. Açò pot provocar canvis en moltes professions i és lògic que faça modificar també les metodologies docents. Ha passat abans amb les calculadores, els ordinadors, Google, la Wikipedia o els telèfons mòbils.

Cal distingir, per tant, dues qüestions:

  1. D’una banda, és necessari ensenyar a utilitzar aquestes eines, correctament i productivament, en les diferents pràctiques professionals i àrees de coneixement per a les quals formem l’estudiantat (mitjançant el procés de reflexió que siga necessari, al si dels departaments i de les diverses àrees de coneixement).
  2. Al mateix temps, cal evitar el seu ús fraudulent en activitats d’avaluació.

Què puc fer respecte a l’avaluació?

En els treballs de l’estudiantat, l’ús literal de respostes generades per IA com si foren originals es pot considerar una acció fraudulenta, segons l’article 11 de la normativa d’avaluació de grau i màster de l’UJI.

Tanmateix, la prohibició de la IA no resulta viable, ni seria tampoc una opció raonable, ja que suposaria ignorar la realitat. Entre altres raons, perquè molts usos de la IA, com hem vist, poden ser perfectament legítims.

Turnitin i altres empreses com la mateixa OpenAI amb AI Text Classifier, ofereixen la possibilitat de detectar els treballs que hagen estat generats mitjançant IA. Tanmateix, els índexs de falsos negatius i falsos positius d’aquests serveis són massa elevats, i és dubtós que puguen arribar a funcionar d’una manera suficientment fiable, a mesura que es perfecciona la capacitat de la IA d’imitar l’estil d’escriptura genuïnament humà.

Més enllà de la detecció automàtica o del prohibicionisme, la manera d’afrontar la incorporació de la IA en les activitats d’ensenyament (professorat) i aprenentatge (estudiantat) depén molt de les particularitats de cada àrea de coneixement. Però es poden donar alguns consells d’abast general per a minimitzar les males pràctiques i reforçar l’aprenentatge.

1. Evitar els tipus de treballs que pot emular més fàcilment una IA generativa

Com a regla general, si un treball el pot redactar una IA generativa, no serà una bona prova d’avaluació. Podeu demanar a la IA que redacte el treball i comprovar si ho fa bé o no.

Algunes característiques rellevants que podria tenir un bona prova d’avaluació serien les següents:

  • Ser prou específica: no limitar-se a l’exposició d’un tema massa genèric que es puga copiar o generar fàcilment.
  • Requerir habilitats cognitives d’ordre superior: analitzar, comparar, justificar, criticar… i no sols traslladar informació ja existent.
  • Implicar tasques pràctiques, com ara recollir testimonis o dades reals, tractar o elaborar les dades, analitzar casos concrets, etc.
  • Incloure punts de vista de diferents autors, o referències bibliogràfiques de diferents autors (les IA generatives tendeixen a inventar informació bibliogràfica falsa o inexacta).
  • Enfocar-se a temes recents (les IA generatives han estat entrenades mesos o anys arrere i no sempre tenen accés a informació més actual).

2. Avaluar el procés, no sols el resultat

Un text ja enllestit deixa poc de marge a l’avaluació i a la detecció de problemes. Per això, resulta molt aconsellable fer un seguiment adequat dels treballs durant la seua realització, amb revisions periòdiques en les quals l’estudiantat informe al professorat sobre el procés d’elaboració.

3. Incloure components d’autoreflexió en l’avaluació

Com a part del disseny de l’avaluació, podeu fer que l’estudiant haja de contestar qüestions referents al seu aprenentatge i a l’elaboració del treball. Per exemple:

  • Com has planificat i estructurat el treball? Quins problemes t’has trobat i quines decisions has hagut de prendre?
  • Què has anat aprenent amb aquest treball? Quins coneixements o competències nous has adquirit? Quins coneixements o competències previs has necessitat aplicar?

4. Valorar l’adequació del treball escrit als objectius d’aprenentatge i considerar altres opcions

Un treball escrit pot ser generat prou fàcilment amb IA, però no té per què ser l’única forma d’avaluació possible o la més convenient.

  • Considereu altres tipus de treballs avaluables, alternatius al text o complementaris: vídeos, presentacions, mapes conceptuals, infografies, etc.
  • Considereu altres estratègies d’avaluació, com l’aprenentatge basat en projectes.

5. Explorar amb l’alumnat les possibilitats i limitacions de la tecnologia

  • Podeu treballar amb l’estudiantat amb informació generada amb IA sobre temes de l’assignatura: identificar errors, comprovar dades, perfeccionar els prompts, etc.
  • Especialment en assignatures centrades en l’escriptura de text o de codi informàtic, proveu a integrar les eines d’IA generativa en els cicles de treball (workflows) habituals que trasmetem a l’estudiantat.
    • P. ex., podríeu demanar a l’estudiantat que partisca de text o codi generat per IA i que explique i justifique els canvis, versions successives, etc., que hagen sigut necessaris per a arribar a la versió definitiva.

Quines aplicacions d’IA generativa són més recomanables? ChatGPT, Copilot, Gemini…?

Provar diferents aplicacions d’IA generativa us permetrà formar-vos una idea més clara de quin és l’abast i quines són les limitacions d’aquesta tecnologia en el vostre àmbit de coneixement.

Tant en activitats docents com d’investigació o gestió, us recomanem utilitzar amb el vostre compte d’usuari UJI les eines següents, que han estat contractades per la Universitat i per tant proporcionen un nivell adequat de protecció de dades:

Sempre que feu servir aquestes dues eines amb el vostre compte de l’UJI, queda garantit que no s’utilitzaran les converses per a entrenar o millorar els seus models d’IA.

ChatGPT o altres eines no ofereixen als usuaris de l’UJI el mateix nivell de protecció. En tot cas, procureu no introduir mai dades personals o informació confidencial en les vostres interaccions amb aquest tipus d’eines d’IA.

Més informació sobre ChatGPT, IA i docència