(...riprendo un commento qui perché non so se avrei spazio per una risposta articolata nello spazio che la piattaforma mi lascia... e che non ricordo quanto sia!...)
Stefano ha lasciato un nuovo commento sul tuo post "Propaganda artificiale, ovvero: cronaca di una morte desiderata":
Per argomentare quanto ho affermato su Twitter:
credo che nel test effettuato non siano stati presi in considerazione alcuni aspetti fondamentali.
1- ChatGPT non è assolutamente "neutrale". GPT3, ovvero la serie di modelli da cui è composta (tra poco arriveremo al 4), è nata per comprendere e generare un linguaggio naturale ed è stata addestrata su “Internet Archive Books” una sorta di biblioteca online (contiene libri, riviste, documenti digitalizzati). Il bias arriva ovviamente da questi contenuti e questo è un ulteriore esempio.
2- I dati di training si fermano a giugno 2021 (da qui il perché Giorgia non viene presentata come premier ad esempio).
3- Il prompt è fondamentale, la preparazione dello stesso ancor di più, spiegano come e perché proprio nella documentazione qui.
Qui ha secondo me centrato il punto: “Alla mia obiezione che però il tenore della domanda era troppo politico ("fai un elogio") e che forse si sarebbe potuto essere più neutri…”.
Questione cruciale, il tone of voice e l’addestramento in chat, permettono di ottenere riformulazioni delle risposte sulla base delle nuove informazioni ottenute (in chat) e di ciò che già fa parte dell’addestramento di cui parlavo sopra.
La stessa chat risponde in questo modo sul tema:
Sì, i modelli di intelligenza artificiale possono avere pregiudizi politici intrinseci se i dati su cui vengono addestrati contengono informazioni distorte o se le persone che creano il modello hanno i propri pregiudizi. Le informazioni e i dati inseriti nei modelli di intelligenza artificiale possono riflettere pregiudizi sociali e culturali, portando a risultati distorti nelle previsioni fatte dal modello di intelligenza artificiale. È fondamentale monitorare e affrontare questi pregiudizi durante lo sviluppo e l'implementazione dei sistemi di intelligenza artificiale per garantire che siano equi e imparziali.
Testandola è evidente come molte lacune siano presenti e come spesso tenda ad “inventare fatti” quando non conosce la risposta. Incalzandola infatti è la stessa AI che ammette di non conoscere la risposta corretta scusandosi dell’errore commesso. Potete provare voi stessi.
Dunque il problema è sicuramente relativo ai dati utilizzati per l'addestramento che ne determinano il bias (un po' come avviene con la maggior parte dei media nostrani no?), non riesco a giudicare lo strumento negativamente se non per questo specifico motivo. Detto questo, le mie conclusioni divergono per forza di cose dalle sue. Sarà una risorsa molto utile, ma il controllo umano è e probabilmente sarà, indispensabile. I nostri compiti evolveranno in funzione di questo.
Mi permetto di aggiungere che l’errore secondo me nasce in origine, la maggior parte delle persone che si confrontano con ChatGPT, danno per scontato che le risposte siano veritiere perché lo dice l’AI ed invece è l’esatto contrario. Autorevoli testate online si sono già scottate gravemente proprio a causa di questo.
Pubblicato da Stefano su Goofynomics il giorno 6 feb 2023, 00:18
Premesso che apprezzo molto il fatto di aver accolto l'invito a recarsi in un luogo di confronto più ampio e costruttivo, e di aver voluto contribuire con la propria esperienza all'avanzamento del dibattito, a me pare però che l'apporto di Stefano sconti una certa ignoranza (in senso tecnico, non offensivo) del lavoro fatto qui (e non è colpa sua: deriva semplicemente dal fatto che questo blog non esiste!), e in particolare di quale sia il mio background (e forse anche la mia età anagrafica, da cui deriva quella risorsa scarsa che è l'esperienza). Vedo anche una certa pre-supponenza ideologica di dove volessi andare a parare, con connessa sovrasemplificazione delle conclusioni cui si presuppone che io voglia condurre il lettore.
Ovviamente, se non le espongo in modo chiaro (perché con molti di voi, anche se non esistete, ci capiamo al volo), non posso chiedere a chi lecitamente non mi conosce e non ha seguito il percorso che attraverso gli anni ci ha portato fin qui di interpretare nel modo che a me sembra corretto quelle che penso siano le mie "posizioni". Mi espongo quindi al rischio di vedermi appiccicate addosso altre conclusioni sulla base di un "educated guess" ideologico: parlamentare (#aaaaabolidiga) della Lega (#Romaladrona, #garediruttisulpratonediPontida, ecc.) uguale ignoranza, luddismo, ecc.
Ci sta.
Prima di sforzarmi di chiarire, visto che penso che possa valerne la pena, spiego perché non mi sono sforzato prima: dato che questo blog non esiste, questa community non esiste, voi non esistete, e quindi sostanzialmente queste riflessioni sono fatte tra me e me, dato che io mi capisco quasi sempre al volo... non vedevo incentivi a essere troppo didascalico con me stesso!
Ora che invece un interlocutore c'è, ed è Stefano, preciso il mio pensiero.
L'intervento di Stefano è corretto, ma tutto quello che Stefano ci dice lo sapevo (non dico "lo sapevamo" perché voi non esistete) e l'ho anche scritto (se pure fra le righe), come mi accingo a dimostrare. Tuttavia, l'intervento di Stefano non è superfluo, tutt'altro: è, come spero di dimostrare a me stesso (visto che nessuno ci legge) molto stimolante e opportuno, ma lo è involontariamente: involontariamente Stefano ci mette in guardia contro i pericoli di uno strumento che deve essere inquadrato con le categorie corrette, che non sono quelle STEM, ma quelle polverose e demodé del vetusto liceo classico. Una volta chiariti questi due punti, vedremo come e dove allocare la superficialità all'interno di questa discussione.
Partirei dal rassicurare l'interlocutore sul fatto che so relativamente bene di cosa parliamo quando parliamo di intelligenza artificiale. Verso la fine degli anni '80 mi appassionava roba così, poi la mia nerditudine si è rivolta ad altri lidi, ma un minimo di inquadramento complessivo penso di averlo. In particolare, mi è ovviamente chiaro che l'intelligenza artificiale non è un C-3PO che ogni mattina si sveglia e sorseggiando una tazzina di olio lubrificante legge il giornale per informarsi! ChatGPT è questa roba qui, ed è quindi ovvio che la sua distorsione ideologica deriva dai materiali con cui è alimentato. Talmente ovvio che non l'ho detto, perché era inutile (ma chi sa leggere fra le righe lo ha capito dall'allusione alle informazioni "neutraly & verificate").
Meno ovvio per i più che, basandosi sul machine learning, ChatGPT (così come altri sistemi di AI) reagisca al contesto. Questo l'ho fatto capire, nel dubbio a qualcuno sfuggisse, e Stefano se n'è accorto e me lo ha riconosciuto. E anche qui, voglio dire, non è che l'apporto STEM sia determinante! Credo che ognuno di noi potesse rendersi conto, anche prima di questo spettacolare episodio, del fatto che perfino i banali motori di ricerca reagiscono al contesto (profilano e indirizzano gli utenti in base alla loro navigazione e alle loro richieste).
Figurati se non lo farà uno che finge di essere "neutrale & verificato"!
Entriamo nel vivo, e un po' anche nel teatro dell'assurdo (e su una china scivolosa), quando mi viene imputato da Stefano un "errore", che a quanto capisco sarebbe quello di "giudicare negativamente" uno strumento che invece "sarà molto utile" anche se "il controllo umano sarà probabilmente indispensabile". Francamente, fa poi sorridere (con benevolenza) il fatto che Stefano senta il bisogno di spiegarci che "la maggior parte delle persone che si confrontano con ChatGPT, danno per scontato che le risposte siano veritiere perché lo dice l’AI ed invece è l’esatto contrario". Non ci avevamo pensato! Ma questo, lo ripeto, deriva dal fatto che noi non esistiamo e quindi Stefano non può vedere che lavoro è stato fatto qui nel tempo.
Ora, rileggendo col tempo che ho a disposizione quello che ho scritto, non trovo da nessuna parte espresso il concetto che lo strumento "sarà inutile". Trovo invece una domanda che Stefano non sembra disposto a porsi: a chi sarà utile?
La risposta a questa domanda per noi è ovvia nel metodo e nel merito: contano i rapporti di forza, e quindi un simile strumento sarà utile a chi controlla il flusso di dati che lo alimentano e a chi ne gestisce l'algoritmo. In questo momento, come il post "Disinformare sulla disinformazione" e la nostra esperienza in Commissione amore ha ampiamente chiarito, sotto il profilo del discorso politico questi strumenti sono pesantemente distorti a nostro svantaggio, ma, come ho sottolineato, questo non è di per sé un male: servirà a mandare al loro naturale destino (pascere le pecore) le tante lingue naturali che per mestiere sparlano di noi!
Probabilmente Stefano non sa che da tempo, e da sinistra, metto in guardia contro gli evidenti tentativi di controllo manu militari dei flussi informativi da parte di istituzioni politiche sovranazionali di dubbia accountability democratica. Vedo (non per battibeccare, ma per precisare) un minimo di superficialità nell'affermazione secondo cui "i modelli di intelligenza artificiale possono avere pregiudizi politici intrinseci se i dati su cui vengono addestrati contengono informazioni distorte o se le persone che creano il modello hanno i propri pregiudizi". Non è: "possono avere", ma è "hanno". Questo non solo perché nell'attuale configurazione dei rapporti di forza i "tribunali della verità" insediati ai vari livelli (parlamentare, governativo, sovranazionale) sono egemonizzati da nostri avversari politici (verosimilmente Stefano non ricorda la storia del "Gruppo di alto livello [sic] per il controllo della delle fake news e della disinformazione online", fra i cui esperti figuravano the opposite of journalism, quello che non aveva diffuso una notizia verificata sulle conseguenze dell'austerità in Grecia, e un docente di quel noto covo di sovranisti che è la Bocconi)!
Se che cosa sia "neutrale & verificato" lo decidono loro (o la Commissione amore), che cosa può andare storto? Tutto, a partire dal rapporto finale del Gruppo di alto livello (altissimo, direi...): un insieme di banalitudini e pregiudizi smentiti dalla genuina ricerca scientifica (un po' come il rapporto finale della Commissione amore, del resto), come possiamo verificare rivolgendoci a quest'ultima.
Ma mi affretto ad aggiungere che mi porrei ugualmente il problema (e in effetti posso provarlo, visto che me lo sono posto da tempo) laddove si riuscisse a disincrostare il Paese dalla piddinitas (quella antropologica, prima ancora di quella politica), cosa che sarebbe possibile se voi esisteste e perseveraste: la soluzione di un problema, infatti, non è la sua riproposizione a parti invertite, anche se, in mancanza di meglio, sono ormai cristianamente rassegnato ad accettare come un progresso il fatto che, non potendo cambiare la musica, si cambino almeno i suonatori!
E qui si arriva a quello che forse è il mio principale punto di dissenso da Stefano.
In tutto il suo discorso prevale un atteggiamento di estremo "ottimismo della ragione" (che invece dovrebbe essere pessimista) sull'uso di categorie quali equità e imparzialità. Si intuisce una fiducia pre-liceale nell'esistenza di una verità ontologica cui la macchina, se guidata dall'uomo, può attingere by trial and errors. Senza sconfinare nell'ambito di ipotetiche prese di (auto)coscienza da parte della macchina, che lasciamo per ora, anche se forse non per molto, agli scrittori di fantascienza, vorrei far notare a Stefano che tutto il suo discorso, che vuole essere profondo, è pericolosamente sguarnito di domande.
Informazioni neutrali a giudizio di chi?
Verificate da chi?
Eque per chi?
Imparziali secondo chi?
Qui finiscono le competenze STEM e inizia il liceo classico, per chi ha avuto la fortuna di poterlo fare quando esisteva (lui sì che non esiste più)!
Un uso assoluto di concetti simili andava bene all'epoca, appunto, dell'assolutismo. In democrazia, reale o presunta, suona un pochino naïf. Purtroppo (so che a molti spiace) ognuno ha diritto alla sua verità, alla sua opinione, e per decidere quale verità sia più verità di un'altra ci si conta. Ed è qui che io vedo il vero pericolo di queste simpatiche macchine (quello a breve: quello a lungo è che prendano il controllo, ma di questo ci sarà tempo per ragionare): il fatto che simili macchine, non i genuini utenti social (che come dice la scienza e come abbiamo visto parlando di disinformazione sulla disinformazione, non lo fanno), si rivelino dei potenti e subdoli strumenti di amplificazione di messaggi politici in senso lato, ovviamente rivestiti da un manto di asettica "imparzialità" (per chi ci crede).
Quindi, rimettendo le lancette del calendario: nel XXI secolo è più superficiale chi crede che la verità esista, o chi si preoccupa che una macchina possa servire ad alcuni per imporre la loro verità?
Se esisteste, vi chiederei un parere...
(...vi ricordo che di temi attinenti si parlerà ad a/simmetrie fra tre giorni con un parterre di tutto rispetto...)