Cos’è un LLM: token, training e inferenza senza equivoci
Un LLM è un modello che genera testo a partire da un input. Nel passaggio del mio talk al WordCamp Pisa lo descrivo con un’immagine: un T9 sotto steroidi, dopo il morso del ragno radioattivo. È un’immagine per introdurre il meccanismo della previsione. Il punto da tenere fermo è questo: produrre una continuazione plausibile non equivale a verificare che sia vera.
Per capire come funziona un LLM bisogna separare due attività: training e inferenza. Durante il training si costruiscono e si modificano le capacità del modello attraverso l’addestramento. Durante l’inferenza si usa il modello già addestrato per ottenere una risposta. Questa distinzione spiega anche perché eseguire un modello in locale non significa dover ripetere il lavoro necessario a crearlo.
Cos’è un LLM e dove finisce il paragone con il T9
LLM significa Large Language Model, cioè modello linguistico di grandi dimensioni. È un sistema basato su reti neurali profonde, addestrato su grandi quantità di dati testuali. Può essere usato per generare risposte, riassumere documenti, tradurre e svolgere altri compiti che passano attraverso il linguaggio.
Il paragone con il T9 mette in evidenza un aspetto utile: il testo viene prodotto attraverso previsioni. Le regolarità apprese riguardano sia le parole che compaiono spesso una accanto all’altra sia strutture linguistiche, relazioni e forme espressive presenti nei dati di addestramento.
Non considero quindi corretto liquidare questi sistemi come semplici completatori automatici. Sarebbe altrettanto sbagliato trattarli come interlocutori che controllano ogni affermazione prima di pronunciarla. La capacità di generare un testo articolato e la sua affidabilità sono proprietà diverse. Vanno valutate separatamente.
Il token: il testo non viene elaborato una parola alla volta
Nel parlare comune diciamo che il modello prevede la parola successiva. Per i modelli generativi di cui parlo qui, il termine più preciso è token: un’unità nella quale viene suddiviso il testo. Può corrispondere a una parola, a una sua parte o a un segno di punteggiatura.
Nella spiegazione introduttiva uso l’immagine del frammento di parola. La dimensione del frammento può variare: non esiste una corrispondenza universale tra un token e un numero fisso di caratteri. Per questo una quantità espressa in token non va letta automaticamente come un numero equivalente di parole o di pagine.
Immaginiamo, come esempio, di scrivere: «Il server non risponde perché». Il modello deve proseguire da quel punto. Non ha ancora diagnosticato un guasto e non sta necessariamente consultando un sistema di monitoraggio. Sta costruendo una continuazione sulla base del testo disponibile e delle regolarità apprese.
Questa distinzione diventa importante appena la risposta sembra una diagnosi. Una frase tecnicamente plausibile resta un’ipotesi finché non viene confrontata con i dati del sistema reale.
Previsione, probabilità e temperatura: come nasce una risposta
La previsione del prossimo token non va immaginata come una ricerca di una frase già pronta. Il modello attribuisce probabilità alle possibili continuazioni. Il sistema di generazione sceglie poi un token e lo aggiunge al testo. Da lì il processo prosegue, tenendo conto anche di quanto è stato appena generato.
Questo spiega perché la risposta si sviluppa progressivamente. Ogni scelta contribuisce a costruire le condizioni della successiva. Una premessa sbagliata può quindi essere seguita da una spiegazione coerente con quella premessa, senza che la coerenza renda corretta l’affermazione iniziale.
Il campionamento riguarda il modo in cui viene effettuata la scelta tra le continuazioni possibili. La temperatura è uno dei controlli usati per modificarne la variabilità: in generale, valori più bassi favoriscono scelte più prevedibili, mentre valori più alti lasciano maggiore spazio ad alternative meno probabili. Il comportamento preciso dipende dal sistema utilizzato.
Non interpreto però la temperatura come una manopola della verità. Ridurre la variabilità non equivale ad aggiungere una fonte, verificare un calcolo o controllare una configurazione. Una risposta meno variabile può continuare a essere sbagliata.
Contesto e finestra di contesto: ciò che il modello può usare
Il contesto è il testo disponibile al modello per costruire la risposta: la richiesta, le istruzioni e gli eventuali contenuti forniti insieme alla domanda. In una conversazione può comprendere anche gli scambi precedenti che l’applicazione rende disponibili al modello.
La finestra di contesto delimita la quantità di materiale che può essere elaborata in quella richiesta. Non coincide con tutto ciò che il modello ha incontrato durante l’addestramento. Il contesto è l’informazione fornita mentre lo si usa; l’addestramento è il processo che ne ha modificato i parametri.
La conseguenza pratica è semplice. Scrivere una domanda su un documento non significa averne fornito il contenuto. E inserire un documento nella richiesta non significa aver riaddestrato il modello su quel documento. Sono operazioni diverse, anche quando dall’interfaccia sembrano entrambe un normale messaggio in chat.
Per questo, prima di giudicare una risposta, considero necessario chiarire quali informazioni fossero effettivamente disponibili. Se manca il dato decisivo, una formulazione più elegante della domanda non può sostituirlo.
Training: imparare dai dati, non archiviare una biblioteca verificata
Il training è il processo di addestramento. Nel pre-addestramento il modello parte da parametri inizializzati e viene esposto a grandi quantità di dati. Le previsioni prodotte vengono confrontate con l’obiettivo di addestramento e i parametri vengono modificati per ridurre l’errore.
La documentazione di Hugging Face descrive questo meccanismo come apprendimento auto-supervisionato: l’obiettivo viene ricavato dai dati stessi. Per esempio, una sequenza di testo fornisce sia il contesto sia l’elemento successivo da prevedere. Non serve scrivere manualmente una risposta corretta per ogni possibile domanda futura.
Qui serve una distinzione. La previsione del token successivo descrive i modelli linguistici causali, centrali nella generazione di testo. Non è l’unico obiettivo possibile nella famiglia dei Transformer. Esistono anche forme di addestramento che richiedono di ricostruire elementi mascherati nel testo.
Nel talk paragono il training alla produzione di un film: attori, riprese e montaggio. L’analogia serve a separare il lavoro necessario a preparare il modello dal suo utilizzo successivo. Durata, quantità di dati e risorse richieste dipendono dal modello.
Il fine-tuning non è un nuovo addestramento da zero
Il fine-tuning è un addestramento aggiuntivo su un modello già pre-addestrato. Serve ad adattarlo a compiti o dati più specifici. Rispetto alla costruzione da zero può richiedere meno dati, tempo e risorse, ma resta un’attività di addestramento.
Quando nel talk dico che «il training non lo facciamo noi», mi riferisco all’addestramento da zero di un grande modello. Il fine-tuning è un caso in più: permette di adattare un modello esistente. Prima di discutere costi e fattibilità bisogna specificare quale delle due attività si intende svolgere.
Anche l’adattamento richiede una verifica del risultato. Aver modificato il modello non dimostra che sia migliorato sul compito utile, né che abbia mantenuto le capacità necessarie negli altri casi d’uso.
Inferenza e AI locale: usare il modello ha un costo diverso
L’inferenza è l’esecuzione del modello già addestrato su un nuovo input. Si fornisce una richiesta e si ottiene un risultato. Il modello viene usato per generare la risposta, invece di essere sottoposto al processo di aggiornamento dei parametri proprio del training.
Nel paragone cinematografico, è più vicina alla proiezione che alla produzione del film. L’analogia aiuta a capire perché non serva rifare l’addestramento ogni volta che si pone una domanda. L’utilizzo ha comunque i propri costi computazionali.
Quando parlo di AI locale in questo contesto, il punto è eseguire l’inferenza su un’infrastruttura sotto il proprio controllo. Si parte da un modello già disponibile e si valuta se sia utilizzabile nelle condizioni richieste.
Le risorse necessarie per l’inferenza dipendono dal modello, dall’hardware e dal carico di lavoro. Sono questi gli elementi da considerare per dimensionare un sistema. Eseguire una risposta e sostenere un servizio sono due obiettivi diversi.
Per scegliere tra esecuzione locale e servizio esterno servono costi e capacità di servizio misurati nell’impiego concreto. Avviare il modello è il primo passo; sostenere il carico richiesto è la verifica successiva.
Perché un LLM può sbagliare con sicurezza
Il modello produce testo sulla base di ciò che ha appreso e delle informazioni disponibili nella richiesta. I dati di addestramento possono però essere incompleti, inaccurati, obsoleti o distorti. Come ricorda anche l’introduzione di Punto Informatico, questi limiti possono tradursi in errori e incoerenze nei testi generati.
Il tono sicuro non risolve il problema. Una frase ben costruita non contiene, da sola, la prova della propria correttezza. Il modello può produrre una spiegazione convincente anche quando manca un’informazione essenziale o la premessa della domanda è errata.
Per me la conseguenza operativa non è rinunciare allo strumento. È separare generazione e verifica. Un riassunto va confrontato con il documento; una spiegazione tecnica con la documentazione pertinente; una proposta di modifica con i requisiti e con prove adeguate. Più testo prodotto non significa automaticamente più lavoro utile.
Il collo di bottiglia può quindi spostarsi dalla stesura al controllo. È lì che vanno considerati il tempo risparmiato, gli errori introdotti e il costo della revisione. Questo passaggio serve a distinguere una risposta impressionante da un processo che funziona.
La guida per rifare la demo accompagna il percorso pratico, mentre nel talk completo «Dal modello a WordPress: MLOps con AI locale» questi concetti trovano il loro contesto applicativo. La decisione resta concreta: usare un modello quando il risultato è verificabile, misurarne il costo nelle condizioni reali e mantenere chiara la responsabilità di ciò che viene pubblicato o eseguito.