Quantizzazione LLM: l’MP3 dei modelli e la memoria necessaria
La quantizzazione degli LLM permette di ridurre la memoria occupata dai modelli, accettando una rappresentazione meno precisa dei loro valori numerici. Nel mio talk «Dal modello a WordPress: MLOps con AI locale» uso l’analogia dell’MP3: un file più piccolo può conservare abbastanza qualità da essere utile. Il punto da chiarire subito è che ridurre il peso del modello non equivale a ridurre nella stessa proporzione tutta la memoria necessaria per eseguirlo.
Nella mia guida parto da un modello con 8 miliardi di parametri: circa 16 GB per i pesi a 16 bit, 8,5 GB nell’esempio a 8 bit e 5 GB a 4 bit. Sono dimensioni che cambiano le possibilità dell’hardware disponibile. Per scegliere una GPU bisogna aggiungere la memoria del contesto e verificare come il programma distribuisce il modello tra memoria video e RAM.
Quantizzazione LLM: perché uso l’analogia con l’MP3
Nel passaggio del talk confronto un formato audio lossless con un MP3 a 320 kbps e uno a 32 kbps. Il primo richiama una compressione che può risultare poco percepibile; il secondo suona come «la radiolina di Toy Story». L’immagine serve a rendere intuitivo il compromesso: occupare meno spazio può comportare una perdita di informazione.
Con un modello linguistico succede qualcosa di concettualmente simile, ma il meccanismo è diverso. I pesi del modello vengono rappresentati usando meno bit. I kbps di un file musicale indicano un bitrate, mentre i bit della quantizzazione indicano la precisione numerica della rappresentazione. Sono due misure diverse.
Per valutare la qualità, il confronto richiede un passaggio in più. Un audio molto degradato si riconosce ascoltandolo. Un modello può invece produrre una risposta scorrevole, plausibile e sbagliata. La buona forma del testo non dimostra che la compressione abbia preservato le capacità necessarie per il compito.
Per questo considero l’MP3 un buon punto di partenza e valuto la scelta sul compito concreto.
Cosa cambia quando i pesi usano meno bit
I parametri sono valori numerici che il modello utilizza durante l’elaborazione. Rappresentarli con meno bit riduce lo spazio necessario a conservarli, ma introduce un errore di quantizzazione: la rappresentazione più compatta non mantiene esattamente tutti i valori di partenza.
La riduzione può riguardare i pesi e, con alcuni metodi, anche le attivazioni, cioè valori intermedi prodotti durante il calcolo. Sono interventi diversi. Per descrivere un «modello a 4 bit» serve quindi sapere quali parti dell’esecuzione usano quella precisione.
Anche i metodi contano. Nella quantizzazione post-training si interviene su un modello già addestrato. Tra le tecniche ci sono AWQ, che usa informazioni sulle attivazioni per preservare i pesi importanti, e GPTQ, impiegato per quantizzare i pesi per l’inferenza su GPU. SmoothQuant affronta invece la distribuzione della difficoltà di quantizzazione tra pesi e attivazioni.
Due file descritti entrambi come quantizzati a 4 bit possono quindi differire per qualità, compatibilità o prestazioni.
Come stimare la memoria: la formula e i suoi confini
La regola che propongo nel talk è una prima approssimazione:
Memoria dei pesi in GB ≈ miliardi di parametri × bit per parametro ÷ 8.
La divisione per otto converte i bit in byte. Se considero 8 miliardi di parametri rappresentati a 16 bit, ottengo 8 × 16 ÷ 8, quindi circa 16 GB. A 8 bit il risultato diventa 8 GB. A 4 bit scende a 4 GB.
Questi sono valori teorici per i pesi, espressi in gigabyte decimali. Non misurano l’occupazione totale durante l’esecuzione. Le dimensioni effettive dipendono anche dal formato e dalle informazioni necessarie alla rappresentazione quantizzata.
Per lo stesso modello da 8 miliardi di parametri, nella guida uso queste stime pratiche:
- 16 bit: circa 16 GB per i pesi; nell’esempio indico una GPU da 24 GB per lasciare margine all’esecuzione.
- 8 bit: circa 8,5 GB, contro gli 8 GB del calcolo teorico.
- 4 bit: circa 5 GB, contro i 4 GB del calcolo teorico; una dimensione compatibile con lo scenario su GPU da 8 GB descritto nella guida.
La differenza tra 4 GB teorici e circa 5 GB nell’esempio chiarisce il ruolo della formula: serve a capire l’ordine di grandezza e a lasciare margine rispetto alla memoria disponibile.
La GPU da 24 GB è il dimensionamento di quell’esempio. Il fabbisogno effettivo cambia con contesto, implementazione e modalità d’uso.
Il contesto occupa memoria oltre al file del modello
La domanda «quanto pesa il modello?» riguarda solo una parte del problema. Durante l’inferenza serve memoria anche per elaborare la richiesta e generare la risposta. Nella guida considero richieste, file letti e output dei comandi: tutto ciò che viene fornito al modello deve rientrare nel contesto gestito dall’applicazione.
Il contesto si misura in token. Tra le strutture che incidono sulla memoria c’è la KV cache, la cache delle chiavi e dei valori usati dal meccanismo di attenzione. La documentazione di Hugging Face include la quantizzazione della KV cache tra le possibilità per contenere l’occupazione nelle generazioni lunghe.
Quantizzazione dei pesi e quantizzazione della KV cache sono due leve distinte. Un modello può entrare in memoria con una richiesta breve e non lasciare margine sufficiente per il carico che si intende usare davvero.
Io partirei dal compito, prima di scegliere la configurazione: quanto testo deve leggere il modello? Deve ricevere soltanto una domanda o anche file e risultati di strumenti? Quanto spazio deve restare per la risposta?
Conta anche dove finisce la memoria occupata. VRAM dedicata, memoria unificata e RAM di sistema hanno caratteristiche diverse. Ho approfondito questa distinzione nel confronto tra VRAM, RAM unificata e offload: il comportamento della macchina dipende sia dai gigabyte disponibili sia dal tipo di memoria e dal suo utilizzo.
Perché partire da 4 bit, senza farne una soglia assoluta
Nel talk uso una frase volutamente diretta: sotto i 4 bit il modello può cominciare a dire «stupidaggini ma in maniera molto convinta». Il compromesso diventa più delicato quando si cerca il file più piccolo possibile: l’utilità del modello dipende dal metodo e dal compito.
Esistono anche quantizzazioni inferiori. Il loro valore dipende dal metodo e dal compito. Allo stesso modo, la «qualità quasi identica» a 8 bit va verificata sul modello scelto.
Per iniziare, considero i 4 bit un compromesso ragionevole: nell’esempio da 8 miliardi di parametri riducono molto il peso rispetto ai 16 bit.
Il criterio è concreto: il modello continua a svolgere correttamente il lavoro previsto? Servono richieste rappresentative, non soltanto una conversazione riuscita. Se deve produrre codice, serve verificarne la correttezza. Se deve rispondere su documenti, serve verificare che abbia usato bene le informazioni. La precisione numerica è una scelta tecnica; l’accettabilità dell’errore dipende dall’applicazione.
QAT e modelli a esperti: due distinzioni da conservare
La QAT, quantization-aware training, introduce la consapevolezza della quantizzazione nell’addestramento. L’obiettivo è preparare il modello alla rappresentazione a precisione ridotta, invece di intervenire soltanto dopo. La perdita va comunque valutata.
Nella mia demo ho usato Gemma 4 26B-A4B in versione QAT a 4 bit. È un modello mixture of experts, con 26 miliardi di parametri totali e circa 4 miliardi attivi per token.
La distinzione importante è tra parametri totali e parametri attivi. In un’architettura mixture of experts, il fatto che venga utilizzata soltanto una parte dei parametri per ciascun token non permette di dimensionare la memoria come se il modello contenesse soltanto quella parte.
Per stimare il peso complessivo, la formula va quindi applicata ai parametri totali, anziché ai soli 4 miliardi di parametri attivi. Il vantaggio sul calcolo resta distinto dalla memoria necessaria per conservare e rendere disponibili i pesi del modello.
La demo su 8 GB non significa che tutto entri nella GPU
Per la demo ho usato un file da circa 15 GB e la mia RTX 3050 da 8 GB. Nella guida indico almeno 16 GB di RAM di sistema. La parte che non entra nella memoria video rimane nella RAM. È uno scenario di esecuzione distribuita tra memorie.
Sulla mia RTX 3050 genera circa 30 token al secondo. È la velocità che ho misurato nella demo. Per confrontarla con altre configurazioni servono dettagli su lunghezza del contesto, sequenza di misurazione e carico.
Nel dimensionare almeno 16 GB di RAM considero anche gli altri consumi di memoria: il modello deve convivere con il resto dell’esecuzione e con gli altri programmi. L’offload può rendere possibile il caricamento; le prestazioni vanno valutate sul carico previsto.
Lo stesso vale per i consumi. Un file dimezzato non dimostra un raddoppio dei token al secondo né un dimezzamento dell’energia consumata. Sono misure diverse.
Come iniziare con Ollama e verificare cosa sta succedendo
Nel talk cito una GPU da gaming o un Mac almeno M4 con 16 GB di RAM come punti di partenza per sperimentare. Si può quindi iniziare anche senza un’infrastruttura dedicata, scegliendo il modello in base alle risorse della macchina.
Nella guida uso Ollama con modelli già quantizzati. Prima del download controllo la variante scelta e la sua quantizzazione. Dopo il caricamento, il comando ollama ps permette di controllare, come spiegano le FAQ di Ollama, se il modello risiede sulla GPU, nella memoria di sistema o in parte su entrambe.
Anche il runtime cambia il risultato. La documentazione di Hugging Face indica che, nel caricamento tramite Transformers, la maggior parte dei modelli GGUF viene dequantizzata alla precisione completa, con eccezioni specifiche su MPS. Non basta quindi conoscere l’estensione o il peso del file per dedurre l’occupazione in memoria.
La sequenza che considero più utile è semplice: stimare i pesi con la formula, controllare la dimensione della variante effettiva, lasciare spazio al contesto e verificare dove avviene il caricamento. Poi misurare qualità e velocità sulle richieste previste. Il collo di bottiglia può spostarsi dalla capacità di caricare il modello alla memoria del contesto, oppure alla qualità delle risposte.
La quantizzazione rende l’AI locale accessibile a più configurazioni e va accompagnata dal dimensionamento. Per riprendere il passaggio nel suo contesto, l’invito è a guardare il talk e usare la guida per rifare la demo.