AI 5 min di lettura

VRAM, RAM unificata e offload: dimensionare un LLM locale

Scheda grafica con GPU e chip VRAM esposti, componenti da valutare per dimensionare un LLM locale.

Per dimensionare un LLM locale bisogna sommare memoria dei pesi, stato del contesto e memoria di lavoro del runtime. Il file del modello è soltanto il punto di partenza: richieste lunghe e utenti simultanei possono modificare sensibilmente il fabbisogno. Anche la collocazione dei dati conta: avere memoria sufficiente non significa alimentare il calcolo abbastanza velocemente.

Un confronto pubblicato da Maxim Saplin su llama.cpp mostra il problema: nella macchina provata, una configurazione interamente GPU con ricorso alla RAM di sistema risultava più lenta della sola CPU, mentre la suddivisione dei layer tra CPU e GPU otteneva il risultato migliore. Non dimostra che la GPU sia superflua. Mostra perché capienza, banda e modalità di offload devono essere valutate insieme.

Il primo conto riguarda i pesi, non i parametri attivati

La stima elementare è parametri × bit per parametro ÷ 8. Un modello da 8 miliardi di parametri a 4 bit richiederebbe circa 4 GB decimali per i soli valori dei pesi. Scale di quantizzazione, metadati e tensori conservati a precisione diversa possono aumentare l’occupazione reale.

Nei modelli Mixture-of-Experts, o MoE, bisogna distinguere parametri totali e parametri attivati per token. La scheda di Qwen3-30B-A3B indica 30,5 miliardi di parametri complessivi e 3,3 miliardi attivati. Il secondo valore aiuta a interpretare il lavoro di calcolo, ma non sostituisce il primo nel dimensionamento dei pesi: gli esperti non selezionati non scompaiono dalla memoria o dallo storage.

Il vantaggio computazionale di un MoE non equivale quindi alla capienza richiesta da un modello denso con altrettanti parametri attivi. Prima di acquistare hardware serve identificare il file quantizzato effettivo, non affidarsi soltanto al nome del modello.

Il benchmark CPU/GPU: risultati e condizioni della prova

Il confronto su Shared VRAM e inferenza impiegava LM Studio, descritto come wrapper di llama.cpp, un modello quantizzato a 4 bit, un Intel Core i5-13600KF a 5,5 GHz, 96 GB di DDR5 a 4800 MT/s e una RTX 4090 con 24 GB di VRAM.

L’autore riporta 0,69 token/s con il calcolo interamente GPU e parte dei pesi nella Shared VRAM, 2,32 token/s con metà dei layer sulla GPU e metà sulla CPU, e 1,42 token/s sulla sola CPU. Nella configurazione ibrida la VRAM risultava quasi completamente occupata, senza overflow nella memoria condivisa.

È un confronto su una singola macchina, non una graduatoria universale. I tempi al primo token riportati a caldo erano misurati dalla seconda generazione e differivano da quelli a freddo: mescolare queste condizioni renderebbe il confronto fuorviante. Nei materiali disponibili non sono precisati tutti gli elementi necessari alla riproduzione, fra cui versione del runtime, prompt completo e distribuzione delle misure. Non va inoltre presunta l’identità tra il modello del test e Qwen3-30B-A3B.

La KV cache cambia il conto con contesto e concorrenza

Nei transformer autoregressivi con attenzione, la cache di chiavi e valori, o KV cache, conserva informazioni dei token precedenti per evitarne il ricalcolo. Per un’attenzione standard, una stima semplificata è: 2 × layer × token × teste KV × dimensione della testa × byte per valore × sequenze.

Il fattore 2 rappresenta chiavi e valori. Con un esempio ipotetico di 32 layer, 8 teste KV, dimensione 128, 8.192 token, valori da 2 byte e una sequenza, il risultato è 1.073.741.824 byte, cioè 1 GiB. Due sequenze con lo stesso fabbisogno raddoppiano quella componente, prima di eventuali condivisioni o ottimizzazioni.

La formula non comprende tutti i buffer e richiede adattamenti per architetture ibride, stati ricorrenti o finestre di attenzione differenti. Non è inoltre la quantizzazione dei pesi a determinare automaticamente la precisione della cache. Un modello che entra in memoria con un prompt breve può esaurire il margine durante richieste più lunghe o simultanee.

Offload e memoria unificata spostano vincoli diversi

“Offload CPU” può significare layer eseguiti sulla CPU, tensori collocati in RAM oppure trasferimento della cache. Non è corretto assumere che ogni runtime copi tutti i pesi dalla RAM alla GPU a ogni token. Occorre distinguere la suddivisione stabile del lavoro dallo streaming dei pesi e dall’overflow gestito dal sistema.

Nel test citato, la configurazione interamente GPU manteneva circa metà dei pesi nella VRAM e metà nella Shared VRAM. Il risultato è compatibile con una penalizzazione dovuta all’accesso alla memoria di sistema, ma non isola ogni causa del rallentamento. Se i dati non arrivano abbastanza rapidamente, il calcolo più veloce non risolve il collo di bottiglia.

La memoria unificata non va equiparata automaticamente a questo scenario. CPU e GPU possono accedere a un pool condiviso secondo le caratteristiche della piattaforma; capacità utilizzabile, banda e supporto del runtime restano verifiche separate. Più memoria può consentire un modello più grande senza garantire un prefill, cioè l’elaborazione iniziale del prompt, altrettanto rapido.

Anche il benchmark CPU documentato del 5 settembre, che riporta oltre 30 token/s per un Qwen MoE sul sistema provato, resta circoscritto alla sua configurazione. Non è direttamente confrontabile con misure ottenute su modelli e carichi differenti.

Validare il margine prima di comprare più VRAM

Ai pesi e alla cache vanno aggiunti buffer temporanei, attivazioni, cache di esecuzione e memoria degli altri processi. Alcuni runtime riservano memoria in funzione del contesto massimo configurato, altri la gestiscono dinamicamente: i log di avvio non sostituiscono la misura sotto carico.

Il resoconto interno datato 4 settembre 2026 descrive avvii riusciti e falliti dopo l’aumento del contesto su un server vicino al limite della VRAM, con successivo ritiro della configurazione. In assenza dei dettagli completi della prova, è un episodio circoscritto, non una soglia di dimensionamento generalizzabile.

La verifica utile comprende prompt brevi, documenti della lunghezza prevista, richieste simultanee e carico prolungato, separando tempo al primo token, velocità di generazione e throughput complessivo. CPU e offload possono essere adeguati quando rispettano qualità e tempi richiesti; più VRAM serve quando rimuove un limite misurato. Resta da dimostrare, sul carico reale, quale componente impedisca di completare il lavoro con un margine stabile.

Fonti

← Tutti gli articoli