Che cosa sono i modelli generativi

I modelli generativi sono sistemi di AI che creano contenuti nuovi — testo, codice, immagini — invece di limitarsi a classificare dati esistenti. La famiglia piu’ rilevante per l’esame e’ quella dei large language model (LLM), addestrati su enormi corpora di testo per apprendere i pattern statistici del linguaggio. Un LLM non “ragiona” come un umano: predice l’elemento successivo di una sequenza sulla base di quanto ha visto in training. Questa e’ la differenza chiave rispetto ai modelli discriminativi (classificazione, regression, sentiment analysis), che restituiscono un’etichetta da un set fisso: il generative AI produce output aperto.

Rientrano nel generative AI anche i modelli multimodali (testo + immagini) e i modelli text-to-image. Per l’esame basta riconoscere lo scenario: se la richiesta e’ “genera”, “riassumi”, “traduci”, “scrivi” o “crea un’immagine da una descrizione”, siamo nel generative AI.

Token e context window

Un LLM non elabora parole intere, ma token: frammenti di testo (parti di parola, parole brevi, punteggiatura). In inglese un token vale circa 4 caratteri, ovvero circa 3/4 di parola; lingue diverse e testi tecnici hanno rapporti diversi. I token contano perche’ limiti e fatturazione sono espressi in token, non in parole: si pagano sia i token del prompt (input) sia quelli della risposta (output).

La context window e’ il numero massimo di token che il modello puo’ considerare in una singola richiesta, e include sia l’input sia l’output generato. Se conversazione, documenti allegati e risposta attesa superano la finestra, le parti piu’ vecchie vengono ignorate o la chiamata viene troncata. Una context window ampia consente di elaborare documenti lunghi (utile per riassunti o per pattern come il grounding/RAG), ma costa di piu’ e puo’ aumentare la latenza.

Che cosa succede durante l’inferenza

L’inferenza e’ la fase in cui il modello gia’ addestrato genera una risposta a partire da un prompt — da distinguere nettamente dal training, che avviene una volta sola ed e’ molto piu’ costoso. Durante l’inferenza il modello produce l’output un token alla volta, scegliendo ogni volta il token successivo piu’ probabile dato il contesto.

Il grado di casualita’ e’ regolabile: la temperature sposta il comportamento da deterministico (valori bassi, adatti a estrazione dati e risposte fattuali) a piu’ creativo e vario (valori alti, adatti a brainstorming). In sintesi: temperature bassa = output coerente e ripetibile, temperature alta = output diversificato. Per le firme esatte dei parametri fai riferimento alla documentazione ufficiale.

Scegliere il modello: capacita’, costo, latenza

Non esiste “il modello migliore”: la model selection e’ un compromesso fra tre assi. Capacita’: i modelli piu’ grandi gestiscono meglio ragionamento complesso, istruzioni articolate, multilingua e — se multimodali — immagini. Costo: si paga per token, quindi un modello grande su volumi elevati diventa oneroso. Latenza: i modelli piu’ grandi tendono a rispondere piu’ lentamente, fattore critico per chat in tempo reale.

Criterio pratico: parti dal task. Per estrazioni semplici, classificazione o alti volumi conviene un modello piccolo ed economico; per ragionamento complesso o qualita’ redazionale serve un modello piu’ capace. Verifica poi se la context window basta per i tuoi documenti e se serve la multimodalita’. In Microsoft Foundry il model catalog permette di confrontare e distribuire modelli diversi, ma la scelta resta guidata da questi trade-off. Spesso, infine, un buon prompt o il grounding con i propri dati migliora i risultati piu’ che passare a un modello piu’ grande.

Trappole tipiche d’esame

  • Task di classificazione o sentiment → soluzione: non e’ generative AI; riconoscere o etichettare dati esistenti ricade nei modelli discriminativi, anche se usi un LLM.
  • “Quanto costa il servizio?” → soluzione: il costo si misura in token (input + output), non in numero di richieste ne’ in parole; risposte lunghe costano di piu’.
  • Documento troppo lungo per il modello → soluzione: e’ un limite di context window (input + output insieme), non di temperature ne’ di training; serve una finestra piu’ ampia o spezzare il testo.
  • Risposte fattuali che devono restare stabili → soluzione: abbassa la temperature per output deterministico; alzarla serve solo per varieta’ creativa.
  • Serve la risposta piu’ rapida in chat → soluzione: privilegia un modello piu’ piccolo (minore latenza), non automaticamente il piu’ capace.
  • Migliorare la qualita’ sui dati aziendali → soluzione: prova prima prompt engineering e grounding/RAG; un modello piu’ grande aumenta costo e latenza senza garantire pertinenza ai tuoi dati.