Che cosa vuol dire “multimodale”

Una modalità è un tipo di dato: testo, immagini, audio, video. Un modello unimodale lavora con una sola modalità (per esempio solo testo). Un modello multimodale accetta input di tipo diverso nello stesso prompt — tipicamente testo più immagini — e li interpreta insieme per produrre una risposta. In Azure i modelli generativi della famiglia GPT-4o (disponibili tramite Azure OpenAI in Azure AI Foundry) sono multimodali: puoi mostrare un’immagine e fare domande in linguaggio naturale sul suo contenuto.

L’esame distingue due mondi che a volte si sovrappongono: i servizi AI specializzati, ognuno costruito per un compito preciso, e i modelli generativi multimodali, flessibili ma più generici. Saper scegliere fra i due è il vero oggetto delle domande.

Input visivi e vocali: i servizi specializzati

Per gli input visivi il servizio di riferimento è Azure AI Vision: descrizione di immagini, rilevamento di oggetti e OCR per estrarre testo stampato o manoscritto. Per documenti strutturati (fatture, ricevute, moduli) il servizio dedicato è Azure AI Document Intelligence, che restituisce coppie chiave-valore e tabelle: un caso classico di information extraction.

Per gli input vocali il servizio è Azure AI Speech, che copre tre operazioni fondamentali:

  • speech-to-text (STT): trascrizione dell’audio in testo;
  • text-to-speech (TTS): sintesi vocale, dal testo alla voce;
  • speech translation: traduzione parlato-a-parlato o parlato-a-testo fra lingue.

Questi servizi sono pre-addestrati, restituiscono output strutturato e prevedibile, costano meno e sono più accurati sul loro compito rispetto a un modello generativo generico.

Generazione ed estrazione con modelli multimodali

La image generation è generativa: da una descrizione testuale (prompt) il modello crea un’immagine nuova. In Azure questo avviene con modelli come DALL·E esposti tramite Azure OpenAI. Attenzione: generare un’immagine è l’opposto di analizzarne una esistente (Vision) — sono due scenari distinti che l’esame ama scambiare.

Un modello multimodale come GPT-4o unisce invece comprensione e ragionamento: guardare una foto e rispondere a domande aperte, riassumere una schermata, spiegare un grafico. Per l’estrazione multimodale il modello può leggere il contenuto di un’immagine o di un documento e restituire informazioni in linguaggio naturale, anche quando la richiesta non è predefinita.

Anche l’estrazione da audio e video passa spesso da una combinazione: prima STT trascrive il parlato, poi un modello linguistico ragiona sul testo (riassunti, sentiment, entità). Il video unisce fotogrammi (visione) e traccia audio (speech): scenari tipicamente multimodali.

Quando serve un modello multimodale

Il criterio di scelta è semplice. Se il compito è ben definito, ripetitivo e con output strutturato (trascrivere audio, leggere una fattura, fare OCR) conviene il servizio specializzato: più accurato, più economico, senza prompt engineering. Se serve flessibilità, ragionamento su richieste aperte, o combinare più modalità nello stesso passaggio (per esempio “guarda questa immagine e riassumi cosa mostra”), allora serve un modello multimodale generativo.

Trade-off da ricordare: i modelli generativi sono più versatili ma più costosi, meno prevedibili e possono produrre allucinazioni; i servizi purpose-built sono più rigidi ma affidabili e misurabili sul loro dominio.

Trappole tipiche d’esame

  • Generare un’immagine da testo → image generation (DALL·E via Azure OpenAI): se lo scenario dice “creare/produrre un’immagine” serve un modello generativo, non Azure AI Vision, che analizza immagini esistenti.
  • Trascrivere una riunione registrata → Azure AI Speech (STT): per convertire audio in testo si usa speech-to-text; il TTS fa l’operazione inversa, non confonderli.
  • Estrarre campi da fatture o moduli → Azure AI Document Intelligence: compito strutturato e ripetitivo, meglio col servizio specializzato che con un LLM generico.
  • Domande aperte su una foto (“cosa mostra questa immagine?”) → modello multimodale (GPT-4o): serve ragionamento combinato testo+immagine, non una semplice classificazione.
  • “Multimodale” non vuol dire più modelli: significa un solo modello che accetta input di tipo diverso (testo + immagine) nello stesso prompt.
  • Compito ben definito e ad alto volume → servizio purpose-built: se lo scenario premia accuratezza e costo prevedibile, non scegliere il modello generativo solo perché “fa tutto”.