Foundation model e large language model

Un foundation model (FM) è un modello di grandi dimensioni, pre-addestrato su enormi quantità di dati non etichettati, che puoi adattare a molti compiti diversi senza ri-addestrarlo da zero. È il cuore della generative AI: da un unico modello “base” nascono applicazioni per testo, immagini, codice o audio. I large language model (LLM) sono foundation model specializzati sul linguaggio: generano testo prevedendo, un pezzo alla volta, la continuazione più probabile dell’input.

Su AWS l’esame distingue due modi di usare i FM. Amazon Bedrock offre foundation model di più provider dietro un’unica API, in modalità serverless: consumi modelli pronti senza gestire infrastruttura. Amazon SageMaker ti dà invece il controllo completo del ciclo di vita ML (training, tuning, hosting). Regola da ricordare per l’esame: Bedrock = consumo di modelli gestiti; SageMaker = costruzione e gestione end-to-end.

Token ed embeddings

Gli LLM non lavorano su parole intere ma su token: frammenti di testo (una parola, parte di parola o punteggiatura). Il numero di token determina sia il costo sia il limite di context window, cioè quanto testo il modello può considerare in una singola richiesta.

Concetto distinto è l’embedding: la rappresentazione di un testo o di un’immagine come vettore numerico che ne cattura il significato semantico. Contenuti con significato simile producono vettori vicini nello spazio. Gli embeddings sono la base della semantic search e dei sistemi RAG (Retrieval Augmented Generation): i documenti aziendali vengono convertiti in vettori, salvati in un vector store e recuperati in base alla pertinenza rispetto alla domanda dell’utente. In sintesi: il token è l’unità di elaborazione e di fatturazione, l’embedding è il vettore semantico usato per ricerca e recupero.

Casi d’uso e quando (non) usarla

I casi d’uso tipici della generative AI includono: generazione e riassunto di testo, chatbot e assistenti virtuali, generazione di codice, traduzione, creazione di immagini e personalizzazione dei contenuti. Il punto d’esame non è elencarli, ma capire quando è la scelta giusta.

La generative AI eccelle nel creare contenuti nuovi e nel gestire linguaggio naturale non strutturato. Il machine learning predittivo tradizionale resta invece superiore per previsioni numeriche, classificazione su dati tabellari e forecasting (domanda, prezzi, churn). Non ogni problema richiede un LLM: usare la generative AI dove serve una risposta esatta e verificabile è un errore ricorrente negli scenari d’esame.

Limiti: allucinazioni e non determinismo

Una hallucination è un’affermazione plausibile ma falsa, prodotta dal modello con tono sicuro. Non si elimina del tutto, ma si mitiga con RAG su fonti autorevoli, grounding e revisione umana (human-in-the-loop). Il non determinismo è invece la proprietà per cui lo stesso prompt può generare output diversi a ogni richiesta, per via del campionamento probabilistico regolato da parametri come la temperature: non è un bug. Altri limiti da conoscere: bias ereditato dai dati di addestramento, knowledge cutoff (il modello non conosce eventi successivi al suo addestramento) e scarsa spiegabilità. Il passing score dell’esame è 700/1000: riconoscere questi limiti e le relative mitigazioni è tra i temi più ricorrenti.

Trappole tipiche d’esame

  • Accedere a più foundation model pronti senza gestire infrastruttura → soluzione: Amazon Bedrock, non SageMaker. Bedrock è serverless e multi-provider; SageMaker richiede che tu gestisca training e hosting.
  • Il modello inventa fatti plausibili ma falsi → soluzione: è una hallucination, non bias né overfitting. Si mitiga con RAG, grounding e human review, non aumentando i parametri del modello.
  • Stesso prompt, risposte diverse → soluzione: è non determinismo dovuto al campionamento (temperature), non un malfunzionamento. Per output più ripetibili si abbassa la temperature.
  • Aggiungere conoscenza aziendale aggiornata riducendo le allucinazioni → soluzione: RAG con embeddings e vector store, non necessariamente fine-tuning. RAG inietta informazioni fresche senza ri-addestrare il modello.
  • Previsione numerica su dati tabellari (domanda, prezzo, churn) → soluzione: ML predittivo tradizionale, non un LLM generativo. La generative AI crea contenuti, non è ottimale per forecasting strutturato.
  • “Token” confuso con “embedding” → soluzione: il token è l’unità di testo elaborata e fatturata; l’embedding è il vettore semantico usato per semantic search e RAG.