Amazon Bedrock: accesso gestito ai foundation model

Amazon Bedrock è un servizio fully managed e serverless che espone, attraverso un’unica API, i foundation model (FM) di più provider: Anthropic (Claude), Meta (Llama), Mistral, Cohere, AI21 Labs, Stability AI e i modelli Amazon (Titan, Nova). Il valore per l’esame è chiaro: non si gestisce alcuna infrastruttura GPU, non si scarica un modello, si consuma inference on demand. Bedrock aggiunge funzionalità di alto livello che compaiono spesso nelle domande: Knowledge Bases per implementare RAG su dati aziendali, Agents per orchestrare azioni e chiamate a sistemi esterni, Guardrails per filtrare contenuti indesiderati e PII, e la customizzazione del modello via fine-tuning o continued pre-training. Il messaggio di fondo: Bedrock è la scelta quando si vuole usare la GenAI velocemente, senza competenze di ML profonde e senza addestrare nulla da zero.

Amazon Q: assistenti generativi pronti all’uso

Amazon Q è la famiglia di assistenti generativi gestiti da AWS, costruiti sopra i foundation model. Le due varianti principali da riconoscere: Amazon Q Business, un assistente aziendale che si collega a fonti dati interne (documenti, wiki, applicazioni SaaS) per rispondere alle domande dei dipendenti nel rispetto dei permessi esistenti; e Amazon Q Developer (ex CodeWhisperer), l’assistente per sviluppatori che suggerisce codice, spiega risorse e aiuta nel troubleshooting. Amazon Q è integrato anche in servizi come QuickSight e Connect. Concetto chiave per l’esame: Q è una soluzione applicativa “chiavi in mano”, mentre Bedrock è il building block su cui costruire applicazioni GenAI custom.

Scegliere il modello giusto

La model selection è un tema ricorrente e va affrontata come un trade-off, non come “il modello più potente vince”. I criteri principali: la modality richiesta (solo testo, immagini, multimodale, embeddings); accuracy e qualità sul compito specifico; latency e throughput; costo per token in input e output; dimensione della context window; lingue supportate; e la possibilità di customizzazione. Un modello grande e costoso è sprecato per un task di classificazione semplice, dove un modello più piccolo e rapido è la risposta corretta. La regola pratica: partire dal requisito di business (qualità, velocità, budget) e mapparlo alle caratteristiche del modello.

Parametri di inferenza e gestito vs addestrato

I parametri di inferenza controllano come il modello genera la risposta, senza cambiarne i pesi. A livello concettuale: la temperature regola la casualità — valori bassi rendono l’output più deterministico e prevedibile, valori alti più creativo e vario; il top-p (nucleus sampling) restringe la scelta ai token più probabili la cui probabilità cumulativa raggiunge una soglia; max tokens fissa la lunghezza massima della risposta. Per compiti fattuali si abbassa la temperature; per il brainstorming la si alza.

Sul fronte managed vs training: usare un foundation model gestito su Bedrock significa nessun addestramento, time-to-market rapido, costi operativi ridotti e nessuna gestione di dataset o cluster. Addestrare un modello proprio — tipicamente con Amazon SageMaker — dà controllo totale e specializzazione, ma richiede dati etichettati, competenze di ML, tempo e costi di training significativi. Per la maggior parte degli scenari a livello fundamentals la risposta è “usa un modello gestito e, se serve adattarlo, ricorri a fine-tuning o RAG”, non “addestra da zero”.

Trappole tipiche d’esame

  • Assistente aziendale sui documenti interni con minimo sforzo di sviluppo → soluzione: Amazon Q Business, non costruire un’app custom su Bedrock. Q offre già connettori e rispetto dei permessi esistenti.
  • Serve massima creatività o varietà nell’output → soluzione: alza la temperature (ed eventualmente il top-p); non confonderla con max tokens, che governa solo la lunghezza della risposta.
  • Task semplice ad alto volume con budget stretto → soluzione: scegli un modello più piccolo ed economico; il modello più grande non è mai la risposta di default.
  • Adattare un FM ai dati aziendali senza addestrare da zero → soluzione: fine-tuning o RAG con Knowledge Bases su Bedrock, non il training di un modello nuovo su SageMaker.
  • Filtrare contenuti dannosi o PII nelle risposte → soluzione: Guardrails for Amazon Bedrock, senza affidarsi soltanto al wording del prompt.
  • “Controllo totale, ho i dati e un team ML” → soluzione: allora il training o la customizzazione avanzata su SageMaker è giustificato; ma è l’eccezione, non lo scenario tipico a livello fundamentals.