Scegliere la metrica giusta per il tipo di problema

La valutazione parte dalla domanda: cosa sta prevedendo il modello? Per la regression (output numerico continuo) la metrica di riferimento è RMSE, che penalizza fortemente gli errori grandi; MAE è più robusto agli outlier, mentre R² misura la varianza spiegata. Per la classification l’accuracy da sola inganna su dataset sbilanciati: su un dataset con 99% di casi negativi, un modello che dice sempre “negativo” ha 99% di accuracy ma è inutile.

Su classi sbilanciate contano precision, recall e la loro media armonica F1. La scelta dipende dal costo dell’errore: se un falso negativo è pericoloso (frode, diagnosi, churn) si privilegia il recall; se è costoso un falso positivo si privilegia la precision. L’AUC-ROC misura la capacità di ranking del modello indipendentemente dalla soglia, mentre l’AUC-PR (precision-recall) è più informativa proprio quando la classe positiva è rara. La confusion matrix resta lo strumento base per leggere TP/FP/FN/TN dietro ogni metrica.

Overfitting, underfitting e regolarizzazione

L’overfitting si riconosce dal gap: metrica ottima sul training, scarsa su validation/test. Il modello ha memorizzato il rumore. L’underfitting è invece performance bassa su entrambi i set: il modello è troppo semplice o poco addestrato.

Le tecniche di regularization combattono l’overfitting, non l’underfitting: L2 (weight decay) e L1 penalizzano i pesi grandi (L1 tende anche a fare feature selection azzerando pesi), il dropout disattiva casualmente neuroni durante il training, l’early stopping ferma l’addestramento quando la validation loss smette di migliorare. Anche più dati e data augmentation aiutano l’overfitting. Contro l’underfitting si fa il contrario: modello più capiente, più feature, più epoche, meno regolarizzazione. Per stimare la generalizzazione in modo affidabile si usa la cross-validation, e il tuning si fa con SageMaker Automatic Model Tuning (hyperparameter tuning), non a occhio sul test set.

SageMaker Clarify: bias ed explainability

Amazon SageMaker Clarify copre due esigenze distinte. La bias detection misura squilibri sia pre-training (nei dati, es. distribuzione della label rispetto a un attributo sensibile) sia post-training (nelle predizioni del modello), con metriche come Class Imbalance (CI) e Difference in Positive Proportions in Labels (DPPL). L’explainability spiega perché il modello decide, calcolando i feature attributions con SHAP a livello globale e per singola predizione. Clarify si integra con SageMaker Model Monitor per rilevare bias drift e feature attribution drift in produzione. Ricorda: il monitoraggio della model quality richiede la ground truth (le etichette reali che arrivano dopo), mentre data quality e drift dei dati non la richiedono.

AutoML: Autopilot e JumpStart

SageMaker Autopilot è l’AutoML per dati tabulari: dato un dataset e una colonna target, esplora automaticamente feature engineering, algoritmi e iperparametri, produce più candidati con la metrica scelta e genera notebook che rendono il processo trasparente. È la scelta quando servono modelli custom su dati propri senza costruire la pipeline a mano.

SageMaker JumpStart è invece un hub di modelli pre-addestrati e foundation model pronti per il deploy o il fine-tuning: si usa per partire da un modello esistente (vision, NLP, LLM) invece di addestrare da zero. Regola pratica: dati tabulari da zero → Autopilot; modello pre-addestrato da adattare → JumpStart. L’esame MLA-C02 si sostiene in inglese e ha passing score 700/1000.

Trappole tipiche d’esame

  • Dataset di frodi con 99% di transazioni legittime, il modello ha 99% di accuracy → soluzione: l’accuracy è fuorviante su classi sbilanciate; valuta con F1, recall o AUC-PR, non con l’accuracy.
  • Problema di regressione con outlier importanti da penalizzare → soluzione: usa RMSE (penalizza gli errori grandi); scegli MAE solo se vuoi essere robusto agli outlier.
  • Ottimo sul training ma scarso in produzione, “aggiungiamo layer/feature” → soluzione: è overfitting; servono L2, dropout, early stopping o più dati, non un modello più grande.
  • “Applica la regolarizzazione per risolvere l’underfitting” → soluzione: falso; la regularization riduce l’overfitting, l’underfitting si cura con più capacità, più feature o più training.
  • Serve capire quali feature guidano una singola predizione (audit/compliance) → soluzione: SageMaker Clarify con SHAP (explainability); il rilevamento di squilibri sui gruppi è invece bias detection.
  • Model quality monitoring senza etichette reali disponibili → soluzione: impossibile; la model quality richiede ground truth, altrimenti monitora solo data quality o feature attribution drift.