Vertex AI Model Monitoring: skew e drift

Un modello che passa la validation offline può degradare in produzione perché i dati reali cambiano. Vertex AI Model Monitoring confronta il traffico di serving con una baseline e genera alert al superamento di soglie configurabili. Devi saper distinguere i tre fenomeni che l’esame confonde di proposito.

Il training-serving skew è la differenza tra la distribuzione dei dati usati in training e quella osservata al momento della prediction: la baseline è il training dataset. È il caso tipico di feature engineering incoerente tra pipeline di training e di serving (es. normalizzazioni diverse, unità di misura, valori mancanti gestiti in modo differente).

Il data drift (o prediction/feature drift) è invece uno spostamento nel tempo della distribuzione degli input di serving rispetto a una finestra recente di traffico: qui non c’è confronto col training, ma con i dati serviti di recente. È il segnale di un mondo che evolve (nuovi comportamenti, stagionalità).

Il concept drift è il cambiamento della relazione input→output: i pesi appresi non valgono più anche se le distribuzioni degli input restano identiche. Nota chiave: il concept drift si rileva solo con le ground-truth label, quindi richiede un flusso di feedback etichettato, non basta monitorare gli input.

Scegli il monitoring giusto in base al costo: alza il sampling rate e la frequenza di analisi sugli endpoint online critici, riducili dove la latenza di rilevazione conta meno per contenere i costi. Il monitoring copre sia inferenza online sia batch.

Explainability e feature attribution drift

Vertex Explainable AI produce feature attributions (sampled Shapley, integrated gradients, XRAI per le immagini) che quantificano il contributo di ogni feature a una prediction. Oltre a spiegare le decisioni ai regolatori, abilita il feature attribution drift: quando l’importanza relativa delle feature cambia nel tempo, hai un segnale precoce di degrado anche senza label, utile quando la ground truth arriva tardi (es. rimborsi, churn). È il compromesso tra interpretabilità e reattività che l’esame premia: attribution drift come proxy quando il concept drift non è ancora misurabile.

Sicurezza delle soluzioni gen AI: Model Armor

Con gli LLM i rischi non sono statistici ma di sicurezza: prompt injection, jailbreak, esfiltrazione di dati, condivisione di dati sensibili col modello, URL malevoli, contenuti tossici. Model Armor è il servizio che ispeziona sia i prompt in ingresso sia le response in uscita, indipendentemente dal modello (Gemini o modelli open in self-hosting), applicando safety filter, screening di prompt injection/jailbreak, rilevazione di PII e pattern regex custom per bloccare o mascherare dati sensibili. La distinzione da ricordare: i safety filter nativi di Gemini agiscono per categorie di contenuto, mentre Model Armor è il layer trasversale di sicurezza e data-loss prevention a livello di prompt/response.

Responsible AI: bias, fairness e valutazione

Le pratiche di responsible AI richiedono monitoraggio dei bias su sottogruppi protetti (fairness), non solo dell’accuratezza aggregata: un modello può avere ottima accuracy globale e performance pessima su una minoranza. Per la gen AI serve una valutazione dedicata (Gen AI evaluation service) con metriche di qualità, safety e groundedness, testando in continuo prima e dopo il rilascio. Explainability e bias monitoring insieme costituiscono la copertura di responsible AI attesa dall’esame (superi con 700/1000).

Trappole tipiche d’esame

  • Feature engineering incoerente tra training e produzione → training-serving skew: la baseline è il training dataset, non il traffico recente; se lo scenario parla di pipeline diverse, non è data drift.
  • Distribuzione input che cambia nei mesi → data drift: baseline = finestra recente di serving; distrattore classico è chiamarlo concept drift.
  • Le label arrivano in ritardo o mancano → feature attribution drift: usa Explainable AI come segnale precoce; il concept drift richiede ground truth e non è ancora misurabile.
  • Blocco di prompt injection, esfiltrazione o PII verso l’LLM → Model Armor: ispeziona prompt e response con safety filter e regex; non confonderlo con i soli safety filter di Gemini né con Model Monitoring (che è statistico, non di sicurezza).
  • Accuracy alta ma performance disomogenea sui sottogruppi → bias monitoring (responsible AI): valuta la fairness per gruppo, non la metrica aggregata.
  • Qualità e safety di output gen AI → Gen AI evaluation continua: Model Monitoring copre skew/drift su feature, non la qualità semantica delle risposte generative.