Data governance e qualità dei dati

La data governance definisce chi può accedere ai dati, come vengono classificati, conservati e usati per addestrare o alimentare una soluzione AI. In AIF-C01 il principio ricorrente è che un modello non è mai migliore dei dati che lo alimentano: dati incompleti, sbilanciati o non rappresentativi producono bias, hallucination e risultati inaffidabili. Le dimensioni della data quality da tenere a mente sono completeness, accuracy, consistency, timeliness e relevance — e “più dati” non equivale mai automaticamente a “dati migliori”.

Su AWS la governance dei dati si appoggia a servizi come AWS Lake Formation (permessi centralizzati su un data lake), AWS Glue Data Catalog (catalogo e metadata) e AWS Glue Data Quality (regole di qualità sui dataset). L’accesso è controllato con AWS IAM e i dati a riposo cifrati con AWS KMS. Concetti chiave da riconoscere: data lineage (tracciare origine e trasformazioni di un dato), data classification, retention e, per i dati personali, minimizzazione e anonimizzazione prima dell’uso in training. Sul versante modello, la governance si estende con artefatti come Amazon SageMaker Model Cards e Model Registry, utili a documentare scopo, limiti e versioni di un modello per fini di compliance.

Audit e tracciabilità con AWS CloudTrail

AWS CloudTrail registra le chiamate API effettuate nell’account: chi ha compiuto un’azione, quando, da quale identità IAM e da quale indirizzo IP. È lo strumento di audit e accountability per eccellenza, quello che risponde alla domanda “who did what”. Traccia sia le operazioni di gestione (management events, es. la creazione di un endpoint o la modifica di un ruolo) sia, se abilitati, i data events più granulari. I log vengono tipicamente conservati in Amazon S3 per la retention di lungo periodo e per soddisfare requisiti di compliance e auditing.

Per le soluzioni AI, CloudTrail traccia le operazioni di controllo su Amazon Bedrock e Amazon SageMaker: chi ha aggiornato una configurazione, invocato un’operazione amministrativa o cambiato un permesso. È importante distinguerlo dal model invocation logging di Amazon Bedrock, che cattura invece il contenuto di prompt e risposte e può essere inviato a Amazon CloudWatch Logs o a S3 per revisione. CloudTrail dà tracciabilità sulle azioni; il logging delle invocazioni dà visibilità sui contenuti.

Monitoraggio con Amazon CloudWatch

Amazon CloudWatch è il servizio di monitoraggio operativo: raccoglie metriche e log, e permette di definire alarm e dashboard. Risponde alla domanda “come sta andando il sistema”: latenza, error rate, numero di invocazioni, utilizzo delle risorse. Per un modello in produzione, però, non basta osservare l’infrastruttura: occorre monitorare anche il comportamento nel tempo.

Qui entra Amazon SageMaker Model Monitor, che rileva il drift — data drift (i dati in input divergono da quelli di training), model quality drift (le performance peggiorano), bias drift e feature attribution drift. Amazon SageMaker Clarify aiuta invece a individuare bias e a fornire explainability delle predizioni. Il monitoraggio continuo è ciò che consente di intervenire prima che la degradazione del modello danneggi gli utenti, chiudendo il ciclo con un eventuale retraining. Tracciabilità (CloudTrail), osservabilità operativa (CloudWatch) e qualità del modello (Model Monitor/Clarify) sono tre livelli complementari, non intercambiabili.

Trappole tipiche d’esame

  • Sapere “chi ha invocato un’operazione o modificato un permesso” → AWS CloudTrail: è l’audit trail delle API; CloudWatch misura le performance ma non registra l’identità di chi agisce.
  • Rilevare il calo di accuratezza di un modello in produzione → Amazon SageMaker Model Monitor: individua data e model drift; CloudTrail non valuta la qualità delle predizioni.
  • Individuare bias in un dataset o spiegare una predizione → Amazon SageMaker Clarify: è responsible AI, non un compito di CloudTrail né di CloudWatch.
  • Registrare prompt e risposte di Amazon Bedrock per revisione → model invocation logging (verso CloudWatch Logs/S3): CloudTrail traccia le operazioni di controllo, non il contenuto delle conversazioni.
  • Dati di training incompleti o sbilanciati → data quality e data governance: contano completeness, accuracy e rappresentatività; aumentare solo il volume non risolve il bias.
  • Definire chi accede a quali dati nel data lake → AWS Lake Formation + IAM: governance e permessi centralizzati; CloudWatch e CloudTrail osservano ma non concedono l’accesso.