Abilitare il Quality Evaluation agent
Il Quality Evaluation agent è la parte valutativa del Quality Management Agent, l’insieme di capacità di quality management che la documentazione colloca dentro il Workforce Engagement Management insieme a governance e registrazione di schermo e chiamate. Prima di configurarlo servono quattro cose: i ruoli Quality Administrator, Quality Manager e Quality Evaluator assegnati; le connection reference configurate; i Microsoft Copilot credits impostati; e l’opzione Enable AI agents accesa per l’ambiente dal Power Platform admin center. La documentazione chiede inoltre il consenso al potenziale spostamento dei dati fra region.
Il punto d’ingresso è Copilot Service admin center > Customer Support > Quality management, poi Manage su Quality evaluation. In cima alla pagina la sezione Prerequisites mostra tre passaggi che devono risultare Ready: Step 1: Connection References, Step 2: Power Automate Flows e Step 3: Copilot Studio Agent. Se il primo è In progress o Incomplete si usa Manage connections; se un flow è spento lo si riaccende in Power Automate; quando tutte le tile sono Ready si preme Publish sul terzo passaggio.
Poi si sceglie che cosa valutare, in Enablement by record type: Case, Conversation o Email. Qui la doppia natura del prodotto conta davvero: le conversazioni sono documentate per Dynamics 365 Contact Center, mentre case ed email valgono per Dynamics 365 Customer Service, e le email sono in anteprima. Per i case, se servono valutazioni massive, va spuntata Enable bulk evaluations. Con Manage data si gestiscono i tipi di dato in input: oltre ai predefiniti si possono aggiungere fino a dieci tipi one-to-one e sei one-to-many. Infine Enable scoring for criteria accende il punteggio, con un dialogo di conferma: una volta acceso non si può più spegnere. Da lì si imposta anche la soglia con Set threshold value out of 100.
Criteri di valutazione: sezioni, pesi e domande critiche
I criteri di valutazione si creano da Copilot Service workspace > Evaluation criteria. Esistono criteri pronti, Support quality e Closed Conversations Default Criteria, precompilati, pubblicati e in sola lettura: si possono usare o copiare, ma non estendere.
La struttura è a tre livelli: criterio, sezioni, domande. Ogni sezione ha una Section weight (%) e la somma dei pesi delle sezioni deve fare 100%. Ogni domanda vale da 0 a 100. Senza pesi per domanda il peso della sezione si distribuisce in parti uguali, e il punteggio di sezione è la media dei punteggi delle domande moltiplicata per la percentuale della sezione. Attivando Allow scoring for question si assegnano pesi alle singole domande, con un vincolo: il peso combinato delle domande di una sezione non può superare il peso della sezione. Il punteggio complessivo è la somma dei punteggi di sezione, su 100.
Il tipo di risposta cambia il calcolo. Yes/No e risposta singola corretta danno 100 oppure 0. Nelle Multi-select i valori delle opzioni devono sommare esattamente 100, il punteggio è la somma delle scelte con tetto a 100 e non ci sono penalità per le opzioni sbagliate. Nelle Single-select ogni opzione ha un punteggio proprio e non serve che le opzioni sommino a 100. Le Descriptive non hanno punteggio.
Mark as critical question è una leva separata dal punteggio: se una domanda critica riceve una risposta marcata come fallimento, l’intera valutazione fallisce, ma il punteggio non cambia. Ogni domanda critica deve avere almeno un’opzione con Mark as fail, altrimenti compare un errore. L’esame ama proprio questa distinzione: peso e criticità non sono la stessa cosa.
Piani di valutazione, metodo e simulazioni
I piani decidono quando e su che cosa si valuta. Da Evaluation Plans > New si sceglie il Record type, la Frequency (per le conversazioni chiuse il tipo è Trigger con Occurrence impostato su Closed conversations; per i case si usa Recurring), le Conditions e, in Assign evaluation, il criterio e l’Evaluation method: AI assisted, AI agent o Manual. Qui sta la trappola più frequente: in modalità AI agent tutte le domande devono avere AI response enabled e l’editing manuale non è consentito, mentre in AI assisted ne basta una. Se il criterio non rispetta il requisito, la creazione della valutazione fallisce.
Un piano attivo non si modifica: va messo in pausa, e comunque Record type ed Evaluation criteria restano bloccati. Il Sampling compare solo con record type Case e frequenza Recurring. Prima di pubblicare conviene usare Create Simulation, che gira su dati reali senza toccare record né metriche di qualità. Va tenuto presente il limite di destinazione d’uso dichiarato dalla documentazione: queste valutazioni servono a far crescere il team e a fare coaching sui representative, non a prendere decisioni sul loro rapporto di lavoro.
Dare accesso ad analytics e dashboard
Chi ha il ruolo di system administrator o supervisor accede già alle dashboard. Per tutti gli altri l’accesso si concede assegnando un ruolo di sicurezza dal Power Platform admin center, sotto Settings > Users + permissions > Security roles. Il punto che l’esame verifica è questo: nel ruolo, dal menu Custom Tables, si dà il privilegio Read sulla tabella di report che sostiene quella specifica dashboard. Ogni dashboard ha la propria, e dare accesso a quella sbagliata non apre nulla:
- Omnichannel historical analytics →
msdyn_dataanalyticsreport_oc - Omnichannel real-time analytics →
msdyn_dataanalyticsreport_oc_rt - Real-time analytics for record routing →
msdyn_dataanalyticsreport_ur_recordrouting_rt - Customer Service historical analytics →
msdyn_dataanalyticsreport_csrmanager - Copilot Analytics →
msdyn_dataanalyticsreport_copilot - Knowledge analytics →
msdyn_dataanalyticsreport_ksinsights
Due estensioni utili: per i segnalibri servono Create, Read, Write e Delete sull’entità Report Bookmark; per modificare i report si assegna il ruolo Analytics Report Author. I report real-time sono attivi per impostazione predefinita per System Administrator, Omnichannel Administrator, Omnichannel Supervisor, Analytics Reports author e CSR manager. L’accensione dei report resta in Copilot Service admin center > Insights, e le metriche storiche compaiono 24 ore dopo l’abilitazione: non è un errore di configurazione, è il tempo di popolamento.