Computer use: configurare e monitorare

Che oggetto stai configurando

Computer use è un tool di Copilot Studio che permette all’agente di interagire con un computer Windows: seleziona pulsanti, apre menù e scrive nei campi di siti web e applicazioni desktop usando mouse e tastiera virtuali. Serve quando non esiste un’API per raggiungere il sistema di destinazione: se una persona riesce a usare quell’app o quel sito, computer use ci riesce anche. I casi tipici citati dalla documentazione sono data entry automatizzato, elaborazione fatture ed estrazione dati.

Il primo punto da tenere fermo per l’esame è la natura dell’oggetto: computer use non è un topic, non è un agent flow e non è una knowledge source, è un tool che si aggiunge dalla pagina Tools dell’agente con Add tool e poi New tool e Computer use. Fra le limitazioni la documentazione dichiara esplicitamente che l’esecuzione di computer use da un topic non è supportata, e la funzionalità richiede la generative orchestration attiva sull’agente.

La configurazione ha quattro campi obbligatori: Name, Description, Model e Instructions. Il campo Model sceglie il modello che guida l’interazione (è disponibile il Computer-Using Agent di OpenAI e ci sono modelli Anthropic Claude, per i quali l’amministratore deve avere abilitato l’accesso ai modelli esterni per l’ambiente). Le Instructions sono linguaggio naturale, e la resa dipende quasi tutta da lì: URL completo, nome esatto dell’applicazione, azioni dichiarate in modo esplicito.

1. Apri https://www.contoso.com/timesheet.
2. Seleziona Create new time sheet e compila Start Time, End Time e Project Code.
3. Seleziona Submit. Non serve chiedere conferma.

Esiste anche una variante standalone computer use tool, in preview, creata dalla pagina Tools e riusabile: aggiunta a un agente viene duplicata come copia locale indipendente, aggiunta a un agent flow viene referenziata come nodo Run a computer use tool, e in quel caso il flow usa sempre l’ultima versione pubblicata del tool.

Dove gira: macchine gestite e macchine proprie

Computer use gira su una macchina Windows, e la sezione Machine della configurazione offre tre strade.

L’hosted browser (preview, powered by Windows 365 for Agents) parte senza alcun setup e dà automazione web con Microsoft Edge più le applicazioni Windows integrate. Gira in un ambiente gestito da Microsoft che non è Microsoft Entra joined al tuo tenant né governato dalle tue policy Intune: non supporta accesso a risorse aziendali, app desktop personalizzate o device management dell’organizzazione, e la documentazione non lo raccomanda per la produzione perché l’uso può essere limitato in base alla domanda.

Il Cloud PC pool (preview, powered by Windows 365 for Agents) è l’opzione gestita “seria”: un gruppo scalabile di macchine virtuali Microsoft Entra joined e Intune enrolled, con auto scale del numero di Cloud PC in base al carico e integrazione con l’account aziendale o dell’istituto di istruzione, quindi accesso a risorse collegate all’organizzazione. Si crea direttamente dal menù della sezione Machine, sotto Cloud PC pool, con Add new.

La terza strada è bring-your-own-machine: macchine tue registrate e gestite in Power Automate, con Power Automate for desktop installato (inclusa l’estensione per browser) e poi, dalla pagina della macchina, Settings e Enable for computer use. Attenzione a due dettagli che l’esame ama: gli hosted machine groups non sono supportati, e i desktop multi-schermo nemmeno. Quando una macchina è occupata, le richieste successive vengono accodate ed eseguite in sequenza, marcate Queued e poi Next to run, visibili nella scheda Run queue.

Credenziali, confini e supervisione umana

Nella stessa pagina si distinguono oggetti che si confondono facilmente. La Connection è la credenziale verso la macchina. Credentials to use decide con quale identità si opera: Maker-provided credentials, adatte agli agenti autonomi, oppure End user credentials, dove ogni utente deve avere credenziali proprie sulla macchina. Le Stored credentials sono invece le credenziali con cui computer use accede a siti e applicazioni durante l’esecuzione, conservate nello storage interno di Power Platform o in un Azure Key Vault che fornisci tu.

I confini sono due: Access control, l’allow list di siti web e app desktop, e Enforce HTTPS, che impedisce di operare su siti non HTTPS. Confusione tipica da evitare: access control impedisce al modello di agire su un sito o un’app non in elenco, non di aprirli.

La Human supervision indica a chi inviare la richiesta di revisione via email Outlook quando l’agente ha bisogno di conferma o di informazioni aggiuntive, con un limite di tempo di risposta oltre il quale la richiesta scade e il run si interrompe. La documentazione avverte che il comportamento è probabilistico e non va considerato un fail-safe, che i revisori non devono inserire informazioni sensibili, e che rimuovere tutti i revisori dalla lista Assign requests to non rende l’agente pienamente autonomo: l’agente si mette comunque in pausa e la sessione fallisce se non c’è nessuno a cui instradare la richiesta (codice CUAClarificationNoReviewers).

Monitorare un run e capire perché è fallito

Prima della pubblicazione c’è Test: il pannello di sinistra mostra istruzioni e log passo per passo del ragionamento e delle azioni, quello di destra l’anteprima della macchina, e Stop testing ferma subito tutto.

Dopo, il monitoraggio si fa così: dalla sezione Activity dell’agente si seleziona un run e nella pagina di dettaglio si passa fra la vista Activity map e la vista Transcript. La vista Transcript è quella che ricostruisce l’esecuzione: mostra come computer use ha seguito le tue istruzioni, con un log passo per passo dei messaggi di reasoning e degli screenshot di ogni azione. Selezionando un’azione di computer use dalla activity map si apre un pannello laterale con Session replay, Activity, Summary, Websites & applications, Credentials used e l’esportazione dei log di sessione: questo livello avanzato dipende dall’opzione Store logs in Dataverse, attiva per impostazione predefinita, con verbosità configurabile e possibilità di inviare log di audit a Microsoft Purview.

Quando l’azione sullo schermo non riesce, il troubleshooting è documentato per casi. L’errore FailedToTakeScreenshot significa che il modello non è riuscito a catturare lo schermo e l’azione termina: le cause elencate sono un prompt di User Account Control che blocca il desktop, l’esperienza Out Of Box Experience al primo accesso di un utente nuovo, o una sessione Remote Desktop non visibile perché minimizzata o non in focus. L’errore CuaActionBlocked rimanda all’estensione per browser e alla verifica di Enforce HTTPS e Access control. Ultimo dettaglio noto: nella scheda Activity lo stato della sessione può ancora indicare “In progress” quando in realtà è finita, e per verificarlo bisogna aprire la sessione e passare alla modalità transcript.