Dans mon article sur Windows 365 pour Agent, j’ai donné un Cloud PC à un agent Copilot Studio pour qu’il traite des factures tout seul. Reste la partie la plus fastidieuse : écrire ses instructions…. Décrire chaque écran, chaque clic et chaque contrôle à la main prend du temps, et on oublie toujours un cas ! J’ai donc créé ma propre petite application, Procedure Studio : on lui donne la vidéo d’un processus métier, elle en tire les instructions prêtes à coller dans l’outil Computer use.
Dans cet article, je vous présente ma nouvelle application, encore au stade de concept, puis on la suit sur un vrai cas de facturation : de la vidéo jusqu’au test dans Copilot Studio :
Pour vous guider plus facilement dans cet article, voici des liens rapides :
- 1. Après Windows 365 pour Agent : tout se joue dans le prompt
- 2. Mon idée : filmer une fois, laisser l’IA écrire
- 3. Procedure Studio : l’application que j’ai créée
- 4. Démo : de la vidéo de facturation au prompt
- 5. Ce que l’application produit
- 6. Le moment de vérité : le test dans Copilot Studio
- 7. Combien ça coûte ?
- 8. Avant de confier le processus à l’agent
- 9. Conclusion
1. Après Windows 365 pour Agent : tout se joue dans le prompt
Pour rappel, dans mon précédent article, Windows 365 pour Agent, nous avions déjà préparé l’environnement : un agent dans Copilot Studio, un Cloud PC sur lequel il peut agir et un déclenchement automatique à l’arrivée d’un e-mail. L’exemple était déjà celui d’une facture, avec extraction des informations d’un PDF, saisie dans des formulaires et mise à jour d’Excel :
Le moteur de tout ça, c’est Computer use : l’outil de Copilot Studio qui pilote les sites web et les applications Windows avec une souris et un clavier virtuels, même quand il n’existe aucune API. Et Microsoft est clair sur ce qui fait la différence :
The instructions you write determine how well computer use works.
Source : Automate web and desktop apps with computer use, Microsoft Learn
Concrètement, ça donne quoi ? L’exemple de facturation proposé par Microsoft tient en trois lignes :
- ouvrir le gestionnaire de factures,
- filtrer sur les dernières 24 heures,
- recopier le PDF dans un formulaire.
Parfait pour une démo.
Mais mon processus réel enchaîne cinq applications : InvoiceHub, un portail de saisie, Microsoft Forms, SharePoint et Excel. Il faut aussi prévoir ce que l’agent doit faire face à deux factures candidates, une soumission sans confirmation ou un bouton introuvable.
Voici le rendu final une fois que l’agent est correctement configuré :
Écrire tout cela à la main, c’est du temps de rédaction, et une relecture sans fin à chaque changement du processus. Le piège classique : un prompt trop court, et l’agent improvise. D’où l’idée de cette application.
2. Mon idée : filmer une fois, laisser l’IA écrire
Plutôt que de rédiger le prompt ligne par ligne, je pars de ce que je sais déjà faire : traiter la facture moi-même. J’enregistre mon écran pendant le traitement (ouverture du PDF, récupération des valeurs, passage d’un portail à l’autre, mise à jour du suivi comptable) et c’est l’IA qui transforme cette vidéo en procédure, puis en instructions pour l’agent.
Le parcours tient en six étapes :
- Filmer le processus métier à automatiser.
- Laisser l’application analyser la vidéo et en extraire une procédure structurée.
- Relire les étapes, préciser les applications et ajouter les règles métier.
- Générer le prompt d’exécution destiné à Computer use.
- Tester ce prompt sur le Cloud PC, avec des données de démonstration.
- Corriger dans l’application et retester, avant d’envisager un déclenchement automatique.
Tout l’intérêt est là : un résumé de la vidéo dirait « la facture est saisie dans le portail ». L’application, elle, doit produire une procédure exploitable : quel portail ouvrir, comment afficher le formulaire, quelles données saisir et quel message confirme l’enregistrement. Et comme la vidéo ne montre qu’une facture, il faut distinguer les gestes à reproduire des valeurs à relire à chaque exécution :
3. Procedure Studio : l’application que j’ai créée
Pour tester cette idée, j’ai construit Procedure Studio. Je ne suis pas parti d’un produit existant : j’ai développé l’application avec GitHub Copilot dans Visual Studio Code, en lui décrivant simplement ce que je voulais obtenir, écran par écran.
C’est un concept, pas un produit fini, mais il couvre déjà tout le parcours, de la vidéo au prompt :
L’application ne se contente pas de générer du texte : elle rassemble au même endroit tout ce dont l’agent a besoin. Elle s’organise en cinq onglets :
- Record : déposer la vidéo métier et lancer son analyse.
- Applications : retrouver les applications détectées dans la vidéo et leurs adresses de démarrage.
- Authentication : préciser le contexte d’accès attendu pour chaque application, sans jamais inscrire de mot de passe dans le prompt.
- Documents : ajouter les documents qui encadrent le traitement, comme les règles de facturation.
- Agent Instructions : obtenir les instructions finales, prêtes à coller dans Computer use.
La page Recent Procedures permet de reprendre une procédure existante. Après un test, on corrige les instructions sans refilmer tout le processus :
Une règle guide toute l’application : ce qui vient de la vidéo doit correspondre à ce qui est visible à l’écran, et ce qui est ajouté ensuite doit être explicite. Une adresse illisible est un point à compléter, pas une invitation à laisser l’IA deviner.
4. Démo : de la vidéo de facturation au prompt
Le cas métier filmé traite une facture dans cinq applications successives :
- InvoiceHub, pour consulter une facture récente et son PDF.
- Contoso Invoice Management Portal, pour créer et soumettre la facture.
- Microsoft Forms, pour enregistrer les informations de la facture.
- SharePoint, pour ouvrir le classeur comptable.
- Excel pour le web, pour mettre à jour la ligne de la facture.
Voyons maintenant comment Procedure Studio transforme cette vidéo en instructions.
Étape 1 : créer la procédure et déposer la vidéo
Commencez par faire une vidéo de votre processus métier enregistrée au format mp4 :
Dans la navigation, sélectionnez New Procedure. Sur la page de capture, sélectionnez Upload a video pour choisir le fichier, puis Upload video pour le téléverser. La vidéo doit montrer les actions dans les applications :
Étape 2 : lancer l’analyse
Sélectionnez Start analysis :
Le statut indique que l’analyse est en cours :
Et là, magie : la vidéo devient une procédure structurée, avec les actions dans l’ordre et le résultat attendu à chaque étape. Prenez le temps de la relire :
Étape 3 : vérifier les applications et les accès
Dans Applications, vérifiez pour chaque outil son nom, son adresse de démarrage et l’action qui mène au bon écran. Ouvrir un portail n’est pas la même chose qu’ouvrir son formulaire Add New Invoice : si cette transition manque, l’agent bloque avant la première saisie :
Dans Authentication, examinez l’accès attendu pour chaque application. L’onglet documente le besoin ; les connexions et les droits de l’agent restent configurés sur le Cloud PC :
Étape 4 : ajouter les règles de l’entreprise
Cette étape est facultative, mais peut apporter plus de contexte pour la génération des instructions de votre agent,
Dans Documents, sélectionnez Add document. Pour la démo, j’ajoute un PDF de règles fictives. Son texte apparaît dans Documents and guidelines et apporte ce que les clics de la vidéo ne disent pas :
Enfin, pensez à sauvegarder.
Étape 5 : générer le prompt
Sélectionnez Generate agent instructions :
Quelques minutes plus tard, le texte apparaît dans Agent Instructions. Relisez les adresses, l’ordre des actions et les conditions d’arrêt avant de le copier :
5. Ce que l’application produit
Comparé aux trois lignes de l’exemple Microsoft, le prompt généré est bien plus complet. Il s’organise en six blocs :
| Bloc du prompt | Ce qu’il précise |
|---|---|
| Le point de départ | Quel site ouvrir et quels éléments doivent être visibles. |
| Les données variables | Quelles valeurs lire dans le PDF de la facture courante. |
| Le parcours applicatif | Dans quel ordre ouvrir, renseigner et soumettre les écrans. |
| Les contrôles | Comment vérifier les champs, les montants et les confirmations. |
| Les exceptions | Quand arrêter les tentatives et signaler un blocage. |
| Le bilan final | Quelles actions sont confirmées et lesquelles restent à vérifier. |
Le plus intéressant, ce sont les consignes qu’on oublierait en écrivant à la main. En croisant la vidéo, le document de règles et ma relecture, on obtient par exemple :
- Lire les valeurs dans la facture du jour (fournisseur, numéro, dates, total, lignes), jamais celles de la démo.
- Exiger une confirmation visible à chaque étape : Invoice Submitted Successfully dans le portail, l’écran de remerciement de Forms, l’état Saved dans Excel.
- S’arrêter au lieu de choisir au hasard : plusieurs factures candidates ou plusieurs lignes Excel avec le même numéro, et l’agent demande laquelle traiter.
- Ne pas tourner en boucle : après deux tentatives sans effet visible, l’agent cesse de répéter et signale l’écran bloquant.
- Éviter les doublons : si une soumission est incertaine, vérifier ce qui a déjà été enregistré avant de recommencer.
Ce sont ces détails qui font la différence entre un agent qui improvise et un agent qui avance seul dans les cas prévus, puis s’arrête proprement quand quelque chose cloche :
6. Le moment de vérité : le test dans Copilot Studio
Direction Copilot Studio et mon agent de démonstration. Dans Tools, j’ouvre Computer use et je colle les instructions générées par Procedure Studio dans la zone Instructions. Le Cloud PC et les accès sont ceux préparés dans l’article précédent.
Le bouton Test directly lance l’outil seul, sans le reste de l’agent. Le panneau de test affiche à gauche le journal des actions et du raisonnement, à droite un aperçu de la machine, et Stop testing interrompt tout à tout moment :
C’est là que l’application prend tout son sens : si un essai échoue, pas besoin de réécrire le prompt à la main, je reviens dans l’application, je corrige l’étape, l’adresse ou la règle concernée, je régénère et je reteste :
Il ne reste plus qu’à attendre que l’IA finisse le travail !
7. Combien ça coûte ?
Question légitime avant de lancer quoi que ce soit en production. Avec cette approche, la facture se répartit en postes bien distincts :
| Poste | Quand on le paie | Ce qui le fait varier |
|---|---|---|
| L’analyse de la vidéo par l’IA | Une fois par procédure, et à chaque régénération | Le modèle utilisé et la durée de la vidéo |
| Le travail de l’agent | À chaque facture traitée | Le nombre d’étapes Computer use et le temps passé sur le Cloud PC |
L’analyse de la vidéo
Quand Procedure Studio analyse la vidéo et génère le prompt, il consomme un modèle d’IA, facturé selon le volume traité :
Bonne nouvelle : ce coût se paie une fois par procédure, pas à chaque facture. Une correction après un test ne demande qu’une régénération, pas une nouvelle vidéo.
Le travail de l’agent : deux compteurs
C’est le poste qui revient à chaque exécution. Microsoft le précise sur la page de Windows 365 pour Agent : les capacités de l’agent et le Cloud PC sont facturés séparément. Il y a donc deux compteurs.
Premier compteur, Copilot Studio et ses Copilot Credits. Ils s’achètent en packs de 25 000 crédits à 200 $ par pack et par mois, ou au compteur pay-as-you-go, réglé en fin de mois selon la consommation réelle. Pour Computer use, Microsoft Learn est très clair : chaque étape consomme 5 Copilot Credits avec un modèle standard, ou 15 avec un modèle premium. L’exemple donné par Microsoft, une feuille de temps remplie en quatre étapes, coûte donc 20 crédits.
Second compteur, le Cloud PC Windows 365 pour Agent, facturé à l’heure d’utilisation. Pour un Cloud PC à la demande, Microsoft affiche 0,52 $ de l’heure en Europe et 0,572 $ en France. Un Cloud PC toujours disponible ajoute un forfait mensuel fixe, 6,50 $ par mois en Europe. Pour démarrer, l’utilisation déclenchée depuis le chat de test intégré n’est pas facturée, et chaque tenant dispose de 50 heures gratuites pour un agent publié qui tourne en autonomie.
Concrètement, ça donne quoi ? Prenons une hypothèse de 50 étapes Computer use pour traiter une facture sur les cinq applications (chiffre à mesurer pendant vos essais). Cela représente 250 crédits avec un modèle standard, soit environ 2 $ au tarif du pack, ou 750 crédits avec un modèle premium, soit environ 6 $. À cela s’ajoute le temps passé sur le Cloud PC.
Voici les coûts dans mon environnement après plusieurs tests :
8. Avant de confier le processus à l’agent
Un bon prompt cadre le travail de l’agent, mais il ne remplace pas la sécurité de son environnement. Microsoft recommande des machines dédiées, un compte aux privilèges limités et un accès restreint aux sites et applications nécessaires. Les adresses écrites dans le prompt ne constituent pas, à elles seules, une restriction d’accès.
9. Conclusion
Voilà, en six étapes, le parcours que permet Procedure Studio : filmer le processus, analyser la vidéo, l’enrichir avec les règles métier, générer le prompt, le tester dans Copilot Studio et l’améliorer.
Concrètement, ça donne quoi ? Le premier article donnait un poste de travail à l’agent. Celui-ci montre qu’avec une application créée en quelques échanges avec une IA de code, on peut aussi automatiser l’écriture de ses instructions. On montre le processus une fois, l’application rédige, on relit et on teste.
Les 4 pièges à retenir :
- Une vidéo ne contient pas toutes les règles : ajoutez les documents métier.
- Le prompt généré se relit : adresses, ordre des actions et conditions d’arrêt.
- C’est le test, pas la longueur du prompt, qui dit si l’agent est prêt.
- Et bien sûr, attention aux différents coûts !
Foncez tester ce type d’approche en lab sur un processus limité. Et si l’idée d’une application qui écrit les prompts de vos agents vous parle, dites-le moi en commentaire !
