Tests de documentation GitHub Copilot avec Azure Drasi

Introduction

Les défaillances de la documentation peuvent être tout aussi préjudiciables que les bugs de code, en particulier pour les projets open source où le guide de démarrage constitue la première expérience d’un développeur. Dans un nouveau billet, l’équipe Drasi soutenue par Azure a expliqué comment elle a transformé la validation de la documentation en workflow de supervision automatisé à l’aide de GitHub Copilot.

Nouveautés

Drasi a créé une approche de test pilotée par l’IA qui simule un utilisateur débutant suivant les tutoriels exactement tels qu’ils sont rédigés.

Éléments clés de la solution

• GitHub Copilot CLI agit comme un agent littéral et naïf qui exécute les étapes exactement comme documenté.
• Dev Containers recréent le même environnement que celui vu par les utilisateurs dans GitHub Codespaces.
• Playwright valide le comportement de l’interface web et capture des captures d’écran à des fins de comparaison.
• GitHub Actions exécute automatiquement le workflow chaque semaine et en parallèle sur plusieurs tutoriels.

L’équipe a indiqué que cette approche faisait suite à une panne réelle : une mise à jour de l’infrastructure Dev Container a relevé la version minimale de Docker et a cassé les tutoriels Drasi sans visibilité immédiate. Les tests manuels n’avaient pas permis de détecter le problème assez rapidement.

Pourquoi c’est important pour les professionnels IT et les développeurs

Pour les équipes Azure et plateforme, il s’agit d’un exemple utile d’application des agents IA au-delà de la génération de code. La documentation se casse souvent en raison de :

• Hypothèses implicites des auteurs expérimentés
• Décalage entre les évolutions du produit et les étapes des tutoriels
• Changements de dépendances en amont dans des outils comme Docker, Kubernetes ou les bases de données

En utilisant Copilot comme « utilisateur synthétique », les équipes peuvent détecter les étapes peu claires, les commandes en échec et les sorties incohérentes avant que les clients ou les contributeurs ne rencontrent ces problèmes.

Considérations de sécurité et de fiabilité

L’implémentation de Drasi concentre la sécurité sur la frontière du conteneur plutôt que d’essayer de restreindre individuellement chaque commande. Le workflow utilise :

• Des conteneurs éphémères isolés
• Des autorisations de jeton limitées
• Aucun accès réseau sortant au-delà de localhost
• Des étapes d’approbation par les mainteneurs avant exécution

Pour gérer la non-déterminisme de l’IA, l’équipe a également ajouté des nouvelles tentatives, une montée en gamme du modèle, une comparaison sémantique des captures d’écran et des contraintes strictes dans les prompts afin de générer un résultat réussite/échec lisible par machine.

Prochaines étapes pour les administrateurs et les équipes d’ingénierie

Si votre équipe publie des runbooks internes, des guides d’onboarding ou des tutoriels publics, ce modèle mérite votre attention. À envisager :

• Identifier la documentation à forte valeur qui se casse fréquemment
• Tester la documentation dans le même environnement que celui réellement utilisé par vos utilisateurs
• Capturer les journaux, captures d’écran et rapports comme artefacts pour le dépannage
• Ajouter une validation planifiée aux pipelines CI/CD

L’exemple de Drasi montre que les agents IA peuvent servir de testeurs de documentation concrets, aidant les équipes à réduire les frictions de support et à améliorer l’expérience développeur à grande échelle.