GitHub Copilot test Azure Drasi-documentatie

Inleiding

Fouten in documentatie kunnen net zo schadelijk zijn als bugs in code, vooral bij open-sourceprojecten waar de getting-started-handleiding vaak de eerste ervaring van een ontwikkelaar is. In een nieuwe post legde het door Azure ondersteunde Drasi-team uit hoe het documentatievalidatie heeft omgezet in een geautomatiseerde monitoringworkflow met GitHub Copilot.

Wat is er nieuw

Drasi ontwikkelde een AI-gedreven testaanpak die simuleert hoe een nieuwe gebruiker tutorials exact volgt zoals ze zijn geschreven.

Belangrijke onderdelen van de oplossing

• GitHub Copilot CLI fungeert als een letterlijke, naïeve agent die stappen exact uitvoert zoals gedocumenteerd.
• Dev Containers recreëren dezelfde omgeving die gebruikers zien in GitHub Codespaces.
• Playwright valideert gedrag van de web-UI en maakt screenshots voor vergelijking.
• GitHub Actions voert de workflow automatisch wekelijks uit en parallel over meerdere tutorials.

Volgens het team kwam deze aanpak voort uit een echte storing: een infrastructuurupdate van Dev Containers verhoogde de minimale Docker-versie en brak Drasi-tutorials zonder directe zichtbaarheid. Handmatig testen had het probleem niet snel genoeg ontdekt.

Waarom dit belangrijk is voor IT-professionals en ontwikkelaars

Voor Azure- en platformteams is dit een nuttig voorbeeld van het inzetten van AI-agents buiten codegeneratie. Documentatie raakt vaak defect door:

• Verborgen aannames van ervaren auteurs
• Afwijkingen tussen productwijzigingen en tutorialstappen
• Wijzigingen in upstream-afhankelijkheden in tools zoals Docker, Kubernetes of databases

Door Copilot te gebruiken als een “synthetische gebruiker” kunnen teams onduidelijke stappen, mislukte opdrachten en niet-overeenkomende uitvoer detecteren voordat klanten of contributors tegen die problemen aanlopen.

Overwegingen rond beveiliging en betrouwbaarheid

De implementatie van Drasi houdt de focus op beveiliging bij de containergrens, in plaats van elke opdracht afzonderlijk te proberen te beperken. De workflow gebruikt:

• Geïsoleerde efemere containers
• Beperkte tokenmachtigingen
• Geen uitgaande netwerktoegang buiten localhost
• Goedkeuringspoorten door maintainers voor uitvoering

Om AI-non-determinisme te beheersen, voegde het team ook retries, modelescalatie, semantische screenshotvergelijking en strikte promptbeperkingen toe om een machineleesbaar pass/fail-resultaat te genereren.

Volgende stappen voor beheerders en engineeringteams

Als je team interne runbooks, onboardinggidsen of openbare tutorials publiceert, is dit een patroon om in de gaten te houden. Overweeg:

• Documentatie met hoge waarde te identificeren die vaak defect raakt
• Documentatie te testen in dezelfde omgeving die je gebruikers daadwerkelijk gebruiken
• Logs, screenshots en rapporten vast te leggen als artefacten voor troubleshooting
• Geplande validatie toe te voegen aan CI/CD-pipelines

Het Drasi-voorbeeld laat zien dat AI-agents kunnen dienen als praktische testers van documentatie, waarmee teams supportfrictie kunnen verminderen en de developer experience op schaal kunnen verbeteren.