# Test d’Agent Desktop : Codex a écrit et révisé un document TextEdit, puis a bloqué à l’enregistrement

Codex a utilisé Agent Desktop, de Vercel Labs, pour écrire, relire et réviser un briefing dans TextEdit sur un Mac, puis a bloqué à l’enregistrement. Ce que chaque outil a fait, les autorisations Mac, les liens vers la documentation et un prompt pour laisser votre propre agent tout installer.

[HTML](https://lukejbyrne.com/library/guides/g60hdfu8t-g/?lang=fr)
Langue du texte: fr
Auteur: Luke Byrne
Vidéo publiée le: null
Guide publié le: 2026-11-07

[Voir la vidéo](https://www.youtube.com/watch?v=RjMcqsRFLOw)
Langue de la vidéo: fr

## La réponse courte

Agent Desktop permet à un agent IA d’utiliser les applications de votre ordinateur en lisant leurs contrôles et en agissant dessus, au lieu de travailler uniquement à partir de captures d’écran. Dans ce test, Codex a fait une recherche dans le navigateur, puis a utilisé Agent Desktop pour mettre un briefing dans TextEdit, le relire, appliquer une révision demandée et relire à nouveau le texte révisé. Tout cela est passé par les propres contrôles de TextEdit.

C’est à l’enregistrement qu’il a bloqué. Agent Desktop pouvait lire la fenêtre d’enregistrement, mais ses vérifications l’ont empêché d’aller au bout, et Codex est passé à ses contrôles d’ordinateur séparés pour enregistrer, fermer et rouvrir le document. Le fichier rouvert contenait bien le texte révisé. C’est donc un résultat prometteur pour écrire et modifier dans une application native, pas un workflow autonome qu’Agent Desktop aurait mené seul de bout en bout.

## Quel outil a fait quoi

Agent Desktop vient de Vercel Labs. Vous le donnez à un agent que vous utilisez déjà ; il n’a pas de modèle d’IA à lui. Ici, Codex décidait quoi faire et rédigeait le texte, Agent Browser lisait les sites web dans une session de navigateur séparée, et Agent Desktop travaillait dans TextEdit. C’est un seul assistant qui fait le travail, en appelant des outils distincts pour le navigateur et pour le bureau.

Le test a utilisé Agent Desktop 1.2 et Agent Browser 0.27, tous deux pilotés par Codex sur un Mac. Les versions plus récentes peuvent se comporter différemment : vérifiez la documentation de la version que vous installez.

## Comment il lit les contrôles d’une application

Agent Desktop s’appuie sur les informations d’accessibilité du système d’exploitation : ce qui est un champ de texte, ce qu’il contient, le nom d’un bouton et les actions disponibles. Il rassemble tout cela dans un instantané avec une référence pour chaque contrôle, pour que l’agent puisse choisir le champ de texte dont il a besoin sans devoir le repérer sur une capture d’écran.

Cela ne marche que si l’application fournit de bonnes informations d’accessibilité. Beaucoup d’applications n’y consacrent pas beaucoup d’efforts, même si les agents donnent aux développeurs une nouvelle raison de s’y mettre. Et lire un contrôle ne veut pas dire pouvoir s’en servir : dans ce test, il voyait le bouton Enregistrer mais n’arrivait pas à cliquer dessus.

## Installation et autorisations Mac

Codex a installé Agent Desktop 1.2 dans un dossier de projet local et a lu les instructions fournies avec cette version. Sa vérification d’état indiquait que l’Accessibilité et l’Enregistrement de l’écran étaient déjà accordés à Codex.

Sur Mac, l’accès Accessibilité appartient à l’application qui lance Agent Desktop (votre terminal, votre éditeur ou l’application de votre agent) : c’est pour cela qu’il fonctionnait ici pour Codex. L’Enregistrement de l’écran est une autorisation distincte, nécessaire seulement pour les captures d’écran. Installer Agent Desktop ne lui donne pas à lui seul le contrôle de vos applications : rien ne se passe tant que vous n’avez pas accordé ces autorisations et qu’un agent ne l’appelle pas. La page macOS de la documentation officielle explique comment les vérifier et les accorder.

## Le test : de la recherche dans le navigateur à TextEdit

Codex a utilisé Agent Browser pour ouvrir la documentation officielle et chercher comment fonctionne le contrôle du bureau, comment il s’articule avec l’automatisation du navigateur et où tourne le modèle d’IA, avec un lien vers la source pour chaque point, afin que toute personne ouvrant le document final puisse vérifier.

Codex a ensuite utilisé Agent Desktop pour cibler la zone de texte modifiable de TextEdit, définir son contenu et relire ce contenu depuis l’application. Le texte est passé par les contrôles de TextEdit ; ce n’était pas un fichier généré en arrière-plan puis ouvert après coup. Écrire directement un fichier texte aurait été plus simple pour un document comme celui-ci, mais le but était de voir si l’agent pouvait travailler à travers l’application elle-même.

## La révision : contrôle local ne veut pas dire inférence locale

La première version disait qu’Agent Desktop tourne en local. C’est vrai, mais pas assez précis : il lui faut quand même un modèle d’IA, et à moins de faire tourner ce modèle sur votre propre machine, l’ensemble n’est pas entièrement local. Codex, par exemple, ne tournait pas en local ici. Nous avons donc demandé de le préciser.

Le paragraphe révisé explique qu’Agent Desktop ne contient aucun modèle, que le modèle appartient à l’agent qui l’appelle, et que le contrôle local du bureau ne signifie pas automatiquement une inférence locale. Agent Desktop a remplacé le texte dans TextEdit et relu la version révisée. C’est nous qui lui avons dit quoi changer, il n’avait donc pas repéré le problème lui-même, mais il a fait la modification dans l’application et vérifié le texte qui s’y trouvait réellement.

## Là où l’enregistrement a bloqué, et ce qui a terminé le travail

Agent Desktop pouvait lire la fenêtre d’enregistrement native de TextEdit, y compris le nom du fichier et le bouton Enregistrer, mais ses contrôles de visibilité et de focus l’ont empêché d’aller au bout. Il avait déjà eu du mal à identifier la fenêtre de TextEdit ; relancer l’application vide avec les contrôles d’ordinateur séparés de Codex l’a aidé à atteindre l’étape d’écriture, mais n’a pas réglé l’enregistrement. Codex a aussi essayé une version non modifiée compilée à partir du code source plus récent du projet, et l’enregistrement ne fonctionnait toujours pas.

Codex a alors utilisé son outil séparé de contrôle de l’ordinateur pour choisir le dossier, enregistrer le document, le fermer et le rouvrir. Le fichier rouvert contenait le paragraphe révisé, et le texte extrait correspondait au texte révisé. Agent Desktop a mis le texte dans l’application et l’a révisé ; les autres contrôles ont terminé l’enregistrement et la réouverture. Pour un workflow fiable, il faudrait aussi que l’enregistrement fonctionne.

## La petite astuce : laissez votre agent tout installer

Le moyen le plus rapide d’essayer Agent Desktop est celui de la vidéo : collez ce guide dans l’agent que vous utilisez déjà, comme Codex ou Claude, et demandez-lui d’installer Agent Desktop et de le tester. Gardez un premier essai modeste et restez devant l’ordinateur pendant qu’il travaille :

1. Collez ce guide (ou son lien) dans Codex ou Claude et demandez : « Lis ce guide et la documentation officielle d’Agent Desktop vers laquelle il renvoie, installe Agent Desktop sur cette machine, et dis-moi quelles autorisations il lui faut et pourquoi avant de modifier quoi que ce soit. »
2. Laissez-le lancer la vérification d’état ou d’autorisations. Sur Mac, n’accordez l’Accessibilité qu’à l’application qui lance Agent Desktop, et l’Enregistrement de l’écran seulement si vous voulez des captures d’écran.
3. Ouvrez TextEdit avec un nouveau document jetable. Demandez à l’agent de prendre un instantané de TextEdit, de trouver la zone de texte par sa référence, d’y saisir un court paragraphe et de le relire.
4. Demandez une modification précise. Faites-lui d’abord prendre un nouvel instantané plutôt que de réutiliser d’anciennes références, qui peuvent changer quand l’application change, puis relire le résultat.
5. Demandez-lui d’enregistrer le document et observez ce qui se passe. Si l’enregistrement est bloqué, comme ici, décidez vous-même de terminer à la main ou avec un autre outil.
6. Ne le dirigez que vers des applications et des documents que vous acceptez de lui laisser modifier.

## Liens vers la documentation

Ce guide est gratuit, sans e-mail à donner. Commencez par les instructions d’installation du projet pour la version que vous installez : le dépôt Agent Desktop sur GitHub (https://github.com/vercel-labs/agent-desktop), la présentation de la documentation (https://agent-browser.dev/desktop) et le quick start (https://agent-browser.dev/desktop/quick-start).

Pour les éléments dont ce test dépendait : la page macOS couvre l’Accessibilité et l’Enregistrement de l’écran (https://agent-browser.dev/desktop/platforms/macos), Snapshots and refs explique les références des contrôles (https://agent-browser.dev/desktop/snapshots-and-refs), et Observe, act, verify décrit la boucle qui vérifie après chaque action (https://agent-browser.dev/desktop/guides/observe-act-verify). Ces pages sont en anglais.

## À retenir

Agent Desktop a permis à Codex d’écrire, de relire et de réviser un document dans TextEdit à travers les propres contrôles de l’application, sans captures d’écran. L’enregistrement a été bloqué, des contrôles d’ordinateur séparés ont donc terminé le travail, et le modèle d’IA tournait toujours là où tourne Codex. Collez ce guide dans votre agent, gardez un premier test modeste et surveillé, et voyez quelles applications il arrive vraiment à piloter.

## Ressources du guide

- [github.com](https://github.com/vercel-labs/agent-desktop)
- [agent-browser.dev](https://agent-browser.dev/desktop)
- [agent-browser.dev](https://agent-browser.dev/desktop/quick-start)
- [agent-browser.dev](https://agent-browser.dev/desktop/platforms/macos)
- [agent-browser.dev](https://agent-browser.dev/desktop/snapshots-and-refs)
- [agent-browser.dev](https://agent-browser.dev/desktop/guides/observe-act-verify)

## Chapitres

- [0:00 L’expérience du navigateur à l’appli](https://www.youtube.com/watch?v=RjMcqsRFLOw&t=0s)
- [0:38 Quel outil fait quoi ?](https://www.youtube.com/watch?v=RjMcqsRFLOw&t=38s)
- [1:00 Lire les contrôles des applis natives](https://www.youtube.com/watch?v=RjMcqsRFLOw&t=60s)
- [1:52 Installation et autorisations Mac](https://www.youtube.com/watch?v=RjMcqsRFLOw&t=112s)
- [2:26 La recherche dans le navigateur](https://www.youtube.com/watch?v=RjMcqsRFLOw&t=146s)
- [3:04 Écrire et vérifier dans TextEdit](https://www.youtube.com/watch?v=RjMcqsRFLOw&t=184s)
- [3:52 Réviser l’explication sur l’IA locale](https://www.youtube.com/watch?v=RjMcqsRFLOw&t=232s)
- [4:43 Là où l’enregistrement bloque](https://www.youtube.com/watch?v=RjMcqsRFLOw&t=283s)
- [5:13 Enregistrer et rouvrir avec des contrôles séparés](https://www.youtube.com/watch?v=RjMcqsRFLOw&t=313s)
- [5:52 Ce qui a marché et ce qu’il reste à améliorer](https://www.youtube.com/watch?v=RjMcqsRFLOw&t=352s)

## Sources et limites

Préparé le 7 novembre 2026 à partir du montage anglais approuvé de 6:41 et de sa transcription corrigée. Un seul test surveillé sur un Mac avec Agent Desktop 1.2 et Agent Browser 0.27, piloté par Codex ; les versions plus récentes et d’autres applications peuvent se comporter différemment. Agent Desktop a saisi, relu et révisé le texte ; l’enregistrement a été bloqué par ses contrôles de visibilité et de focus et terminé avec les contrôles d’ordinateur séparés de Codex. La révision a été demandée par nous, pas repérée par l’agent. Le contrôle du bureau tourne en local, mais le modèle d’IA est celui de l’agent qui l’appelle ; ce test ne rend pas l’inférence de Codex locale. Les étapes d’installation et les noms des autorisations suivent la documentation officielle, qui change d’une version à l’autre. Liens vérifiés le 7 novembre 2026.

[Vidéo originale](https://www.youtube.com/watch?v=g60HdFU8t-g)