Prueba de Agent Desktop: Codex escribió y revisó un documento de TextEdit, y luego se atascó al guardar

La respuesta corta

Agent Desktop permite que un agente de IA use las aplicaciones de tu ordenador leyendo sus controles y actuando sobre ellos, en lugar de trabajar solo a partir de capturas de pantalla. En esta prueba, Codex investigó un tema en el navegador y luego usó Agent Desktop para meter un informe en TextEdit, releerlo, aplicar una revisión que le pedimos y volver a leer el texto revisado. Todo eso pasó por los propios controles de TextEdit.

Donde se atascó fue al guardar. Agent Desktop podía leer la hoja de guardado, pero sus comprobaciones le impidieron terminar, así que Codex pasó a sus controles de ordenador aparte para guardar, cerrar y volver a abrir el documento. El archivo reabierto tenía el texto revisado. Así que es un resultado prometedor para escribir y editar dentro de una app nativa, no un flujo de trabajo autónomo que Agent Desktop completara por sí solo.

Qué hizo cada herramienta

Agent Desktop es de Vercel Labs. Se lo das a un agente que ya usas; no tiene su propio modelo de IA. Aquí, Codex decidía qué hacer y redactaba el texto, Agent Browser leía las webs en una sesión de navegador aparte y Agent Desktop trabajaba en TextEdit. Es un solo asistente haciendo el trabajo, que llama a herramientas distintas para el navegador y para el escritorio.

La prueba usó Agent Desktop 1.2 y Agent Browser 0.27, ambos manejados por Codex en un Mac. Las versiones más nuevas pueden comportarse de otra manera, así que revisa la documentación de la versión que instales.

Cómo lee los controles de una app

Agent Desktop usa la información de accesibilidad del sistema operativo: qué es un campo de texto, qué contiene, cómo se llama un botón y qué acciones hay disponibles. Pone todo eso en una instantánea con una referencia para cada control, de modo que el agente puede elegir el campo de texto que necesita sin tener que encontrarlo en una captura de pantalla.

Eso solo funciona tan bien como la información de accesibilidad de la app. Muchas apps no le dedican mucho esfuerzo, aunque los agentes dan a los desarrolladores un nuevo motivo para hacerlo. Y leer un control no es lo mismo que poder usarlo: en esta prueba veía el botón Guardar, pero no conseguía pulsarlo.

Instalación y permisos en Mac

Codex instaló Agent Desktop 1.2 en una carpeta de proyecto local y leyó las instrucciones incluidas con esa versión. Su comprobación de estado indicó que Accesibilidad y Grabación de pantalla ya estaban concedidos a Codex.

En Mac, el acceso de Accesibilidad pertenece a la aplicación que lanza Agent Desktop (tu terminal, tu editor o la app de tu agente), y por eso aquí funcionaba para Codex. Grabación de pantalla es un permiso aparte, necesario solo para las capturas. Instalar Agent Desktop no le da por sí solo el control de tus apps: no pasa nada hasta que concedes esos permisos y un agente lo llama. La página de macOS de la documentación oficial explica cómo comprobarlos y concederlos.

La prueba: de la investigación en el navegador a TextEdit

Codex usó Agent Browser para abrir la documentación oficial e investigar cómo funciona el control del escritorio, cómo encaja con la automatización del navegador y dónde se ejecuta el modelo de IA, con un enlace a la fuente para cada hallazgo, para que cualquiera que abriera el documento final pudiera comprobarlo.

Después, Codex usó Agent Desktop para apuntar al área de texto editable de TextEdit, fijar su contenido y volver a leerlo desde la app. El texto entró a través de los controles de TextEdit; no era un archivo generado en segundo plano y abierto después. Escribir directamente un archivo de texto habría sido más fácil para un documento así, pero la idea era ver si el agente podía trabajar a través de la propia aplicación.

La revisión: control local no es inferencia local

La primera versión decía que Agent Desktop se ejecuta en local. Es cierto, pero no lo bastante preciso: sigue necesitando un modelo de IA y, a menos que ejecutes ese modelo en tu propia máquina, el conjunto no es totalmente local. Codex, por ejemplo, no se ejecutaba en local aquí. Así que pedimos que lo dejara más claro.

El párrafo revisado explica que Agent Desktop no contiene ningún modelo, que el modelo pertenece al agente que lo llama y que el control local del escritorio no significa automáticamente inferencia local. Agent Desktop sustituyó el texto en TextEdit y releyó la versión revisada. Le dijimos nosotros qué cambiar, así que no detectó el problema por sí mismo, pero hizo el cambio dentro de la app y comprobó el texto que realmente había.

Dónde se atascó el guardado y qué terminó el trabajo

Agent Desktop podía leer la hoja de guardado nativa de TextEdit, incluidos el nombre del archivo y el botón Guardar, pero sus comprobaciones de visibilidad y foco le impidieron terminar. Ya le había costado identificar la ventana de TextEdit; reiniciar la app vacía con los controles de ordenador aparte de Codex le ayudó a llegar a la fase de escritura, pero no arregló el guardado. Codex también probó una compilación sin modificar del código fuente más reciente del proyecto, y el guardado seguía sin funcionar.

Entonces Codex usó su herramienta aparte de control del ordenador para elegir la carpeta, guardar el documento, cerrarlo y volver a abrirlo. El archivo reabierto tenía el párrafo revisado, y el texto extraído coincidía con el texto revisado. Agent Desktop metió el texto en la app y lo revisó; los otros controles completaron el guardado y la reapertura. Para un flujo de trabajo fiable, querrías que el guardado también funcionara.

El pequeño truco: deja que tu agente lo configure

La forma más rápida de probar Agent Desktop es la del vídeo: pega esta guía en el agente que ya usas, como Codex o Claude, y pídele que configure Agent Desktop y lo pruebe. Haz que la primera prueba sea pequeña y quédate delante del ordenador mientras trabaja:

1. Pega esta guía (o su enlace) en Codex o Claude y pídele: «Lee esta guía y la documentación oficial de Agent Desktop que enlaza, instala Agent Desktop en este equipo y dime qué permisos necesita y por qué antes de cambiar nada».
2. Deja que ejecute la comprobación de estado o de permisos. En Mac, concede Accesibilidad solo a la app que lanza Agent Desktop, y Grabación de pantalla solo si quieres capturas.
3. Abre TextEdit con un documento nuevo y desechable. Pide al agente que haga una instantánea de TextEdit, encuentre el área de texto por su referencia, escriba un párrafo corto y lo vuelva a leer.
4. Pide un cambio concreto. Haz que primero tome una instantánea nueva en lugar de reutilizar referencias antiguas, que pueden cambiar cuando cambia la app, y luego que relea el resultado.
5. Pídele que guarde el documento y mira qué pasa. Si el guardado se bloquea, como aquí, decide tú si terminarlo a mano o con otra herramienta.
6. Úsalo solo con apps y documentos que no te importe que toque.

Enlaces a la documentación

Esta guía es gratuita y no pide email. Empieza por las instrucciones de instalación del propio proyecto para la versión que instales: el repositorio de Agent Desktop en GitHub (https://github.com/vercel-labs/agent-desktop), la introducción de la documentación (https://agent-browser.dev/desktop) y el quick start (https://agent-browser.dev/desktop/quick-start).

Para las partes de las que dependía esta prueba: la página de macOS trata Accesibilidad y Grabación de pantalla (https://agent-browser.dev/desktop/platforms/macos), Snapshots and refs explica las referencias de los controles (https://agent-browser.dev/desktop/snapshots-and-refs) y Observe, act, verify describe el ciclo de comprobar después de cada acción (https://agent-browser.dev/desktop/guides/observe-act-verify). Estas páginas están en inglés.

Conclusión

Agent Desktop permitió a Codex escribir, releer y revisar un documento dentro de TextEdit a través de los propios controles de la app, sin capturas de pantalla. El guardado se bloqueó, así que unos controles de ordenador aparte terminaron el trabajo, y el modelo de IA seguía ejecutándose donde se ejecuta Codex. Pega esta guía en tu agente, haz una primera prueba pequeña y vigilada, y comprueba qué apps consigue manejar de verdad.