IA controla seu computador sem tirar print: lê o que o sistema diz, não o que aparece na tela
Vercel Labs abriu o código de uma ferramenta que dá a qualquer agente de IA o poder de mexer em apps nativos, sem GPU, sem screenshot e sem botar o cursor na sua frente.
A Vercel Labs liberou o agent-desktop, uma ferramenta de código aberto sob licença Apache-2.0 que permite a agentes de IA controlar aplicativos em macOS, Windows e Linux. Em vez de capturar telas, ela lê a árvore de acessibilidade do sistema operacional e devolve um mapa em JSON com referências estáveis para cada elemento acionável, dispensando modelos de visão.
A versão 1.0.2 foi publicada em 30 de outubro e roda em processador comum, sem necessidade de placa de vídeo. De acordo com os números divulgados pelo desenvolvedor, a ferramenta reduziu de 78% a 96% o consumo de tokens em aplicativos densos como Slack e VS Code, mas os dados são autodeclarados e ainda não passaram por benchmark independente.