Компания Anthropic анонсировала выпуск модели Claude 3.5 Sonnet, которая способна имитировать действия пользователя на ПК. Новая версия позволяет автоматизировать задачи, такие как управление приложениями, ввод текста и клики мышью, через API Computer Use. Claude видит экран пользователя и на основе этого перемещает курсор, подсчитывая расстояние до нужного элемента.
Компания акцентировала внимание на безопасности: разработчики могут ограничить доступ Claude к определенным функциям, а все снимки экрана хранятся в течение 30 дней для анализа. Технология уже используется в графическом дизайне, проектном менеджменте и программировании. Тем не менее, модель еще испытывает сложности с базовыми задачами, такими как прокрутка и масштабирование. В будущем Anthropic планирует интегрировать эту технологию в потребительские продукты.