Microsoft обновляет Windows 11: вы можете управлять компьютером голосом благодаря ИИ

Новые обновления Windows привносят интересные улучшения в стратегию американской компании в области искусственного интеллекта.

«Каждый компьютер с Windows 11 будет компьютером с искусственным интеллектом». Этим заявлением Microsoft ясно дала понять, что будущее её компьютеров и операционной системы, независимо от обстоятельств, будет определяться искусственным интеллектом. Редмондская компания анонсировала новую волну обновлений, которые ставят её помощника Copilot в центр всего, особенно голосового взаимодействия.

Одной из новых функций станет использование Copilot Voice. На всех компьютерах с Windows 11, где Copilot активен, пользователи смогут использовать новую фразу активации « Hey Copilot», чтобы попросить помощника выполнить любое действие с помощью голоса. Microsoft утверждает, что пользователи, использующие голосовые команды, взаимодействуют с Copilot вдвое чаще, чем те, кто использует текст, поэтому компания хочет использовать эту технологию.

Со своей стороны, компания объявила, что её помощник по просмотру экрана Copilot Vision для Windows теперь доступен по всему миру. Эта функция позволяет вам предоставлять общий доступ к рабочему столу или приложениям, чтобы Copilot мог анализировать содержимое, предлагать идеи или отвечать на вопросы во время работы. В Word, Excel и PowerPoint он может анализировать целые документы, а не только то, что отображается на экране. Например, вы можете просматривать всю презентацию целиком, не просматривая каждый слайд.

Кроме того, эта функция, которая ранее была доступна только с помощью голоса, теперь будет доступна и с помощью текста, что позволит Copilot Vision реагировать на письменные подсказки.

Microsoft также анонсировала новые функции для своих коннекторов для Windows 11, обеспечивающие лучшую совместимость между платформами. Коннекторы Copilot позволяют подключать такие сервисы, как OneDrive, Outlook и даже Google Drive, Gmail и Google Calendar, чтобы вы могли попросить помощника найти информацию о визите к стоматологу или курсовой работе пятилетней давности.

Благодаря партнёрству Microsoft и китайского стартапа Manus, Windows 11 также предоставит доступ к этой мощной платформе агентного ИИ. Manus может выполнять сложные задачи, например, создавать веб-сайты из локальных документов одним щелчком мыши. Сервис также доступен в виде нативного приложения: просто введите «использовать мои изображения для создания профессионального веб-сайта», и Manus сделает это за считанные минуты, без необходимости вручную загружать файлы.

Делая шаг навстречу новой эре агентов искусственного интеллекта, в мае компания Microsoft анонсировала Copilot Actions для веба — функцию, которая теперь будет интегрирована в Windows 11 и позволит Copilot выполнять реальные действия от имени пользователя, например бронировать столик или заказывать еду.

Microsoft начинает тестирование агентов, способных выполнять действия на ПК, такие как сортировка файлов, извлечение данных из PDF-файлов или создание веб-сайта из локальных документов. Это знаменует начало концепции «автономных агентов» в экосистеме Windows. Компания также гарантирует, что все действия обратимы, требуют разрешения пользователя и могут быть проверены.

Новая функция по сравнению с функциями Copilot, анонсированными в мае, заключается в том, что ассистент теперь позволяет работать непосредственно на компьютере, а не только в браузере. Он может нажимать на кнопки, вводить текст и управлять локальными приложениями, как человек, выполняя автономные задачи.

На данный момент это тестовая версия, которую можно сначала использовать в программе Windows Insiders (Copilot Labs) . В связи с появлением новых угроз безопасности, таких как перекрестное внедрение текста, Microsoft вводит новые меры конфиденциальности. Реализация основана на нескольких элементах управления безопасностью, таких как контроль пользователя для включения функции, и изолированное рабочее пространство агента, предоставляющее ограниченную среду для действий ИИ. Эти меры направлены на информирование пользователя и контроль над ситуацией, одновременно расширяя возможности ИИ в Windows.

С прекращением поддержки Windows 10 переход на Windows 11 становится практически обязательным для тысяч пользователей, и Microsoft хочет, чтобы все эти клиенты в полной мере приняли использование искусственного интеллекта.