Microsoft научила ИИ-ассистента Copilot понимать контекстную информацию с экрана компьютера во время серфинга в интернете. 

Когда пользователь включает Copilot Vision, нейросеть видит веб-страницу, понимает текст и изображения. Далее искусственному интеллекту можно задавать вопросы о посещаемых сайтах с помощью Microsoft Edge. Например, открыв блюдо на экране, можно узнать у ИИ его рецепт.

Среди других функций Copilot Vision:

• перевод и предоставление краткой выжимки текста;
• выполнение разных задач вроде демонстрации товаров со скидкой в каталоге магазина;
• помощь в играх, таких как шахматы.

«Это новый способ пригласить искусственный интеллект вместе с вами перемещаться по интернету, аккуратно разместив его в нижней части браузера Edge, когда понадобится помощь», — отметили в Microsoft.

Корпорация обещает удаление пользовательских данных после каждого сеанса. Полученная ИИ информация не используется для обучения. 

Напомним, в октябре Microsoft представила обновленную версию ИИ-помощника Copilot с голосовым режимом и пониманием изображения на экране.