Чат-боты на базе ИИ не умеют писать смешные шутки, выяснили исследователи Google DeepMind в ходе эксперимента. 

Эксперты попросили 20 профессиональных комиков использовать чат-боты вроде ChatGPT и Bard для написания стендапа, а затем предложили оценить результаты и поделиться своими мыслями. Эксперимент проводился на Эдинбургском фестивале Fringe в августе 2023 года и в интернете. 

Оказалось, что большие языковые модели (LLM) не могут составлять смешной текст. Стендаперы отметили, что результат получился «безвкусным», «очень плохим» и «скучным». Один из них заявил, что получил «круизный комедийный материал из 1950-х годов, но немного менее расистский».

Согласно результатам исследования, ИИ может создавать схемы и фрагменты длительных стендап-программ, но ему не хватает человечности, которая делала бы материал забавным. Люди «добавляют гораздо больше нюансов, эмоций и тонкостей благодаря своему жизненному опыту». 

ИИ не понимает, что такое сарказм, черный юмор или ирония. 

«Во многих моих вещах есть мрачные моменты, а тут он не стал мне писать мрачные вещи, потому что решил, что я хочу покончить жизнь самоубийством. Так что он просто перестал мне что-то давать», — отметил один из участников эксперимента.

Комики подчеркнули важность культурного контекста и аудитории.

«Та комедия, которую я мог бы снимать в Индии, будет сильно отличаться от той, которую я мог бы снимать в Великобритании, потому что мой социальный контекст изменится», — сказал один из них.

Юмор требует смены рамок, поэтому его трудно освоить машине, отметил исследователь Томас Уинтерс. 

LLM генерировали контент на базе всех накопленных материалов, и пытаясь охватить все возможные дисциплины, что внесло определенную долю предвзятости.

«Участники отметили, что существующие стратегии модерации, используемые в фильтрах безопасности и обучающие LLM, усиливают гегемонистские точки зрения, уничтожая группы меньшинств и их взгляды, и квалифицировали это как форму цензуры», — говорится в исследовании.

Популярные LLM ограничены, отметили эксперты Google DeepMind. Они стремятся выдавать честные, безвредные и полезные результаты. 

Напомним, ученые ИИ-подразделения Google разрабатывают технологию для создания саундтреков к видео.

Ранее специалисты из DeepMind создали виртуальную крысу с ИИ в качестве мозга.