Европарламент 13 марта принял регламент ЕС об искусственном интеллекте. Документ оказался юридическим долгостроем: в течение нескольких лет противники регулирования ИИ-отрасли обещали блокировать принятие законопроекта, однако в итоге сумели прийти к компромиссу. ForkLog попросил участников конференции Privacy Day 2024 рассказать, как европейский регламент скажется в целом на индустрии искусственного интеллекта, почему Франция и Германия выступали против и можно ли использовать этот опыт за пределами ЕС. 

Кратко

ForkLog: Почему закон подвергся критике с точки зрения развития технологий и соблюдения прав человека?

Саркис Дарбинян, киберадвокат, глава юридической практики Роскомсвободы: На выработку и согласование закона ушло много лет. И наконец 8 декабря прошлого года органы Европейского союза достигли соглашения по Закону об искусственном интеллекте после трех дней интенсивных переговоров и почти двух с половиной лет с момента первого предложения Закона об искусственном интеллекте в апреле 2021 года. Но у него все равно есть критики и с той, и с другой стороны. С точки зрения технологий закон ограничивает возможности разработки, внедрения и использования некоторых технологий, которые относятся к категории систем ИИ с высоким риском. К таким закон относит системы, которые причиняют ущерб здоровью, безопасности и основным правам человека, а также вредят окружающей среде. 

В эту категорию включили системы, оказывающие влияние на мнение избирателей в политических кампаниях, и рекомендательные алгоритмы, используемые соцсетями с более чем 45 млн пользователей, системы распознавания лиц в общественных местах в режиме реального времени, системы распознавания эмоций для использования правоохранительными органами (включая погранконтроль), а также работодателями и учебными заведениями. Отдельно в документе оговорен запрет так называемых прогностических систем полиции — механизма, который использует ИИ для анализа больших данных и выявления на их основе потенциальных преступников либо их жертв. 

Что касается нейросетей вроде ChatGPT, то созданный ими контент обязательно подлежит маркировке, а операторы сети не должны допускать в работе ИИ генерацию нелегального контента. Кроме того, закон обяжет такие сети, как Midjourney или Stable Diffusion, сообщать о материалах, которые они используют для своего обучения и повышения «насмотренности». А обладатели авторских прав на такие материалы могут подать судебный иск, если выяснят, что разработчик незаконно обучал нейросеть на основе их контента.

Правозащитники его тоже критикуют. После мучительно проведенных трилогов внезапно выяснилось, что закон будет предусматривать весьма сомнительный список исключений из общих правил запрета. В результате появились широкие критерии, дающие разработчикам возможность освободиться от обязательств по защите прав человека, подтверждая, что Закон об искусственном интеллекте ставит интересы индустрии выше фундаментальных прав человека на приватность. 

Например, появились исключительные случаи, в которых допускается использование технологий распознавания лиц в правоохранительной деятельности и в миграционном контексте, что демонстрирует двухуровневый подход к основным правам, согласно которому мигранты и уже маргинализированные люди считаются менее достойными защиты. 

ForkLog: Какие положения из него могут перейти в законодательства России, Украины, Армении, Казахстана и других стран?

Саркис Дарбинян: Казалось, что самые спорные положения касательно биометрической идентификации в общественных местах были согласованы в результате весьма серьезной работы коалиции правозащитных организаций Европы и США, однако внесенные в последнюю минуту изменения в закон перечеркивают все то, о чем так долго договаривались. Они предусматривает постраспознавание, то есть использование технологии распознавания лиц не в режиме реального времени, а по ранее записанным видеоматериалам без решения суда. Правозащитники, которые работали над текстом, полагают, что это положение представляет собой насмешку над ранее озвученными заявлениями Еврокомиссии и Европарламента, что распознавание лиц будет подлежать строгим гарантиям и разрешено только в некоторых узких, исключительных обстоятельствах и лишь по решению суда. 

Видимо, эти положения скопирует российский законодатель, если будет принимать собственный закон об ИИ. Пока же в России технология распознавания лиц развивается в абсолютно сером поле. Там не то что решения суда для этого не требуется, там даже нет элементарного надзора за использованием технологии уполномоченным органом. Да и уполномоченный орган, не обладая никакой независимостью, вряд ли что-то может и будет делать. 

Представить, что Роскомнадзор идет с проверкой и штрафами в МВД или ДИТ Москвы, чтобы посмотреть, как там устроена работа по биометрической идентификации граждан, невозможно. В российском, казахстанском, армянском законодательстве вообще нет никаких требований ни к референсному изображению, ни к основаниям и порядку использования технологий. Ну и, конечно, полностью отсутствует хоть какие-либо правовые гарантии для граждан. 

Даже со всей критикой окончательного текста такой широкий список запретов использования в государственных и корпоративных целях вряд ли будет принят в России или Казахстане. Скорее всего, там будет более «китайский» путь — когда по сути разрешается все и для всех, но обязательно депонирование алгоритмов, чтобы государство контролировало любое создание и внедрение технологий на базе ИИ. 

Подробно

ForkLog: С регламентом Евросоюза об искусственном интеллекте связано множество страхов и мифов. Противники закона в качестве примера приводят рейтинг «опасности ИИ», который разработали создатели документа. Можете рассказать, что это за классификация угроз?

Александр Тюльканов, ассоциированный исследователь Центра международных исследований интеллектуальной собственности в Страсбурге: Да, это распространенное заблуждение. Этот миф начался с того, что Европейская комиссия в 2021 году не лучшим образом представила категории правовых режимов из первой версии регламента. В презентации была показана «пирамида рисков», которой на самом деле в документе нет, а есть разные категории, под которые может подпадать одна и та же система искусственного интеллекта. 

В окончательной версии регламента ключевое значение имеют две базовые категории: модели искусственного интеллекта и системы искусственного интеллекта. Их авторы документа предлагают рассматривать отдельно. 

Системы — это то, что ближе к конечному продукту, из которого можно извлекать пользу. Но система, как правило, работает на основе какой-то модели. Вот есть большая языковая модель GPT-4. В терминах регламента это модель искусственного интеллекта. И для ее разработчиков может быть предусмотрен ряд обязательств, но только в том случае, если их проект превосходит определенный порог способностей, который определяет Европейская комиссия и профильные органы. В каждом случае будет индивидуальный подход. Многие в этом контексте упоминают различные цифры: флопсы и прочее. Но это не главное. Самое важное, что в каждом конкретном случае будет проведена оценка так называемых системных рисков. 

Главный вопрос при этой оценке, насколько высокие риски способна та или иная модель создавать в значимых областях. Если по результатам анализа выяснится, что модель таким потенциалом обладает, она может быть классифицирована как модель с системным риском. 

Предполагается, что таких моделей немного, если они вообще существуют. И, скорее всего, это какие-то лидирующие продукты американских разработчиков: OpenAI или Anthropic. В последнее время мы еще слышим про французский Mistral. Вот эти топовые модели, вероятно, могут быть признаны как несущие системные риски, но и то не факт. 

Даже в случае признания ИИ-разработки как высокорисковой требования раскрыть о ней определенную информацию касаются лишь тех сведений, которые не нарушают интересов разработчиков. То есть не стоит задача разгласить коммерческие тайны и лишить разработчиков конкурентных преимуществ. Речь идет о необходимом минимуме информации по поводу того, например, на каких данных модель обучалась.

ForkLog: С моделями вроде понятно, а что подразумевается под системами?

Александр Тюльканов: С системами искусственного интеллекта все достаточно просто. Большинство присутствующих на рынке систем, то есть готовых продуктов искусственного интеллекта, не будут подпадать под действие регламента. Тот же ChatGPT никак не регулируется, потому что производитель не предполагает его использование в каких-либо высокорисковых задачах. Это не значит, что кто-то не может злонамеренно или по ошибке использовать его для таких целей, но в OpenAI никогда и не заявляли, что их продукт предназначен для диагностики заболеваний или принятий решений по судебным процессам. Однако такие системы вполне могут использоваться в высокорисковых задачах. Но поскольку это не заявляется разработчиком, подобные инструменты никак не регулируются. 

ForkLog: Как вообще европейские законодатели собираются определять, что представляет высокие риски, а что низкие?

Александр Тюльканов: Существует перечень областей деятельности, которые в Евросоюзе и не только подпадают под особое регулирование. Например, медицина. По поводу медицинских изделий в каждой стране существует секторальное законодательство, обязывающее проводить клинические испытания перед тем, как медицинское изделие будет введено в оборот. Аналогичные требования предполагает и европейский регламент в области искусственного интеллекта: разработчикам необходимо предоставить  техническую документацию, соответствующую определенным стандартам какой-либо отрасли. Если существующие требования секторального законодательства уже детально регламентируют разработку и эксплуатацию конкретного типа ИИ-систем, какой-то ощутимой дополнительной регуляторной нагрузки регламент не создает.

Но есть ряд случаев, в которых существуют пробелы, о которых говорится в приложении третьем к регламенту по искусственному интеллекту. Допустим, на предприятии применяется система оценки персонала на рабочем месте или, например, в образовательном процессе используется система, которая оценивает результаты студентов. И от использования этой системы зависит, будет ли уволен сотрудник или отчислен учащийся. Возможные последствия для людей здесь очевидно существенные. Вот это и считается системой повышенной опасности. Если система некачественная, результаты ее использования могут быть катастрофическими для конкретного человека, который останется без работы или образования. 

Эти потенциальные проблемы учтены как раз в третьем приложении: если ИИ потенциально может принести вред, то для разработчиков системы и ее эксплуатантов, устанавливается уже ряд требований. Повторюсь: под регулирование подпадает не только система, но и лица, которые имеют отношение к ее созданию и эксплуатации. 

ForkLog: Что это за требования?

Александр Тюльканов: Они те же самые, что и в традиционном риск-менеджменте и системах контроля качества, которые применяют на любом крупном предприятии. Но с поправкой на специфику ИИ. Естественно, проекты, работающие с искусственным интеллектом, должны отвечать тем же требованиям, которые установлены для защиты потребителей по отношению к любым другим продуктам. Стандарты не так сложно соблюдать. Однако есть чувствительные отрасли, от прозрачности работы которых напрямую зависит их безопасность для общества. 

В случае ИИ наиболее очевидный пример —  системы, которые генерируют дипфейки или непосредственно взаимодействуют с человеком — например, звонят ему по телефону. С точки зрения элементарной этики человеку важно знать, когда он разговаривает с роботом. В подобных случаях регламент требует раскрывать соответствующую информацию. То же касается, например, систем, используемых для анализа эмоций или категоризации по биометрическим признакам: человек должен быть предупрежден о том, что искусственный интеллект собирает подобные данные. 

ForkLog: В дискуссиях о сборе данных часто встает вопрос о том, кто является субъектом авторского права — ведь датасеты формируются по любой доступной информации и в теории любой может претендовать на роялти. Эта проблема как-то прописана в регламенте?

Александр Тюльканов: В этом вопросе документ описывает требования к прозрачности происхождения датасетов. Есть перечь, в общих чертах обозначающий, что должно быть проверено и какие сведения должны быть потом разработчиком раскрыты, в том числе для соблюдения законодательства об интеллектуальной собственности. Речь не идет о том, чтобы регламент исчерпывающе отвечал на этот вопрос: в ближайшие годы будут выходить дополнительные рекомендации, в том числе о том, какой должна быть степень раскрытия информации о составе и происхождении датасета.

При этом документ не определяет, каким конкретно образом можно собирать данные — это предмет регулирования другого законодательства. В частности, существует общий регламент по защите персональных данных в Европе — GDPR. Нет необходимости дублировать его или директивы о защите авторских прав — регламент просто указывает, в какой степени нужно раскрыть информацию о том, насколько разработчик соблюдает уже действующее законодательство. 

Важно напомнить, что к научным исследованиям и к сбору данных в коммерческих целях применяются разные требования. Во втором случае уполномоченные органы могут провести проверку, если поступила жалоба на нарушение авторских прав при создании продукта и попросить предоставить доказательства того, что при формировании обучающего датасета было учтено волеизъявление правообладателя.

ForkLog: Регламент на стадии разработки подвергся критике и «справа», и «слева». Президент Франции Эммануэль Макрон заявлял, что чрезмерное регулирование может повредить развитию отрасли искусственного интеллекта в Европейском союзе. Другие утверждают, что документ и вовсе ничего не регламентирует и большие корпорации всегда смогут уйти из-под его действия, просто используя новые юридические лица и делегируя собственные исследования подставным стартапам. Что вы можете сказать по поводу этих двух векторов критики?

Александр Тюльканов: Эти аргументы я не нахожу достаточно обоснованными, но мне они понятны. Распространено мнение, что документ недостаточно все регулирует, а третье приложение следует расширять, поскольку в нем не учтены все потенциальные опасности для общества. Критики также требуют создать перечень запрещенных ИИ-продуктов, которые несовместимы с фундаментальными ценностями Евросоюза. В этом контексте очень много говорилось про системы биометрической идентификации в реальном времени, которые можно использовать, например, против участников акций гражданского протеста. Естественно, подобные опасения всегда будут. 

Люди боятся оказаться в той же ситуации, что и люди в юрисдикциях, где с правами человека все не так гладко. У органов национальной безопасности другой взгляд на эти вещи. Им бы хотелось по максимуму использовать все эти технологии. Правоохранителей тоже можно понять, но если их вовремя не ограничить, то государственный карательный аппарат, который существует в любой стране, может перейти к очень серьезному вторжению в частную сферу жизни, нарушая фундаментальные права граждан. 

Здесь же следует упомянуть, что в окончательной версии регламента появилось множество оговорок, которые позволяют все же не считать опасной систему, формально подпадающую под критерии повышенной опасности. Например, если она будет использоваться не для оценки эффективности персонала, а для того, чтобы проверить, насколько адекватно эту оценку провел менеджер. Искусственный интеллект в этом случае не сам оценивает людей, а помогает человеку проверить сделанную последним оценку. Это вызывает протесты: критики полагают, что если что-то потенциально опасно, то оно должно быть полностью запрещено. 

Также понятно, почему правительства Франции и Германии выступали против слишком жесткого регулирования, опасаясь, что европейские проекты лишатся возможности конкурировать с американскими. Во Франции есть компания Mistral, продукция которой по некоторым параметрам сопоставима с моделями от OpenAI, в Германии хорошие результаты показывает Aleph Alpha. А вот почему протестовала Италия уже непонятно, у них компаний подобного уровня нет. Что не помешало итальянцам выступать с опасениями, будто регулирование навредит их разработчикам. Поэтому не совсем очевидно, как на самом деле обсуждалась эта проблематика за закрытыми дверями, о чем именно достигались компромиссы и почему власти некоторых стран периодически выступали со странными аргументами. Но главное, что в итоге альянс Германии, Италии и Франции, который мог блокировать проект, не сложился, и эти страны поддержали компромиссный вариант документа, принятый единогласно.

ForkLog: Обсуждается ли создание аналогичных регламентов в других юрисдикциях и вообще есть ли в этом необходимость? 

Александр Тюльканов: Подобная инициатива есть в Кыргызстане, и я был как раз вовлечен в процесс работы над новым проектом закона, а точнее Цифрового кодекса. Для начала его авторы решили кодифицировать уже существующее регулирование, допустим, в области персональных данных и других аспектов цифровой экономики. Затем отдельными главами вносится что-то новое, чего раньше в местном регулировании не было, в том числе по поводу искусственного интеллекта. 

Я как участник этого процесса, отвечающий за главу про ИИ, могу сказать, что опирался на регламент Европейского союза по искусственному интеллекту как документ с наиболее комплексным, четким и последовательным подходом к регулированию разработки и применения систем искусственного интеллекта там, где это необходимо. 

Повторюсь, никто и нигде не предлагает регулировать отрасль в целом. Это бессмысленно. Ее нужно регулировать только в тех областях, в которых это потенциально важно для безопасности, для критической инфраструктуры любого государства и соблюдения прав граждан. Мы с коллегами предложили для регулирования в Кыргызстане применять базовые принципы, которые изложены не только регламенте ЕС, но и в рекомендациях ОЭСР. 

Мы также постарались учитывать нюансы, которые есть в конкретной юрисдикции. Кыргызстан — это маленький рынок. И очевидно, что некоторые бюрократические процессы, которые легко представимы в рамках Европейского союза, невозможно осилить в небольшой юрисдикции. Там они просто не несут позитивного смысла. 

Поэтому мы в Кыргызстане, по сути, создали упрощенную версию регулирования, основанную на тех же принципах, но адаптированную для конкретной страны с учетом гораздо меньшего объема рынка и  меньшими бюрократическими ресурсами. Хочу подчеркнуть: когда я говорю о бюрократии, я в данном случае не говорю о ней как о чем-то негативном. В любом правовом государстве права, обязанности и полномочия должны быть четко распределены рынком и регуляторами таким образом, чтобы работала система сдержек и противовесов. Чтобы каждый из акторов в этой системе не мог действовать в ущерб интересам других. Чтобы государство не брало на себя слишком много, а компании не нарушали прав граждан. Есть масса исследований, которые показывают, что компании принимают этические обязательства и потом их не соблюдают, пока государство реально не заинтересуется этой проблемой. 

С моей точки зрения, полагаться на какие-то кодексы этики, необязательные к исполнению, опрометчиво, особенно в таких юрисдикциях, как, например, Российская Федерация. Граждане любой страны все-таки ожидают, что государство будет их защищать. И крайне нелогично, что, допустим, медицинские изделия регламентируются, а системы ИИ повышенной опасности, например, влияющие на критическую инфраструктуру, — нет. Этого быть не должно, необходима система сдержек и противовесов. 

Хотя в России, пожалуй, другая проблема. Системы искусственного интеллекта уже активно используются правоохранителями. Поскольку никакого регулирования нет, никто не может связать им руки и ограничить возможности злоупотребления. И это никому не на пользу.