Китайская система надзора — страшилка для СМИ, технологическая революция или мрачная антиутопия, которая ждет весь мир? В этом решил разобраться американский журналист Джеффри Кейн. Он отправился прямиком в Синьцзян — регион, с одной стороны, печально известный «санаториями» для уйгуров, а с другой — ставший китайской столицей в области исследований искусственного интеллекта. По итогам поездки Кейн написал книгу «Государство строгого режима», перевод которой вышел в издательстве Individuum. Публикуем с незначительными сокращениями главу «Глубинная нейронная сеть».
В работе с иностранными партнерами китайские корпорации, поддерживаемые государством, практиковали то, что в бизнесе называется «принудительной передачей интеллектуальной собственности». Чтобы выйти на закрытый рынок Китая, иностранным компаниям обычно приходилось договариваться с китайскими партнерами. Одно из неформальных требований заключалось в передаче китайским компаниям так называемых чувствительных технологий — полупроводников, медицинской аппаратуры и нефтегазового оборудования.
По правилам Всемирной торговой организации такое требование является незаконным, однако американские компании хоть и неохотно, но все же раскрывали свои коммерческие тайны в надежде получить доступ к 1,4 млрд потенциальных клиентов в Китае.
Когда Китай начал накапливать данные о своих гражданах, собирая информацию об использовании приложений и сервисов, подобных WeChat, перспектива стать лидерами в расширяющейся и прибыльной индустрии искусственного интеллекта привлекла многие зарождающиеся местные высокотехнологичные компании. Китайские исследователи в области ИИ, которых становилось все больше, внимательно следили за открытиями, которые совершались в США, мировом лидере отрасли. Китайские компании надеялись раскрыть тайны искусственного интеллекта, разыскивая талантливых разработчиков-китайцев, учившихся за границей и работавших в Microsoft и Amazon, и заманивая их на родину высокими зарплатами и призывами к патриотизму. К началу 2010-х годов китайские программисты вплотную приблизились к созданию глубинной нейронной сети — святого Грааля надзорного государства; системы, способной обучаться и находить закономерности между миллионами изображений и точек данных.
В течение многих лет исследователи в области ИИ полагались на так называемую «основанную на правилах» систему программирования. Они закладывали в компьютер программу для распознавания кошки, сообщая ему: «Ищи окружность с двумя треугольниками сверху». Такой подход был оправдан, поскольку на большее у компьютеров не хватало вычислительной мощности. Однако он также и ограничивал возможности ИИ: не все изображения кошек представляют собой идеальную окружность с двумя треугольниками сверху, и не все окружности с треугольниками сверху являются кошками.
Более современная технология — глубинная нейронная сеть — обладала целым рядом преимуществ. У операторов больше не было необходимости выполнять монотонную и трудоемкую работу по ручной категоризации изображений и данных, а затем писать правила для системы искусственного интеллекта. Вместо этого программное обеспечение научилось самостоятельно соединять разрозненные данные, просматривая огромный объем информации, а затем обучаться на основе этих данных. Впоследствии программа могла совершенствовать алгоритм выполнения задачи, для решения которой ее и создавали. Чем меньше операторов контролировало и ограничивало программное обеспечение, тем больше вариантов применения ИИ появлялось у компаний. Глубинные нейронные сети научились управлять беспилотными автомобилями, помогать врачам ставить диагнозы, а также выявлять мошенничество с кредитными картами.
До 2012 года идея о том, что глубинная нейронная сеть способна оказать влияние на рынок, считалась вздором. Как бы ни старались программисты из Microsoft Research Asia и новых возникающих компаний, их труды ни к чему не приводили. В 2012 году разработчики в области ИИ в Китае и Кремниевой долине говорили мне, что создание нейронной сети станет золотой жилой для Microsoft. В мае 2011 года Microsoft приобрела Skype, популярную во всем мире программу для звонков и видеоконференций, совершив крупнейшую на тот момент сделку в отрасли. Если бы Skype или Microsoft Windows умели распознавать голос и лица, это стало бы прорывом. Была бы заложена основа для функции перевода в реальном времени и систем кибербезопасности, опирающихся на технологию распознавания лиц.
В 2011 году в Пекине я познакомился с группой молодых китайских исследователей, вкалывающих до потери пульса и без выходных в попытках разрешить целый комплекс терзающих их вопросов. Главные из них звучали так: «Как компьютерная система может научиться „видеть“ и „воспринимать“ человека? Как она может услышать и узнать его голос? Может ли ИИ научиться говорить?»
«Сейчас подходящий момент, — говорил мне один из них за ужином после работы. — Интернет и социальные сети могут служить источниками данных, с которыми будет работать ИИ. Мы можем собирать информацию о кликах в интернете, покупках и предпочтениях людей».
По его словам, в 2005 году к интернету было подключено менее 10% населения Китая, но они быстро стали активнейшими пользователями социальных сетей, мобильных приложений и мобильных платежей в мире. В 2011 году своим собственным интернет-подключением обзавелось почти 40% населения, или около 513 млн человек. Все эти пользователи оставляли информацию о своих покупках и действиях в интернете, которую можно было использовать, чтобы научить нейронные сети решать множество задач, включая и слежку за пользователями.
В том же 2011 году двое младших научных сотрудников, работавших с известным исследователем в области ИИ Джеффри Хинтоном, профессором информатики Университета Торонто и сотрудником Google, совершили важное открытие в области аппаратного обеспечения. Исследователи поняли, что могут использовать графические процессоры (GPU) — устройства, улучшающие графику в компьютерных играх, — чтобы повысить скорость обработки данных глубинной нейронной сетью. Разработчики в области ИИ могли использовать характерные для GPU методы отображения форм и изображений на экране и обучать нейронную сеть поиску закономерностей.
Ранее создание нейронной сети стоило непомерно дорого. Но стоимость ключевого оборудования, на котором работает программное обеспечение, снизилась благодаря догадке с графическими процессорами. В течение многих лет они становились все дешевле и дешевле, даже несмотря на увеличение их памяти и вычислительной мощности.
С усовершенствованием аппаратного обеспечения и ростом числа массивов данных настало идеальное время для создания глубинной нейронной сети, которая обрабатывала бы эти данные.
Методом проб и ошибок команда Microsoft под руководством доктора Сунь Цзяня нашла решение: увеличить число «слоев» в нейронной сети, что позволило бы системе искусственного интеллекта постоянно обновлять свои знания и обучаться на проходящей через нее информации. Слои нейронной сети похожи на скопления нейронов, которые получают данные, обрабатывают их, а затем передают на следующие слои для дальнейшей обработки — так ИИ узнает все больше об анализируемом предмете.
В теории, чем больше слоев, тем лучше мыслит машина. На практике все оказалось сложнее. Одна из проблем заключалась в том, что после прохождения каждого слоя сигналы пропадали, что мешало исследователям Microsoft обучать систему.
В 2012 году распознавать изображения удалось обучить систему с восемью нейронными слоями. К 2014 году — с тридцатью. Увеличив число слоев, команда исследователей совершила прорыв в том, что касается способности компьютера распознавать объекты на видео и изображениях. «Мы даже не верили, что эта одна-единственная идея может оказаться настолько важной», — говорил доктор Сунь.
Китайская технологическая экосистема начала привлекать внимание венчурных капиталистов, которые стали менее сосредоточены на традиционных финансовых и технологических центрах в Кремниевой долине и Нью-Йорке. Они стремились безотлагательно начать работу в двух отраслях, где таился огромный потенциал для надзорной экосистемы: в технологиях распознавания лиц и распознавания речи.
Первая крупная инвестиция пришла в технологию распознавания лиц.
В 2013 году созданная Кай-Фу Ли венчурная фирма Sinovation Ventures, специализирующаяся на ИИ, поддержала развивающуюся платформу распознавания лиц Megvii (Mega Vision). Сумма инвестиций не раскрывалась. Затем SenseTime (конкурент Megvii, основанный в Гонконге в 2014 году) выпустила первый алгоритм, способный при определенных условиях идентифицировать людей с точностью, превышающей возможности человеческого глаза, и заявила, что превзошла показатели Facebook, — это стало вехой в индустрии ИИ.
По признанию Ян Фаня, руководителя отдела разработки SenseTime и бывшего сотрудника Microsoft, приложения «общественной безопасности» оказались прибыльным рынком.
«Существует высокий, конкурентный спрос, обусловленный системами „умного“ города и видеонаблюдения», — говорил он в интервью Forbes Asia.
Но программному обеспечению для распознавания лиц нужны были самые современные полупроводники. Откуда им было взяться?
SenseTime и другие китайские компании, занимающиеся вопросами искусственного интеллекта, обратились за полупроводниками к американским фирмам. Выяснилось, что их коллег из США интересовали китайские технологии создания программного обеспечения для мобильных приложений и правоохранительной системы. Американский телекоммуникационный оператор Qualcomm договорился с Megvii о сотрудничестве: в обмен на полупроводники Qualcomm получал право использовать программные средства систем ИИ Megvii в своих устройствах.
«В Китае наблюдается взрывной спрос», — отмечал Ли Сюй, соучредитель и генеральный директор SenseTime, на бизнес-конференции в июне 2016 года в ходе совместного выступления с Джеффом Хербстом, вице-президентом по вопросам развития подразделения венчурного инвестирования Nvidia.
Через семь-восемь лет после своего основания в 1993 году компания Nvidia стала ведущим производителем графических процессоров. Теперь она готовилась снимать сливки с надвигающегося бума в индустрии искусственного интеллекта.
В скором времени Nvidia начала заключать громкие сделки с китайскими фирмами, занимающимися технологией распознавания лиц. С помощью чипов, произведенных Nvidia и ее основным конкурентом Intel, в Центре облачных вычислений в Урумчи, открытом в 2016 году, были созданы одни из самых мощных в мире компьютеров, используемых для слежки. За день эти компьютеры просматривают больше записей с камер видеонаблюдения, чем человек за год.
«В Китае я вижу камеры на каждом фонарном столбе, — говорил Хербст. — Кажется, что просматривается просто все. Но проблема в том, что видео поступает в диспетчерскую, в которой сидит парень и ждет, когда что-нибудь произойдет. Разве это все не нужно автоматизировать?»
Ли Сюй признавал интерес китайского правительства к вопросам общественной безопасности, как и тот факт, что «существующая система наблюдения была серьезно ограничена отсутствием интеллектуального механизма управления, особенно в том, что касается обработки видео».
Он предложил пойти альтернативным путем.
Ли Сюй знал, что технология чипов Nvidia, заимствованная из сходных технологий обработки графики, играла «фундаментальную» роль в его работе и что для поддержания технологии распознавания лиц Nvidia задействует 14 тысяч таких чипов в серверах по всей Азии.
«Чувствую, нас с вами ждет долгое сотрудничество», — сказал ему Хербст из Nvidia во время бизнес-конференции. Возможно, Хербст этого и не хотел, но его слова прозвучали зловеще. К 2015 году все составляющие надзорной экосистемы встали на свои места: программное обеспечение научилось распознавать лица, сканировать текстовые сообщения и электронные письма, а также выявлять закономерности в письменной речи и взаимодействии людей.
Теперь инвесторы начали вкладывать свои деньги в следующий ключевой элемент: программное обеспечение, способное понимать и обрабатывать человеческий голос.
В конце 1990-х годов молодой перспективный исследователь Лю Цинфэн отказался от стажировки в Microsoft Research Asia и посвятил карьеру своему собственному стартапу iFlyTek, поставив целью разработку передовой технологии распознавания голоса.
«Я сказал ему, что он талантливый молодой исследователь, но Китай слишком сильно отстает от американских гигантов индустрии распознавания речи, таких как Nuance, а еще в Китае будет меньше потребителей этой технологии, — писал Кай-Фу Ли. — Надо отдать Лю должное: он проигнорировал мой совет и с головой погрузился в работу над iFlyTek».
В 2010 году iFlyTek создала в Синьцзяне лабораторию, занявшуюся разработкой технологии распознавания речи для перевода уйгурского языка на мандаринский диалект китайского. Вскоре эту технологию начнут использовать для слежки и надзора за уйгурским населением. К 2016 году iFlyTek поставляла в Кашгар уже двадцать пять систем «голосовых отпечатков», создававших уникальные голосовые подписи, которые помогали идентифицировать и отслеживать людей.
«Все эти компании приходили в Синьцзян на моих глазах, — вспоминает Ирфан. — Я видел их аппаратуру, их программное обеспечение». Десятки уйгуров, сбежавших из Синьцзяна после 2014 года, вспоминали, что замечали логотипы этих компаний на оборудовании. Присутствие этих компаний в Синьцзяне отражено в правительственных тендерах, сохранившихся в интернете, в официальных корпоративных отчетах, докладах о положении с правами человека, американских санкционных документах, а также в сообщениях китайских государственных средств массовой информации. «Но многие не видели в этом ничего опасного. Настрой был следующий: „Мы просто боремся с преступностью“», — замечает Ирфан.
В период с 2010 по 2015 год на синьцзянский рынок наконец вышла и компания Huawei, национальный технологический символ Китая, разработавшая сервисы облачных вычислений в сотрудничестве с местной полицией. Huawei (грубый перевод: «Китай подает надежды») была основана бывшим военным инженером Жэнь Чжэнфэем со стартовым капиталом в три тысячи долларов. В 1980-х годах компания начала разрабатывать телефонные коммутаторы — копируя иностранные образцы. Будучи одними из первых апологетов ускоренного технологического развития, продвигаемого правительством, Huawei стала известна в стране и за рубежом благодаря своей аппаратуре для видеонаблюдения и сетевому оборудованию, а также наращивала свое присутствие на рынке смартфонов.
Жэнь Чжэнфэй, которого бывшие сотрудники описывают не иначе как полумистическую фигуру, изъясняющуюся притчами о ручьях и горных вершинах, вынашивал грандиозные планы по глобальной экспансии. Эти планы могли быть реализованы только в том случае, если бы западные демократии удалось убедить в том, что Huawei не связана с Коммунистической партией Китая (КПК) и не будет использовать свои технологии для шпионажа. В то же время руководители Huawei стремились продавать сетевое оборудование властям Синьцзяна, рассматривая «общественную безопасность» как прибыльный бизнес.
«В 2015 году мы были на мероприятии по тимбилдингу, — рассказывал мне Уильям Пламмер, бывший американский дипломат, занявший пост вице-президента Huawei по внешним связям в Вашингтоне. — Кто-то показал слайд с надписью: „В чем суть Huawei?“ И первый пункт гласил: „Для внутренней аудитории Huawei — китайская компания, поддерживающая Коммунистическую партию Китая“. Затем шел второй пункт: „Для зарубежной аудитории Huawei — независимая компания, которая следует международно признанной корпоративной практике“.
По сути, они имели в виду, что в Китае нужно соблюдать правила Китая, а в других странах — правила этих стран. Но поместить это в презентацию… Один только этот слайд уже был компрометирующим».
К 2015 году оказался доступен завершающий элемент надзорной экосистемы: более дешевая технология для камер видеонаблюдения. Достаточно дешевая, чтобы получить распространение в промышленных масштабах. На рынок Синьцзяна вышла китайская компания Hikvision, крупнейший в мире производитель камер видеонаблюдения. Она предоставила миллионы камер, которые позволили властям установить слежку за населением. Камеры были настолько продвинутыми, что могли идентифицировать людей на расстоянии пятнадцати километров и использовали программное обеспечение ИИ от iFlyTek, SenseTime и других компаний для анализа лиц и голоса.
«Скайнет», радикальная и всепроникающая государственная надзорная система, концептуально зародившаяся десятилетием ранее, теперь могла воплотиться в реальность.
Весь этот технологический рывок и в определенном смысле зловещий синтез различных элементов, которые привели к созданию государства на основе искусственного интеллекта, не остались незамеченными. Уже в 2010 году встревожились Соединенные Штаты, крупнейший соперник Китая на международной арене.
Американские политики начали подозревать, что Huawei и ее партнеры служат прикрытием, позволяющим Народно-освободительной армии Китая (НОАК) пользоваться бэкдорами в оборудовании и программном обеспечении в целях кибершпионажа.
«C высокой степенью уверенности можем заявить, что растущая роль международных компаний и иностранных лиц в цепочках поставок информационных технологий и услуг США создаст угрозу непрерывной скрытной диверсионной деятельности», — гласили документы Агентства национальной безопасности США (АНБ), ответственного за перехват коммуникаций в мировом масштабе. В 2010 году эти записи обнародовал разоблачитель Эдвард Сноуден.
Кроме того, слитые Сноуденом документы показали, что АНБ следило за двадцатью китайскими хакерскими группами, пытавшимися взломать государственные сетевые структуры США, а также сети Google и других компаний. К тому же АНБ надеялось добраться до прокладываемых Huawei подводных кабелей, чтобы отслеживать коммуникации пользователей, которых оно считало «высокоприоритетными целями», — на Кубе, в Иране, Афганистане и Пакистане.
АНБ внедрилось в центральный офис Huawei, отслеживало коммуникации ее топ-менеджеров, а также провело операцию под названием Shotgiant, нацеленную на выявление связи между Huawei и Народно-освободительной армией Китая. Следующим шагом АНБ стала попытка использовать технологии Huawei, которые компания продавала в другие страны и организации: внедриться в произведенные Huawei серверы и телефонные сети и вести кибератаки на эти страны. Все это удалось осуществить благодаря безграничным хакерским возможностям, а также бэкдорам, созданным при сотрудничестве с американскими телеком-компаниями, что позволило преодолеть привычные технологические барьеры для осуществления массового шпионажа за иностранными гражданами.
Представители Соединенных Штатов и Китая заговорили о холодной войне, несмотря на торговые и технологические связи между странами. В 2012 году комиссия Конгресса обнародовала результаты годичного расследования, заявив о получении от бывших сотрудников Huawei документов, свидетельствующих о том, что компания предоставляла свои услуги подразделениям кибервойск армии Китая.
Власти США начали присматриваться к дочери генерального директора Жэня, Мэн Ваньчжоу, известной под англизированным прозвищем «Кэти». В качестве светской львицы Huawei Кэти проводила деловые мероприятия, которые включали в себя сессии вопросов и ответов с Аланом Гринспеном и другими гостями. ФБР и Министерство внутренней безопасности закулисно следили за деловой активностью «Кэти» и Huawei. Они подозревали, что «Кэти» курировала подставную компанию в Иране под названием Skycom, которая нарушала торговые санкции США, ведя бизнес с иранскими телеком-компаниями.
«Мы представили правительству США информацию о Huawei в Иране, о Skycom и о том, что это была независимая компания, хоть она [Мэн Ваньчжоу] входила в совет директоров в течение двух лет, — признался мне Пламмер. — Мы предоставили эти заверения, потому что так нам было сказано, и нам казалось, что так будет лучше. Но все это было ложью. Сотрудники Skycom в Иране разгуливали с визитными карточками Huawei».
Пламмер рассказал, что в 2013 году ему поступил звонок от разъяренного начальства из Huawei. Агенты Министерства внутренней безопасности направили Мэн на дополнительный досмотр, задержав ее перед посадкой на рейс в нью-йоркском аэропорту имени Джона Кеннеди, когда она возвращалась с одного из своих гламурных бизнес-мероприятий.
«Они четыре часа удерживали ее компьютер, планшет и оба телефона, — рассказывал Пламмер. — Власти США все скопировали». Мэн освободили. Руководители Huawei приготовились к предстоящей юридической схватке, закрыв офис Skycom в столице Ирана Тегеране, и дистанцировались от Skycom.
Но, пока Соединенные Штаты поливали грязью Huawei и Китай, обвиняя их в предполагаемой установке бэкдоров, позволяющих осуществлять хакерскую деятельность при поддержке государства, а также в управлении подставной компанией, АНБ было поймано на внедрении собственных бэкдоров в американские сетевые продукты, поставляемые в Китай.
Немецкая газета Der Spiegel заполучила пятидесятистраничный каталог, созданный подразделением АНБ под названием «Отдел продвинутых сетевых технологий» (Advanced Network Technology Division), которое занималось перехватами информации в наиболее защищенных сетях. АНБ получило доступ к грузам американской компании сетевого оборудования Cisco, направлявшимся в Китай, и скрытно установило в них устройства наблюдения. Компания Cisco позже заявляла, что не знала о взломе, совершенном своим же правительством.
Еще один сетевой продукт АНБ, HALLUXWATER, оказался «бэкдор-имплантатом». Он взламывал файерволы Huawei, что позволяло АНБ внедрять вредоносное программное обеспечение и управлять памятью устройств.
«В таком контролирующем поведении Соединенных Штатов нет ничего неожиданного, — сообщил Жэнь Чжэнфэй журналистам в Лондоне. — Но теперь это было доказано».
Вскоре на фоне зарождающегося геополитического соперничества Китай раскрыл свои карты. В этой стране добывается 93% мировых запасов редкоземельных элементов, таких как литий и кобальт, экспортируемых в другие страны и необходимых для совершенствования батарей и дисплеев в айфонах и телевизорах. В сентябре 2010 года китайский рыболовный траулер столкнулся с двумя японскими катерами береговой охраны неподалеку от спорных островов Сенкаку. Япония арестовала капитана траулера по подозрению в нарушении ее прав на вылов рыбы в регионе, который она контролирует — и на который давно претендует Китай.
Китай нанес ответный удар. Он заблокировал экспорт редкоземельных элементов в Японию, поставив под угрозу производство невероятно популярной Toyota Prius, для двигателя которой требуется около килограмма редкоземельных элементов.
Чуть более двух недель спустя Япония освободила членов экипажа траулера, не предъявив обвинений.
«Китай и Япония — значимые соседи с важными обязанностями в международном сообществе», — успокаивающе заявил премьер-министр Наото Кан в Нью-Йорке на Генеральной ассамблее ООН.
Но по мере того как Вторая холодная война набирала оборот, расхождение между американской и китайской технологическими стратегиями становилось очевидным.
Китай пытался похитить американские технологии, включая коммерческие тайны и интеллектуальную собственность, чтобы передать их частным китайским компаниям, желавшим обставить Кремниевую долину.
Соединенные Штаты, в свою очередь, хотели внедриться в Huawei и другие китайские компании. Их цель заключалась не в краже китайских технологий, на тот момент еще несовершенных, и передаче их частным компаниям вроде Amazon и Google, а скорее в сборе информации о возможных связях этих организаций с военными структурами, а также угрозах национальной безопасности США со стороны Китая и его компаний.
Во время журналистской командировки в июне 2014 года, бродя по улицам Пекина, Шанхая и китайского технологического центра Шэньчжэнь, я чувствовал рост самопровозглашенного, почти осязаемого национализма — особенно среди китайской молодежи.
Казалось, разговоры о новой холодной войне вызывают у людей тревогу, которую усиливала государственная пропаганда.
Руководитель одной местной технологической компании попытался объяснить мне новоявленную самонадеянность Китая. «Вы же знаете, что Google ушел из Китая», — сообщил он мне с гордостью. После четырех лет работы на китайском рынке Google закрыл свой китайский поисковый сайт в 2010 году, в разгар конфликта по поводу взлома ресурсов компании и цензурирования поисковых результатов. «Но это не имеет никакого значения, — объяснил он. — У нас есть своя поисковая система Baidu. Теперь у нас есть свои собственные компании. Мир меняется, и я надеюсь, что Кремниевая долина и АНБ не будут доминировать вечно».
«Но не кажется ли вам, что, если Китай хочет достичь уровня Кремниевой долины, ему придется открыть интернет, — спросил я, — чтобы исследователи могли получать информацию, необходимую для создания качественных технологий?» «Это тоже не имеет значения, — ответил он. — В Китае наши технологии связаны с будущим нашей страны. У нас нет такого явного разделения властей, как в США. Наша единственная цель — сделать Китай великим. Мы хотим быть с американцами на равных, чтобы никто больше не смотрел на нас свысока».
Перевод с английского Дмитрия Виноградова. Публикуется по изданию: Джеффри Кейн. Государство строгого режима. Внутри китайской цифровой антиутопии. М.: Индивидуум, 2023.