Но во втором случае я скорее сделаю акцент на не саму безопасность ИИ, а на последствия, с которыми мы можем столкнуться в связи с тем, что технологии ИИ внедряются, но пока что недостаточно хорошо защищены. Предлагаю начать с «кошмаров», а приятные прогнозы оставить на десерт.

Что можно ожидать плохого в течение года

Пример первый. Атаки на цепочки поставок, но другие, не такие, с которыми мы ранее сталкивались. Приведу пример: допустим, существует некоторая цифровая платформа, через которую обеспечивается логистика продуктов питания, в связи с геополитической обстановкой выстраиваются новые каналы доставки до клиента или до складов. На цифровой платформе внедрены модели машинного обучения, нейросети, на основании которых аналитики делают свои расчеты и прогнозы и формируют сделки.

Атакующий проникает в IT-инфраструктуру и меняет данные на вход в модели, меняется выход. Системы MLSecOps пока что не внедрены в жизненный цикл моделей машинного обучения на той самой цифровой платформе, и никто не замечает подмены данных. Аналитики продолжают делать прогнозы, формировать сделки, и… в течение текущего года мы видим сбой в продуктовой безопасности страны.

Пример второй. Недостаточное количество доверенных наборов данных. Все привыкли за время развития технологий ИИ опираться на публичные наборы, однако когда мы переходим к созданию собственных решений, то публичные наборы и синтетика не всегда подходят, требуются качественно размеченные наборы данных. А платформ для наборов и технологий разметки пока нет, это тормозит развитие технологий ИИ. Пока разработчики приложений будут брать публичные наборы за основу, достоверность, точность, эффективность получаемых результатов от приложений с ИИ будет под сомнением.

Пример третий. Волны информационно-психологических операций через социальные сети, мессенджеры, где противник манипулирует массовым сознанием и провоцирует панику, например, на продовольственном рынке. Все бегут покупать заканчивающийся продукт, и цены на него растут, происходят сбои поставок и хранения, не выдерживают искаженного спроса на товар логистические цепочки. А начинается такая информационно-психологическая операция с генерации фейковых данных с помощью большой языковой модели и вброса медиаконтента в информационное поле.

Пример четвертый. Это утечка данных через использование иностранных сервисов доступа к LLM или через использование общественных площадок доступа к иностранным ML; пользуясь чат-ботом или иным доступом к иностранным LLM, вы передаете данные, персональные, или финансовые, или любые иные данные, в ту среду, где не сможете обеспечить их конфиденциальность, и, как следствие, подготовленные на их основе целевые фишинговые атаки с высокой долей вероятности достигнут своих целей.

Пятый пример. Активный рост Deepfake. Все мы помним недавние безумные очереди за гречкой или солью, при этом кризис не был обусловлен объективными причинами, а был полностью спровоцирован простыми спекуляциями в новостном поле. А с учетом взрывного и качественного роста технологий Deepfake, которые не поддаются полноценному оперативному распознаванию неспециалистами, может привести к значимому непрогнозируемому дефициту любого продукта, не обусловленного реальными причинами.

Надеюсь, я всех хорошо напугал и на этой радостной ноте перехожу к приятным прогнозам.

Что можно ждать хорошего в течение года в безопасности ИИ

Конечно же, стоит ожидать того, что появится методика оценки рисков безопасности приложений ИИ. Уверен, что могут появиться нормативные документы, методы защиты безопасности ИИ, в том числе и от таких атак, которые я описал выше. Также уверен, что появятся платформы с наборами данных, и генераторы, и доверенные наборы.

Предполагаю, что за год сильно вырастет сообщество профессионалов, которые делятся своими наработками, и экспертов, готовых консультировать IT- и ИБ-сообщество. Уверен, что будет увеличиваться число доступных в облачных сервисах MLOps инфраструктур, появятся элементы или первые релизы решений в MLSecOps.

Думаю, что все больше мы увидим агроинноваций, то есть внедрения новых технологий ИИ в сельском хозяйстве для оптимизации производства, так как это действительно может улучшить устойчивость к внешним факторам и в том числе компенсировать недостаток в персонале. Чем больше будет внедрений, тем чаще будут специалисты по ИБ сталкиваться с совершенно новыми видами атак, и это, конечно же, стимулирует развитие технологий безопасности ИИ в России.

Подведу итог: есть много хороших и плохих прогнозов, которые станут реальностью в ближайшем году, но хорошо, что мы готовимся и уже задумались о безо­пасности ИИ.

Что можно ожидать плохого через три года в безопасности ИИ

Я буду писать так, как будто бы сбылся пессимистичный прогноз, и мы наблюдаем за последствиями.

Предположим, что до 2027 года в стране не появилось никаких нормативно-правовых актов, законов, регулирующих как использование ИИ, так и безопасность приложений с ИИ. Данные пользователей беззащитны, постоянно утекают, доступны необезличенные и неанонимизированные наборы данных. Легко можно достать информацию о жизни, привычках, друзьях, работе и других личных характеристиках любого индивида в стране; мошенники и киберпреступники всех атакуют, и для них нет препятствий, так как утечки персональных данных никак не регламентированы для технологий ИИ.

Также нет никаких нормативно-правовых актов, ограничивающих возможные утечки конфиденциальной информации через ИИ, данных об объектах критической инфраструктуры, и любая, даже автоматизированная атака легко достигает успеха.

Предположим, что в анализе микро- и макроэкономических показателей, в ходе составления прогнозов по продуктовой безопасности, все опираются на наборы данных, созданные в других странах, и картина у управленцев искаженная, но они доверяют полученным цифрам и принимают неверные решения. В итоге страдает как все государство в целом, так и отдельные граждане страны. Но ведь нет систем проверки достоверности данных, верификации оценки эффективности, и понять, в какой момент произошло искажение данных, не представляется возможным.

Или вот еще кошмарный сценарий на три года: предположим, что в стране не начали в 2023—2024 годах развивать свои отечественные технологии ИИ, и все сферы экономики, IT, безопасности оказались в полной зависимости от иностранных сервисов. Все используют зарубежные генеративные технологии, и в итоге растет внутреннее противоречие в обществе, зависимость всей страны от возможных проявлений экономических войн, санкций и ограничений.

В очередной раз, надеюсь, я всех хорошо напугал, и теперь я предлагаю оптимистичный прогноз.

Что можно ждать хорошего через три года в безопасности ИИ

Сформулированы требования к безопасности технологий искусственного интеллекта, разработаны методические указания по тестированию и по оценке защищенности таких систем. Создан, согласован и проверен некоторый кодекс этики при использовании приложений с ИИ, разработаны рекомендации и стандарты, регулирующие ответственность разработчиков технологий ИИ.

Разработаны, протестированы и широко используются средства, обеспечивающие кибербезопасность самих моделей машинного обучения, нейросетей, генеративных моделей от кибератак, широко используются технологии мониторинга и контроля эффективности технологии ИИ.

Развиваются технологии объяснимого ИИ (XAI), и это позволяет лучше понять и контролировать процессы, происходящие внутри ИИ-систем, в итоге растет доверие к таким решениям и уровень их киберустойчивости и безопасности.

На протяжении трех лет развивались и увеличивались инвестиции в развитие технологий искусственного интеллекта, что привело к появлению отечественных уникальных решений, и в результате в разы уменьшилась зависимость от импорта.

За три года был сделан рывок в подготовке профессиональных кадров в ИБ, были разработаны и быстро запущены обновленные программы подготовки специалистов по кибербезопасности, которые уже обладают навыками тестирования и оценки защищенности технологий ИИ. Была перестроена вся система подготовки таких кадров, частично появился трек подготовки специалистов ИБ на уровне колледжа для выполнения ими задач мониторинга киберустойчивости и безопасности приложений ИИ. Появилось большое количество сетевых онлайн-программ, которые доступны широкому кругу как уже опытных кадров в ИБ, так и новичкам или тем, кто хочет изменить свой профессиональный путь.