Наталья Касперская выступила на Финансовом конгрессе Банка России в рамках сессии «ИИ в банковском риск-менеджменте: источник антихрупкости или новый класс уязвимостей». Обсуждались возможности и риски применения искусственного интеллекта в финансовом секторе, вопросы надежности ИИ, новые уязвимости, возникающие при его массовом внедрении, а также подходы к регулированию этой стремительно развивающейся технологии
Наталья Ивановна, вот если отбросить хайп, по какому признаку руководству банка отличить задачу, которую искусственный интеллект закроет надёжно, от той, где опираться на него всё-таки опасно?
Вы знаете, я бы, наверное, подошла к этому вопросу с точки зрения не выбора какой-то конкретной области, потому что это, безусловно, должна организация решать сама, и здесь мой совет будет ничтожен. А с точки зрения скорее подхода к процессу, потому что, уже довольно много организаций вырабатывают у себя определенный подход. В организации нужно создать некий центр – его там называют либо центром компетенции, либо какой-то точкой ответственности, – который занимается искусственным интеллектом и агрегирует все знания, то есть место, куда можно прийти и либо задать вопросы, либо обменяться опытом, потому что это новая сфера, она малоисследованная, и там действительно есть и плюсы, и минусы, и риски, и доверять ей полностью нельзя. И вот такое место в организации, наверное, должно быть.
Второе: надо выявить задачи, которые могут даваться искусственному интеллекту. Мы, например, у себя проанализировали несколько задач, там мы используем искусственный интеллект внутри организации для разработки, и выбрали всего лишь три темы. Первое – это анализ уязвимостей, потому что современные системы хорошо ищут некоторые модели уязвимостей. Мы прямо нашли сотню, там, где глазами их было не видно. Прямо очень эффективно. Второе – помощь в тестировании, потому что это резко ускоряет. Очевидно, в банковском секторе это будут другие задачи. Это просто нужно выявить на основании того опыта, который есть.
А дальше, безусловно, проанализировать риски и понять, как их нивелировать, а потом всё-таки понять, в каких областях мы применяем, а в каких накладываем запрет. Потому что мы понимаем все, что генеративный искусственный интеллект – это вероятностная технология. Она может допускать ошибки, и где-то эти ошибки совершенно недопустимы. А значит, там должен быть обеспечен запрет.
Дальше нужно обеспечить процесс. Это такой процесс, который нужно постоянно мониторить. И в нём должны быть две вещи: регулярный анализ того, что мы провели – возможно, делать его раз в квартал или раз в месяц, – и контрольные точки, по которым мы смотрим эффективность. Потому что на самом деле эффективность не всегда настолько зашкаливающая, как нам говорят. Иногда эта эффективность не очень высокая. Затем мы разделяем задачи на шаги. Причём это разделение задач можно поручить тому же искусственному интеллекту. Выбираем последовательность действий и приступаем к реализации. Потом опять же регулярно проверяем это по контрольным точкам.
Какие принципы я бы здесь ещё сказала при внедрении искусственного интеллекта? Нужно экспериментировать. Мы находимся в экспериментальном поле, поэтому нужно постоянно сверять результат: получаем ли мы то, что хотим, или мы получаем нечто другое. Во многих организациях искусственный интеллект растёт как бурьян снизу, и люди об этом даже не догадываются. Мы год назад, когда задумались над тем, что надо бы нам искусственный интеллект использовать, сделали опрос разработчиков, чего они используют. И выяснилось, что у нас чего только не используется в организации – до тридцати разных моделей. Это каждый использует сам. Каким образом? Непонятно. У них есть какие-то мнения: вот это лучше, вот это хуже. Но понятно, что когда организация предоставляет доступ, закупает этот самый доступ, то это более приятно, чем когда разработчик делает это как-то сам. Но при этом мы не можем гарантировать, что они не будут это делать всё равно – люди на местах. И вот этот контроль этого теневого искусственного интеллекта – это отдельная задача. И, как мне кажется, в банковском секторе она очень важная, потому что что там люди насажали и куда они слили данные, а мы этого не видим – это может быть отдельный большой риск.
Нужно понимать, что да, нужно обеспечивать материальную поддержку на регулярной основе, потому что искусственный интеллект – всё-таки история дорогая. Она, кстати, до сих пор не окупается, поэтому я не исключаю, что через какое-то время все эти замечательные западные модели возьмут и либо поднимут цену в несколько раз, либо вообще закроют весь доступ, и будет это только проприетарно. Они сейчас, кстати, русских ограничивают периодически. И понимать всё-таки, что да, это технология, да, у неё есть большие возможности, но ждать каких-то радикальных чудес неправильно. Нужно подходить очень прагматично и постоянно контролировать. Если не получилось, если достигаем не того результата, который хотим, значит, пробуем что-то ещё, чтобы у нас был такой воспроизводящийся процесс. То есть на самом деле мы работаем с искусственным интеллектом и должны работать так же, как с любой технологией. Мы её должны постоянно сверять с тем, что хотим в итоге получить. Искусственный интеллект должен работать на человека, а не наоборот – человек на искусственный интеллект.
Наталья Ивановна, где сегодня главная зона уязвимости при массовом использовании искусственного интеллекта в функциях банков?
Прозвучало мнение, что можно применить агентов, и агенты снизят риски и вроде бы даже обеспечат гарантию. На самом деле, если у нас агент работает сам по себе и не использует внутри большую лингвистическую модель, то этого вроде бы даже можно достичь. Если же там вероятностная модель, то есть генеративный искусственный интеллект, то и агент тоже генеративный – он работает как вероятностная модель и, соответственно, никакой гарантии дать не может. А агент обеспечит объясняемость. Но насколько можно верить этой объясняемости? Это вопрос. Потому что мы знаем: модели задаёшь вопрос: «Почему ты поступила так?» – она тебе ответит. Ответит в любом случае. Насколько это соответствует истине? Да иногда вообще не соответствует. Это надо понимать. То есть мы имеем дело всё-таки с бредогенераторами в некотором смысле. Вот некоторые их так называют. Давайте всё-таки не будем делать вид, что наложением какой-то функции мы сможем этот генеративный искусственный интеллект сделать негенеративным. Если он генеративный, если там есть слово «генеративный», значит, это вероятностная технология, значит, она негарантированная. И это надо понимать, независимо от того, является ли это агентом или моделью – большой, маленькой, – всё равно если генеративное, значит вероятностное. Вероятностное – значит чёрный ящик. Чёрному ящику нельзя доверять, а любой генеративный ИИ – это чёрный ящик, и всё. И соответственно, по сути, Европейский центральный банк говорит, что не надо использовать генеративный искусственный интеллект для оценки. И возможно, это правильно, потому что кто будет нести ответственность? Если мне отказали в кредите, почему-то не знаю, ну вот почему-то отказали. Что, кому я должна что-то доказывать и как может человек потом себя защитить? Это, на самом деле, очень большой серьёзный вопрос. Поэтому такие системы надо воспринимать как недоверенные. Это значит, что если мы используем, то использовать не на критических применениях, а, ну, там скоринг какой-нибудь. Есть нормальные алгоритмические вещи, которые работают хорошо, но при этом предсказуемы, их можно объяснить, в отличие от генеративных.
А что касается генеративных моделей, риски я перечислю с вашего позволения. Загружаем большой массив данных в модель – это, соответственно, утечка данных у нас пошла. Мы загрузили информацию, модель эту информацию получила. Надо понимать, что она точно так же может эту информацию анализировать. Модель не сама по себе, там всё-таки есть люди-заинтересанты, которые эту информацию могут вытянуть. Причём могут вытянуть и разработчики модели, и те, кто потом задаёт запрос. Например, вот такой известный кейс, когда конкурент одной организации получил информацию именно из модели, правильно составив запросы, получил информацию о своём конкуренте полную, потому что его конкурент, в кавычках, догадался загрузить секретные данные. Это способ себя раскрыть. Это первое. Второе: обучение на чувствительной информации точно так же приводит к утечке данных.
При этом я считаю, что регулировать искусственный интеллект как технологию категорически нельзя, потому что это технология, которая очень быстро развивается. Даже если терминологию вводить – вот сейчас Минцифра выдала законопроект, где они попытались определение дать, но это просто слёзы. Плакать хочется, когда читаешь, что они там понаписали, сами не понимают. Если определять очень точно, на это уйдёт столько времени, что просто не будет иметь смысла. Поэтому технологию регулировать не надо, её надо просто оставить в покое. Пусть развивается, и дай бог. Но вот что надо регулировать? Нужно регулировать определённые вредные применения, как, например, влияние на людей, или автоматическое написание законопроектов. Мне кажется, что многие наши сейчас законопроекты пишутся с искусственным интеллектом, потому что иногда читаешь и не понимаешь, откуда это берётся.
Хочу оппонировать: что Европа ввела у себя регулирование. Это, кстати, очень частый тезис, очень частое заблуждение, что в Европе не развивается искусственный интеллект, потому что она ввела регулирование. Европа ввела регулирование конкретно по искусственному интеллекту в середине прошлого года, а искусственный интеллект у них не развивается годами. Просто они отстали сначала, а потом они пытаются как-то это прикрыть регулированием. То есть порядок обратный: они не потому не развивается, что есть регулирование, а потому регулируют, что у них нет искусственного интеллекта.
По материалам Наталья Касперская