По мере роста мощности систем искусственного интеллекта и важности задач, им доверяемым, все острее встают вопросы этики его использования — этичности самих систем и этичности тех, кто их создает. Об этих проблемах на практической конференции «Технологии машинного обучения 2018», которую издательство «Открытые системы» проведет 25 сентября, расскажет Алексей Маланов, эксперт в области антивирусной защиты, специалист по новым технологиям компании «Лаборатория Касперского» в докладе «Этика искусственного интеллекта». В преддверии конференции Computerworld Россия побеседовал с Малановым о том, насколько можно доверять системам искусственного интеллекта, где могут корениться проблемы и насколько они разрешимы.
- Можно ли трактовать тему вашего выступления на конференции так, что искусственный интеллект уже настолько силен, что главной проблемой его применения становится уже не умение решать задачи, а его этика? И что такое «этика» применительно к машинному алгоритму?
Определимся с понятиями. Есть «сильный» и «слабый» искусственные интеллекты. Сильный – это тот, который может мыслить, размышлять, решать более общие и абстрактные задачи, не только те, что запрограммировали. Его пока нет и, судя по всему, не будет еще лет 50. Текущие наработки в области искусственного разума относятся к «слабому» искусственному интеллекту, программируемому нами для решения конкретных практических задач.
То есть до Терминатора и Скайнета «слабому» искусственному интеллекту пока далеко, но это не повод расслабляться, поскольку ему по факту поручаются все более сложные и более влияющие на нашу жизнь задачи.
И этическая составляющая его работы становится соответственно достаточно важной.
У этой составляющей есть несколько аспектов. Во-первых, искусственный интеллект может решать «плохие» задачи. Не зря из Google уволились десять программистов, заявивших, что больше не хотят разрабатывать проект по автономному оружию. После случившегося компания объявила, что откажется от сотрудничества с Пентагоном. Тысяча ученых подписали петицию о запрещении такого оружия. Тоже вопрос этики, хотя, конечно, человеческой, а не машинной.
Во-вторых, искусственный интеллект может ошибаться — когда по той или иной причине несовершенна модель обучения, когда его специально обманывают или вообще непонятно почему.
- Как несовершенство модели связано с этикой?
Машина решает ту задачу, которую перед ней ставит человек. А в реальной жизни задачи часто ставятся нечетко, многое принимается «по умолчанию».
Скажем, если искусственному интеллекту поручат сверстать госбюджет с максимальным профицитом, то он может посоветовать ликвидировать всех нетрудоспособных. Он же не знает о наших моральных и законодательных ограничениях.
Это нереалистичный, но понятный пример, а вот не столь заметные, но ведущие к тяжелым последствиям случаи были. Скажем, в одной больнице попробовали, используя машинные алгоритмы, выстраивать пациентов по приоритетам. Алгоритм должен был на основе ранее принимавшихся людьми решений и статистики смертности от разных болезней и их комбинаций определять, кому срочно надо оказывать помощь, а кто еще может подождать. Неожиданно машина стала ставить в конец очереди астматиков с пневмонией — потому что «эти люди не умирают». Явная нелепица, стали разбираться, почему так получилось. И оказалось, что состояние астматиков, заболевших пневмонией, настолько опасно, что их клали в больницу незамедлительно, сразу начинали оказывать помощь, и в итоге они не умирали.
Человеку это интуитивно понятно, машина же находит ложные корреляции и действует соответственно.
Куда хуже, если возникает еще и петля положительной обратной связи, когда искусственный интеллект изменяет реальность, причем чем больше изменяет, тем больше находит подтверждений своей правоте, и тогда ошибка усугубляется.
- Казалось бы, достаточно просто подкорректировать модели...
Существует и более сложная проблема — несовершенство исходных данных, на которых искусственный интеллект обучается. Есть такое понятие, как «алгоритмическая предвзятость» (algorithmic bias). Например, если машина обучается на данных, которые уже являются предвзятыми (допустим, результаты собеседований в компании, кадровики которой имели расистские наклонности), то обученный искусственный интеллект научится тем же моделям поведения.
Известный пример — в Microsoft создали чат-бота, который должен был учиться в процессе общения с людьми. В итоге через сутки бот начал нести такое, что проект пришлось прикрыть — плохому его пользователи научили.
Это большая проблема: если мы учим машину на реальных данных, то несовершенство окружающего нас мира тоже «впитывается» искусственным интеллектом.
- Можно ли этого избежать, всегда ли понятно, в чем было несовершенство алгоритма или обучающей базы?
Нет, как раз большая проблема в том, что мы не всегда можем объяснить, почему машина приняла то или иное решение. Вот, например, у Amazon есть сервис доставки покупки в тот же день. И он часто был недоступен в неблагополучных кварталах. В компании не могли объяснить, почему такое происходит. По каким-то критериям, может быть, по уровню воровства посылок, искусственный интеллект решил отказывать в предоставлении сервиса.
- Получается, что формально искусственный интеллект принял правильное решение: минимизировать убытки?
Нам остается только догадываться. Amazon уверяет, что не знает почему. Возможно, постеснялись озвучить нетолерантное поведение своего искусственного интеллекта.
Но есть случаи явно неподстроенные. Искусственный интеллект решает стандартную задачу — опознает, кто на фотографии, кошка или собака. Вроде выучился, но в некоторых случаях вдруг ошибается. Программисты говорят: «Мы не понимаем почему, что в этой собачке было не так, почему ее приняли за кошечку».
Собаки и кошки — проблема теоретическая, но вот у Google возникла проблема, когда выяснилось, что Google Photos иногда распознает чернокожих как горилл. И пришлось эту проблему решать административными мерами — запрещать алгоритму вообще распознавать горилл на фотографиях. И это при том, что база для обучения у программы была на зависть.
Плюс в каких-то случаях возможно сознательное «вредительство».
- Например?
Можно нарочно вводить машину в заблуждение. Например, люди надевают специальные очки, раскрашенные по-особенному, и система распознавания лиц распознает их как «звезд». И если в будущем такие системы начнут сами принимать решения по идентификации, могут быть проблемы. То же самое с дорожными знаками. Можно, используя наклейки, немного изменить простейший знак «Стоп», и искусственный интеллект примет его за «Ограничение скорости», в случае беспилотного автомобиля могут быть печальные последствия.
Если же злоумышленник имеет представление о данном конкретном алгоритме, то он, скажем, может, расположив рядом с пистолетом в чемодане предмет определенной формы, сделать пистолет невидимым для системы просвечивания. Она примет его за что-нибудь другое.
Так что не все так просто. Когда машина ассистирует человеку – это одно. А когда она сама принимает решения – вот это уже может быть опасно.
- Наш традиционный вопрос. Что вы хотите услышать на конференции сами и о чем хотите рассказать слушателям?
Мне хотелось бы узнать, какие практические задачи удается решать. Как получается обойти упомянутые мной ловушки? Какие есть еще проблемы и, опять-таки, как с ними справляются?
Ну а сам я хочу рассказать о том, что, с одной стороны, перспективы применения искусственного интелекта впечатляют, с другой — есть множество проблем, к которым надо быть готовым.
