«Обществу хотелось бы знать, как алгоритм принимает решение: ведь он влияет на судьбы»

5 декабря Национальный исследовательский институт мировой экономики и международных отношений (ИМЭМО РАН) при поддержке представительства Европейского союза в Российской Федерации провел третью международную конференцию «Прорывные технологии: вызовы развитию общества и глобального управления» (EMERTECH 2019). На ней, в частности, прошел круглый стол о проблемах регулировании ИИ, в котором приняла участие философ, исследовательница из Оксфордского университета Карина Прункл. С Прункл поговорил Дмитрий Муравьев.

— Как вы лично заинтересовались тематикой этики и алгоритмов? Что вам кажется важным в этой теме?

— Изначально меня интересовали философия сознания и то, в каких отношениях друг с другом находятся сознание и машины. Очевидно, что эти вопросы уже стоят перед нами и нуждаются в философском осмыслении. Когда я только начинала этим заниматься, в эту тему было вовлечено не так много людей, но сейчас этика алгоритмов становится вопросом, все более значимым для общества.

Алгоритмы начинают внедряться во множество сфер нашей жизни. Мы знаем, что они используются в здравоохранении, образовании, спорте, социальных медиа, рекламе, — они вездесущи. С их приходом, конечно, появляется большое количество новых возможностей, но и новых рисков, когда все идет не так, как мы планировали: скажем, когда в Аризоне беспилотный автомобиль убил пешехода. Мы знаем также, что алгоритмы могут быть использованы злонамеренно — например, как это делается в технологии дип-фейков (deep fakes).

Но дело не только в этом. Все алгоритмы работают на данных, и это само по себе рождает много новых вопросов. Кто собирает эти данные и с какой целью? Кто их хранит и как долго? Что конкретно эти данные говорят нам об индивидах или отдельных группах? Как убедиться в том, что при использовании этих данных для обучения алгоритмов вы не воспроизводите стереотипы о тех группах, которые недостаточно представлены, маргинализированы?

— Можно ли сказать, что есть «справедливые», «честные» и «хорошие» данные, которые смогут помочь нам спроектировать такие же «справедливые», «честные» и «хорошие» алгоритмы?

— То, что мы считаем «справедливым», «честным» или «хорошим», часто варьируется в зависимости от контекста, типа общества или даже отдельного человека. Посмотрим для примера на случай с системой COMPAS, когда алгоритм использовался судьями, чтобы выносить решение об освобождении человека под залог или его досрочном освобождении. Он много лет применялся в США, пока НКО ProPublica не опубликовала статью, в которой объяснялось, что афроамериканцы в два раза чаще подвергались риску того, что система могла классифицировать их как потенциальных рецидивистов.

Компания Northpointe, создавшая COMPAS, утверждала, что ее алгоритм делает одинаковые предсказания для всех групп населения безотносительно расы. Можно сказать, что это «честно»: ведь нам хотелось бы, чтобы ко всем относились одинаково. С другой стороны, это и нечестно тоже, потому что афроамериканское население в США уже подвержено дискриминации и, возможно, даже сбор данных о нем проводится по-другому. В этом смысле предвзятость закрадывается в сами данные.

Или посмотрим на алгоритмы в рекрутинге, основанные на предыдущих наймах. Если в основном на работу в IT брали мужчин, то это могло быть связано с тем, что гендер в данном случае коррелирует с желаемым атрибутом — например, с образованием в области компьютерных наук (его сейчас скорее получают мужчины, нежели женщины). Но это означает, что алгоритм начинает усиливать и воспроизводить статус-кво, что и случилось с рекрутинговым алгоритмом Amazon, ставшим настолько дискриминирующим, что из двух идентичных CV он выбирал кандидата-мужчину, а не женщину.

Или известен случай, когда алгоритм классифицировал всех «небелых» людей как горилл, причем это всплыло много позже. Никто не ожидал этого, пока алгоритм не был запущен.

Так что предвзятость, предрассудок могут возникать из-за самой архитектуры алгоритмов, хотя мы обычно предполагаем, что они нейтральны. Даже если набор данных представляет все группы, лишен смещений и алгоритм просто учится на этих данных точно так же, как дети учатся у родителей и у своего окружения, что «правильно», а что — нет, то даже такая работа алгоритмов будет нести в себе все недостатки нашего общества, потому что оно во многих аспектах все еще дискриминирует определенные группы людей.

— А в чем проблема с тем, чтобы сделать работу алгоритмов понятной и прозрачной?

— Традиционные алгоритмы работают более-менее в логике ручного программирования определенных условий («если… то…»). Но более современные алгоритмы, особенно построенные на машинном обучении, начинают обладать определенной самостоятельностью. В нейронных сетях очень сложно с полной уверенностью объяснить, на основе чего алгоритм делает свои предсказания, потому что этому предшествует большое количество сложных статистических выводов. Тогда алгоритм становится «черным ящиком», механизмом, остающимся для нас непонятным.

Необходимо спроектировать такую архитектуру алгоритма, которая позволила бы людям понять, какие факторы он принимает в расчет и как приходит к выводам. Но можно вообразить себе алгоритм, оперирующий такими категориями и классами, которые либо слишком сложны, либо вообще непознаваемы для человека.

— Как вам кажется, продуктивно ли применять разные существующие этические теории к мышлению об алгоритмах? Стоит ли нам делать алгоритмы утилитарными или, скажем, кантианскими?

— Иногда говорят, что нам необходимо сперва решить этические вопросы и только потом, например, производить беспилотные автомобили. Это меня слегка смешит, потому что это же именно то, что мы пытаемся сделать уже на протяжении многих столетий — решить этические вопросы! Нельзя утверждать, что у философов или общества существует некая единая идея о правильной этической рамке. Часто одни рамки подходят в отдельных случаях лучше, чем другие. Или предлагают, например, разрешить алгоритмам учиться напрямую у людей, наблюдать за тем, как мы выходим из сложных ситуаций. Но представьте себе, каким множеством мотивов продиктовано наше ежедневное поведение. Когда мы улыбаемся или когда говорим «спасибо», делаем мы это искренне или, может быть, просто пытаемся быть вежливыми? Как это можно встроить в алгоритм? В целом мне кажется очень сомнительным, что алгоритмы действительно могут заменить в полной мере человеческое суждение.

— Какие проблемы в этике алгоритмов вас беспокоят сейчас больше всего? От чего вы можете проснуться среди ночи и подумать: «Вау, это очень важно»?

— Меня очень беспокоит, что происходящие изменения носят накопительный и постепенный характер. Я боюсь, что мы можем не успеть понять, когда наступит правильный момент, чтобы действовать, потому что у нас нет целостного представления о рисках или вообще даже идеи о том, что же надо делать. Мы все больше полагаемся на технологии без того, чтобы удостовериться в их безопасности, прозрачности и понятности для широкой публики. Меня беспокоит, что в то время, как технология становится все более и более встроенной в нашу повседневность, мы лишь начинаем говорить о связанных с ней последствиях и рисках. Я думаю о том, успеем ли мы вовремя найти правильные механизмы и удостовериться, что технология работает так, как должна.

Да, алгоритмы могут помочь нам понять наши предрассудки и недостатки, обнаружить наши слабые места — скажем, в наших рекрутинговых тактиках или в медицинских диагнозах. Но обществу хотелось бы знать, на основе чего алгоритм принимает решение. В конце концов, он влияет на человеческие судьбы.

Понравился материал? Помоги сайту!