Ученые и программисты перестали понимать, как именно принимает решения искусственный интеллект. Об этой проблеме заявили сразу несколько специалистов на главной ИИ-конференции — Neural Information Processing Systems, — прошедшей в Лонг-Бич (Калифорния).

Эксперты, с которыми пообщались журналисты Quartz, говорят, что нужно действовать, пока система не стала слишком сложной.

«Мы не хотим принимать за должное решения ИИ, без понимания их логики, — говорит Джейсон Йосински из Uber. — Чтобы общество приняло модели машинного обучения, мы должны знать, как ИИ приходит к тем или иным выводам».

Проблема, которую многие эксперты называют «черным ящиком», действительно серьезная. Предыдущий опыт показал, что ИИ имеет склонность принимать предвзятые решения и проводить аналогии там, где их не следовало бы проводить. Поскольку сегодня нейронные сети постепенно проникают в правоохранительные органы, систему здравоохранения, научные исследования и в алгоритмы, которые определяют, что вы видите в своей ленте новостей Facebook, ошибка со стороны ИИ может обойтись очень дорого.

В качестве примера Кири Вагстафф, ИИ-эксперт из Jet Propolusion Lab (NASA), приводит миссию на Марс. Аппараты находятся в 200 млн миль от Земли и стоят сотни миллионов долларов, поэтому какие-либо погрешности в работе ИИ попросту недопустимы.

«Люди должны знать, что делает ИИ и почему. В противном случае, как тогда они могут доверить ему контролировать дорогостоящее оборудование?», – говорит Вагстафф.

На данный момент ученый работает над алгоритмом, который сортирует снимки, сделанные различными космическими аппаратами NASA. Так как количество изображений исчисляется миллионами, компьютер позволяет отсортировать и выделить из них самые интересные, не затрачивая на этот процесс огромное количество времени. Проблема, однако, кроется в том, что зачастую одному только ИИ известно, почему те или иные отобранные им изображения являются необычными.

Таким образом, заключает Вагстафф, если внутри этого алгоритма существует ошибка, однажды он может пропустить очень важную информацию.

«По сути говоря, компьютер выдает вам изображение и говорит: «Взгляните-ка, это интересно». Но вы не всегда можете понять, почему это интересно: из-за цвета, формы объектов или их расположения в пространстве – этого вы наверняка не знаете», – говорит ученый.

С выводами коллег соглашается Ханна Уоллах, старший научный сотрудник Microsoft.

«По мере того, как машинное обучение получает все большее распространение и растут ставки, мы больше не можем рассматривать эти системы в качестве черных ящиков. Нам нужно понимать, что происходит внутри них и что они делают», – заявила исследователь.

Ученые к счастью, пытаются находить методы, позволяющие понять логику искусственного интеллекта. Так, исследователь из Google Мэтра Рагху представила доклад, в котором описывается процесс отслеживания действий отдельных «нейронов» нейросети. Анализируя миллионы операций, ей удалось понять, какие из искусственных «нейронов» концентрировались на неверных представлениях, и отключить их. Это доказывает, что перевод работы нейросетей в форму, доступную для понимания человека, — не такая уж невозможная задача.

Еще одним вариантом решения проблемы является проведение регулярного тестирования навыков, выработанных искусственным интеллектом.

«Это похоже на то, как школьные учителя просят детей пересказать своими словами, что они поняли из объяснений учителя», — говорит Вагстафф.

При этом важность понимания внутренностей алгоритма состоит не только в том, чтобы предотвратить падение гипотетического ровера с марсианской скалы; осознав, в чем заключается сбой, можно сделать существующие системы еще совершеннее.

«Если ваша система не работает и вы не знаете почему, очень трудно в таком случае что-либо предпринять, – рассказывает Йосински. – Если же вы знаете, что случилось, то ситуацию всегда можно исправить».

Использованы материалы сайта hightech.fm