Объясни по-человечески. Новый израильский стартап позволит контролировать искусственный интеллект

Алгоритмы принимают за нас все больше и больше решений, а мы все меньше отдаем себе отчет в том, как они это делают. Почему этот человек, по мнению компьютера, потенциальный террорист? Почему вам предложили именно такую ставку по ипотеке? Почему, наконец, шахматная программа решила сделать ход ладьей? Израильский стартап Decodea предлагает перевести расчеты машины на язык человеческих умозаключений. Все это позволит понять ее и, главное, контролировать.

«Должны ли мы рисковать потерей контроля над нашей цивилизацией?», — вопрошают авторы нашумевшего письма, требующего приостановить развитие искусственного интеллекта. Среди подписантов Илон Маск, сооснователь Apple Стив Возняк, философ Юваль Ной Харари. И еще больше 3 тысяч ученых, айтишников, предпринимателей и деятелей культуры. «Лаборатории искусственного интеллекта застряли в неконтролируемой гонке по разработке и развертыванию все более мощных цифровых сознаний, которые никто — даже их создатели — не может понять, прогнозировать или надежно контролировать», - волнуются авторы письма.

В самом деле, алгоритмы, которые все сильнее влияют на нашу жизнь, часто работают по принципу «черного ящика». Мы знаем, что у них на входе, и что на выходе. А как именно и по какому принципу принимается решение, не понимают даже разработчики. Ведь они не прописывали весь алгоритм от начала и до конца, как программисты XX века, а учили его, подкрепляя правильные ответы и отбраковывая неправильные. Например, нейросеть, разработанная NTech-Lab, которая позволяет сейчас российскому государству вычислять оппозиционеров и «уклонистов» в московском метро, распознает лица, опираясь на 50 параметров. Но еще несколько лет назад его создатели догадывались о значении только двух из этих параметров. Один из них однозначно коррелировал с полом опознаваемого лица, второй — с наличием бороды. И сами разработчики даже не интересовались этим вопросом. Как и этичностью своего продукта.

Действительно, какая разница, как именно программа различает лица или прокладывает для вас маршрут через пробки большого города. Но если алгоритм рекомендует отделу HR, кого брать на работу, а кого увольнять — хотелось бы все-таки примерно понимать его мотивы. Потому что когда речь идет об этике, юридических последствиях или больших деньгах, всегда возникает вопрос: на каком основании было принято решение? Что там, в черном ящике?

- Возьмем, например, контейнерные грузоперевозки. Возврат пустых контейнеров — это очень большие затраты. Логистические компании пытаются оптимизировать этот процесс с помощью алгоритмов, но те зачастую предлагают столь неочевидные маршруты, что операторы перевозок отказываются следовать рекомендациям. Хозяева таких компаний говорят нам: «помогите объяснить эти решения», — рассказывает Зеев Файн, генеральный директор израильского стартапа Decodea.

Его проект работает в сравнительно новой области IT, которая называется «объяснимый искусственный интеллект». То есть такой, который функционирует уже не по принципу «черного ящика».

Потребность в объяснениях возрастает, если решения алгоритма напрямую влияют на людей. В 2019 году разгорелся скандал с кредитными картами Apple: искусственный интеллект предлагал разные кредитные лимиты для мужчин и женщин. Делал он это, судя по всему, без ведома разработчиков —просто так уж выучился.

- Система объяснимого ИИ позволила бы понять, что алгоритм учитывает пол или расу клиента, заметить и исключить этот фактор, — объясняет Зеев. — Мы сейчас как раз ведем переговоры с одной страховой компанией. Они хотят зарегистрировать свой алгоритм расчета стоимости страховки в США, но регулятор требует, чтобы он был прозрачен и никого не дискриминировал.

Тренировка на пешках

- Сначала искусственный интеллект пытался описать и имитировать человеческое мышление. Но уже в 1980-х годах стало понятно, что компьютер и мозг функционируют принципиально по-разному. Первый очень хорош в расчетах, но плох в понятийном мышлении. А мы, люди, наоборот, гораздо хуже считаем, но лучше мыслим. Кстати, в иврите эти два понятия с одним корнем — «лахшов» (мыслить) и «лехашев» (рассчитывать), — замечает вице-президент Decodea по технологиям Офер Шамай.

Шамай — мультидисциплинарный ученый. Начинал с математики и физики, потом обратился к истории и философии науки. Увлекается неокантианцем Касиррером, даже писал о нем научные работы. В общем, всю жизнь интересовался вопросами человеческого мышления.

С Зеевом они познакомились, когда тот готовился поступать в университет. Школу будущий гендиректор окончил религиозную, почти без математики, и молодой ученый Шамай стал его репетитором. Потом они сдружились, вместе занимались тай-чи и играли в шахматы. С них-то все и началось.

Восемь или девять лет назад Офер и Зеев сидели за шахматной доской и рассуждали о странной метаморфозе древней игры в современной мире

- Есть компьютер, который видит миллионы, даже миллиарды вариантов ходов, но если спросить его, как именно он принимает решения, ответа не получишь. — рассказывает Зеев. — А есть люди, которые могут все объяснить, но видят во много раз меньше. В общем, мы решили тогда, что хорошо бы построить мост между человеком и компьютером. И это, если говорить совсем кратко, ключ к тому, чем мы сейчас занимаемся.

В инновационном предпринимательстве есть понятие, дословно переводящееся с английского, как «самый низко висящий фрукт». То есть — лучший результат, которого можно достичь с минимальными усилиями. Таким «фруктом» для израильского стартапа стала шахматная программа DecodeChess, созданная Шамаем и Файном в 2015 году. Задача у нее узкая: объяснять действия шахматного алгоритма. Но Офер считает, что именно шахматы — лучшая модель человеческого мышления. Тот же самый, отточенный на шахматном анализе ИИ, можно прикрутить к любому другому алгоритму: банковскому, логистическому, неважно какому.

А главное, уже сейчас их шахматная программа работает в плюс и позволяет стартапу окупать себя. Благо команда у Decodea маленькая – всего пять человек, которые все делают сами от алгоритмов и системной архитектуры до дизайна и пиара.

Точки на деревьях

- Уже после нас Chess.com тоже запустил свою систему объяснений. Хотя мы уверены, что наша лучше, - улыбается Файн. – В целом у нашего продукта есть несколько конкурентов, но они, как нам известно, пошли по другому пути. Они все пытаются понять, как и по каким принципам принимает решения исходный алгоритм, пытаются вскрыть этот «черный ящик». А мы в этом смысле агностики, нам не важно, чем руководствовался компьютер. Мы стараемся смоделировать человеческое решение той же задачи.

Для этого нужно построить систему умозаключений, похожую на «нормальное» человеческое мышление, использующую «нормальные» человеческие понятия, которая придет к тем же самым выводам, который сделал методом перебора рекомендательный алгоритм. Поскольку этот рекомендательный алгоритм уже есть, то можно взять его и изучить готовые "деревья" решений с тысячами и миллионами развилок.

- Затем мы находим самые важные точки на этих деревьях которые оказывают наибольшее влияние на результат. И сопоставляем их с человеческими понятиями, — рассказывает Офер.

Если иллюстрировать это теми же шахматами, то любой шахматист знает, что такое шах и мат, «вилка», защищенная и незащищенная фигуры. Владение этим понятийным аппаратом позволяет живому игроку продумывать партию, не перебирая в голове миллионы вариантов.

- Гроссмейстер (мы говорили об этом с Каспаровым) просчитывает в уме порядка 200 вариантов, - добавляет Офер. – Зато он мыслит понятиями. Я уже давно понял, что шахматы — гораздо более правильная область, чем математика, для изучения человеческого мышления.

Дело за малым — найти важные точки выбора в шахматном алгоритме и сопоставить их со всеми этими шахами, «вилками» и защитами. Естественно, делается это не вручную, а с помощью алгоритма, который и написали израильские программисты.

Опробовав его на шахматах, можно делать то же самое в других сферах и оперировать уже другими понятиями. Был бы исходный алгоритм с его «деревьями» выбора. Предварительные работы в каждой новой области длятся четыре месяца. Из них 2-3 недели программисты общаются с экспертами и пытаются вычленить основные рабочие понятия.

«Расскажите нам о своем мире» — просят они заказчиков. Еще четыре месяца уходит на соотнесение терминов с деревьями решений рекомендательного алгоритма.

От контрразведки до покера

В 2020 году Decodea прошла отбор в стартап-акселераторе Шабак — одной из главных спецслужб Израиля, отвечающей за контрразведку и внутреннюю безопасность. В одной из израильских публикаций говорилось, что алгоритм могут привлечь для объяснений решений искусственного интеллекта, который вычисляет потенциальных террористов. Что, конечно, позволило бы принимать чувствительные решения, влияющие на судьбы людей, не доверясь компьютеру. Сам Зеев это не подтверждает и не отрицает.

— Я не имею права подробно говорить о нашем сотрудничестве, - отвечает он. — Я и не знаю всего. Эксперты Шабак обсуждают с тобой абстрактные вещи, грубо говоря, про выбор между яблоками и апельсинами. Каждый год Шабак отбирает шесть стартапов для своего акселератора. Все проекты получают финансирование. Могу сказать, что к нам продолжают проявлять интерес разные израильские компании в сфере безопасности.

Теоретически область применения новой технологии в сфере безопасности довольно широкая.

- Например, есть алгоритмы, которые управляют дронами на поле боя, — поясняет Зеев. — Объяснения пригодятся везде, где дело касается соблюдения законов. Но решения могут быть не только этическими. Тот же дрон летит на низкой высоте, чтобы быть незаметным для радаров, и тут на его пути высокое дерево. Его можно облететь справа, слева и сверху. Все это имеет разные последствия — и в плане безопасности, и в плане расхода топлива.

Другая сфера применения – медицина. Например, в США искусственный интеллект помогает семейному врачу вести пациента, направлять его на нужные анализы. Но надо ведь объяснить самому пациенту, зачем это делается. И тут как раз поможет система объяснимого искусственного интеллекта.

А вообще израильский стартап видит для себя применение в самых разных сферах. От рациональной организации производства (в этой сфере тоже действуют рекомендательные алгоритмы) до игр помимо шахмат: покера, го, бриджа и т.д.

- Единственное, чего мы точно не будем делать — это разрабатывать продукт, который послужит угнетению людей, — говорит Зеев. — Если, скажем, Китай попросит помочь с алгоритмом для слежки за диссидентами, мы не будем в этом участвовать. Но если нас позовут в китайский проект по очистке пресной воды — мы с удовольствием.