Что такое экспертные системы?

У меня — высшее образование по специальности «Информационные технологии», больше 20 лет опыта в разработке разнообразного софта, но даже для меня экспертные системы были чем-то вроде открытия.

Да, мы изучали основы в университете, но там не было практических примеров или задач из реального мира, поэтому в памяти все это осталось где-то на уровне высшей математики: «вроде полезно, но хрен его знает, где?»

Термин «искусственный интеллект» появился около 50 лет назад, причем придумала его тусовка математиков того времени. Он оказался одновременно и хорошим маркетинговым ходом («большие человекоподобные роботы»), и одновременно заложил бомбу под любые попытки реализовать подобные проекты в реальном мире, особенно на ранних этапах.

Все инициативы в этой сфере сталкивались с завышенными ожиданиями, именно «благодаря» слишком громкому названию. Настоящий «искусственный интеллект» все еще недоступен, а все примеры того, что мы видим, ограничены конкретными и достаточно узкими задачами.

Эта индустрия переживала несколько подъемов и спадов, но по-настоящему применять технологии искусственного интеллекта мы начали лишь с переходом от попыток создать «мыслящую машину» к переводу уже существующих знаний и опыта в электронную форму.

Первые попытки создать искусственный интеллект проваливались из-за того, что его создатели пытались пойти по пути создания универсальных «решателей задач». Ожидалось, что они могли бы в будущем самостоятельно дорасти до уровня мышления человека. Но на выходе получался экспоненциальный рост вычислительной сложности, да и модели на выходе все равно оставались слишком узкими и нестабильными.

Прорыв случился именно тогда, когда вместо создания умных алгоритмов начали оцифровывать уже существующие знания и опыт. То есть вместо «универсального решателя задач» фокус сместился на решение конкретных задач с использованием знаний и опыта доступных экспертов.

Самый известный пример — Рей Далио. Когда он говорит о своей внутренней системе принятия инвестиционных решений, мы легко можем увидеть там экспертную систему. Причем он пытается нанимать лучших из лучших экспертов отнюдь не для того, чтобы использовать их экспертизу в реальном времени. Вся экспертиза нанятых людей постепенно оцифровывается, и на выходе накопленный массив опыта сотен экспертов дает ощутимое конкурентное преимущество для его инвестиционного фонда.

Основное отличие экспертных систем от обычного программирования — в четком разделении знаний и кода.

Когда программист пишет программу, он как бы фиксирует свои знания в коде: последовательность вызова процедур, условия, циклы, методы обработки данных. В итоге мы получаем «кашу» из сугубо технических деталей и того, что мы могли бы описать словами как «знания» или «опыт». В типичной программе до 99% кода — именно технические детали реализации, к слову.

Экспертные системы строятся совсем по-другому: основной упор идет на накопление знаний в разнообразной форме во внешних базах данных, а алгоритмы их обработки остаются достаточно простыми и фиксированными. При этом нам не нужно переписывать программу каждый раз, когда мы вносим новые знания, либо обнаруживаем ошибку в предыдущих знаниях.

Эта концепция «разделения знаний и кода» отличается от «разделения данных и кода» в программировании, поскольку программист работает исключительно с внешними данными, все равно перенося знания в код. Последовательность обработки данных, форматы ввода и вывода, интерфейсы — знания, как ни крути.

Инженер знаний — тот самый человек, который оцифровывает доступную экспертизу, переводя ее в электронную форму. Его работа сильно отличается от работы обычного программиста: он больше занимается поиском, получением, оцифровкой, накоплением и управлением знаниями и экспертизой, нежели кодингом.

На практике вообще нет проблем с техническими аспектами реализации алгоритмов экспертных систем. Они, как правило, «деревянные», поскольку самая концептуально сложная часть остается всегда вне кода. Но вот именно получение и накопление знаний выходит на первый план.

К слову, мы можем вообще обойтись без экспертов в случаях, когда у нас есть достаточно большие объемы данных. Это — то, чем занимаются специалисты по BigData: они выделяют знания из данных, по сути. Нейронные сети тоже находят свое применение как инструменты разработки и оптимизации экспертных систем.

Казалось бы, что на текущий момент именно получение и накопление знаний является самой сложной проблемой в этой области.

Но, на практике, именно практическая применимость технологий является основным вызовом: мало выделить и оцифровать знания, нужно еще и найти им применение. И, самое главное, внедрить до конца, до результатов в реальном мире. Чтобы знания не просто «были», но использовались максимально эффективно.

Это и есть основное направление моей работы в последнее время.