а чем измеряется искусственный интеллект
На что способен искусственный интеллект сегодня и каков его потенциал
Три типа искусственного интеллекта
На сегодняшний день искусственный интеллект ученые определяют, как алгоритмы, способные самообучаться, чтобы применять эти знания для достижения поставленных человеком целей. Системы машинного обучения (основной подраздел ИИ) автоматизировали процессы во всех жизненно важных областях, включая банкинг, ретейл, медицину, безопасность, промышленность.
Выделяют три вида искусственного интеллекта: слабый (Narrow AI), сильный (AGI) и супер-ИИ (Super AI).
Первый вид используются повсеместно (включая голосовых ассистентов, рекламу в соцсетях, распознавание лиц, поиск романтических партнеров в приложениях и так далее); эти системы слабого ИИ единственные доступные на сегодня.
Сильный ИИ максимально приближен к способностям человеческого интеллекта и наделен по классическому определению Тьюринга самосознанием; по мнению экспертов, AGI сформируется примерно к 2075 году, а спустя еще 30 лет придет время для супер-ИИ.
Супер-ИИ мог бы не просто стать подобным людям, но и превзойти лучшие умы человечества во всех областях, при этом перепрограммируя самого себя, продолжая совершенствоваться и, вероятно, разрабатывая новые системы и алгоритмы самостоятельно.
На что способен искусственный интеллект уже сейчас
Оценить динамику может каждый, кто пользуется автоматическими переводчиками. Еще лет пять назад Google Translate более-менее сносно справлялся с отдельными наборами фраз и предложениями, тогда как сегодня программа переводит большие смысловые блоки, нейросети учитывают контекст, оперируют огромными массивами статистических данных. Сейчас можно читать статьи на хинди, китайском, арабском, не зная языка.
ИИ давно используется в финансовой сфере для оценки платежеспособности заемщика. Есть вам отказали в выдаче кредита на первом этапе ― вас отсеял именно искусственный интеллект. В США в некоторых штатах ИИ применяют в судебной системе для оценки продолжительности тюремных сроков для обвиняемых.
Алгоритмы помогают врачам ставить диагнозы. Например, «СберМедИИ» (входит в экосистему «Сбера») и Лаборатория по искусственному интеллекту Сбербанка совместно разработали приложение AI Resp: нейросеть анализирует голос пациента, дыхание и кашель, чтобы определить вероятность коронавирусной инфекции. Ранее Лаборатория по ИИ и «СберМедИИ» представили онлайн-сервис «КТ Легких», определяющий локализацию и степень поражения легких для диагностики вирусной пневмонии, в том числе COVID-19, по снимкам компьютерной томографии. Также при использовании этого сервиса ИИ позволяет выявлять онкологические заболевания на ранней стадии при анализе КТ грудной клетки и может помогать врачам при диагностике.
На данный момент разработано несколько значимых технологий в сфере искусственного интеллекта.
Искусственный интеллект превосходит людей по IQ и креативности: в викторинах он набирает на 40% больше баллов, по вопросам SAT (тест для оценки знаний абитуриентов США) — на 15% больше баллов, чем средний абитуриент колледжа.
Роль ИИ в экономике
Влияние пандемии на внедрение ИИ в бизнесе
Кризис только ускорил внедрение ИИ, и этот импульс сохранится в дальнейшем, показывают опросы: большинство компаний (52%) стали быстрее внедрять ИИ из-за пандемии, 86% респондентов утверждают, что ИИ становится «основной технологией» в их компании.
Почти три четверти бизнес-лидеров положительно оценивают роль ИИ после пандемии и сопутствующего кризиса. Большинство руководителей (74%) не только ожидают рост эффективности бизнес-процессов, но и создание новых бизнес-моделей (55%), новых продуктов и услуг (54%) — благодаря внедрению ИИ.
По мнению экспертов Оксфордского университета, к 2026 году ИИ напишет эссе, которое сойдет за написанное человеком, заменит водителей грузовиков к 2027 году и станет выполнять работу хирурга к 2053 году. Также ИИ превзойдет людей во всех задачах в течение 45 лет и автоматизирует все рабочие места в течение 120 лет.
Консалтинговая компания Accenture утверждает, что ИИ способен увеличить прибыль компаний в среднем на 38%. По словам экспертов и представителей бизнеса, ИИ помогает компаниям прогнозировать и выявлять проблемы, а также восполняет нехватку навыков сотрудников, хотя до построения бизнес-стратегии искусственным интеллектом еще далеко.
Большинство опрошенных компаний инвестируют в ИИ (90%) и согласны с тем, что данные технологии способствуют развитию бизнеса, выяснили MIT Sloan Management Review и BCG. Тем не менее, компании так и не научились извлекать из ИИ реальную выгоду. И это не единственный проблемный момент в сфере искусственного интеллекта.
Основные вызовы технологии ИИ
Бизнес-процессы
Чтобы компания извлекала прибыль, недостаточно вложить средства в алгоритм и получить первые успешные результаты после запуска пилотного проекта. Внедрение ИИ — это многоуровневый процесс, включающий культурные изменения в компании, найм и обучение специалистов по data science, автоматизацию и построение бизнес-процессов с учетом алгоритмов, и на этом весь список не заканчивается.
«Говоря о внедрениях, необходимо приложить усилия в пропорциях 10–20–70. То есть, примерно 10% усилий должно уйти на создание алгоритма, 20% на построение технологии и 70% на организацию бизнес-процессов. Компания должна быть на определенном уровне технологической зрелости для того, чтобы внедрение ИИ приносило пользу», — говорит Леонид Жуков, генеральный директор Института Искусственного Интеллекта AIRI, старший управляющий директор Лаборатории по искусственному интеллекту Сбербанка.
Выступая на международной конференции Сбера AI Journey 2021, Юрген Шмидхубер, ученый в области искусственного интеллекта, главный научный советник Института Искусственного Интеллекта AIRI и научный руководитель компании NNAISENSE отметил, что компании в основном сосредоточены на своих частных проблемах, а не на развитии технологий искусственного интеллекта: большая часть их прибыли от ИИ приходится на маркетинг и продажу рекламы.
Такие гиганты как Alibaba, Amazon, Facebook, Google массово используют глубокие искусственные нейронные сети, например, Long-Short-Term Memory, чтобы предсказать спрос пользователей и дольше удерживать их на своих платформах, заставляя переходить по большему количеству рекламных объявлений.
Нехватка специалистов
ИИ развивается с высокой скоростью, и то, что называлось полгода назад state-of-the-art (высшим уровнем развития), сегодня может оказаться средней разработкой. Если раньше в сфере искусственного интеллекта была занята узкая прослойка специалистов, сейчас при таком огромном спросе попросту не хватает квалифицированных кадров, способных справиться с постоянно развивающейся технологией, отмечает Жуков.
Спрос на ИИ-специалистов вырос на 74% за 2016–2019 годы, сейчас две из пяти компаний, использующих ИИ на продвинутом уровне, отмечают острую нехватку специалистов, трудности с наймом также возглавляют список проблем в области ИИ.
Проблемы машинного обучения
Качество данных — второе по значимости препятствие для внедрения ИИ, после нехватки специалистов. Для успешных результатов алгоритмам необходимы качественные «вводные», включая размеченные и чистые данные. Неправильно заданные паттерны могут провоцировать систему делать ложные выводы: например, ошибочно сигнализировать о мошеннической транзакции, или осудить невиновного.
На качество влияет и степень предвзятости, или bias, включая гендерные и расовые предрассудки, которым может быть подвержен человек, работающий с алгоритмом.
Количество данных. Помимо качества, компьютеру все еще требуется большой объем данных и ресурсов для выполнения простейших задач. Отличать собак от кошек ИИ научится за три дня, задействуя 10 млн изображений и 16 000 компьютеров, в то время как ребенку хватило бы пары фотографий и нескольких минут. Если бы модель GPT-3 обучали читать и писать статьи не на суперкомпьютере, а на обычном ПК, весь процесс занял бы примерно 500 лет.
«На данный момент перед исследователями ИИ стоят несколько вызовов. Это умение искусственного интеллекта ставить перед собой новые задачи на основе имеющихся знаний; способность обучаться, не забывая полученные знания; и умение учиться разбивать цель на подцели. Преодоление этих проблем приблизит ученых к созданию таких машин, которые смогут лучше понимать человека и помогать достижению все более амбициозных целей», — отмечает Михаил Бурцев, директор по фундаментальным исследованиям Института Искусственного Интеллекта AIRI, заведующий Лабораторией нейронных систем и глубинного обучения МФТИ.
Применение в другом контексте. Хотя искусственный интеллект сегодня способен выполнять различные функции — от распознавания кошек и собак до предсказания поломок на нефтяных платформах, — это все еще узконаправленные задачи. ИИ пока что не умеет применять полученные навыки в непривычных условиях.
Влияние на климат
Проблема потребления энергии искусственным интеллектом напрямую связана с количеством ресурсов, задействованных в обработке данных. Обучение же одной NLP-модели (подобной GPT) требует столько же энергии, сколько автомобиль за весь его срок службы, и производит в пять раз больше CO2.
Во всем мире центры обработки данных потребляют около 200 ТВт·ч электроэнергии в год — больше, чем некоторые страны. В то же время, есть и противоположный эффект — ИИ поможет снизить выбросы парниковых газов на 1,5–4% к 2030 году, согласно отчету Европейского парламента.
Использование ИИ в науке
Машинное обучение стало ключевым инструментом исследователей из разных областей, однако потенциал ИИ в науке еще предстоит раскрыть, отмечает Леонид Жуков. Стимулирование новых открытий с помощью ИИ актуально, например, в области создания новых материалов при помощи вычислений или в прогнозировании изменений климата для разработки стратегий повышения устойчивости к изменениям окружающей среды. Например, в рамках стремления к достижению углеродной нейтральности, ученые из группы поиска новых материалов Института AIRI совместно со Сбербанком разработали прототипы моделей, позволяющих оптимизировать контроль качества на производстве солнечных батарей.
В перспективе машинное обучение может активнее применяться для охраны дикой природы в малодоступных регионах и подсчете особей, понимания сложной органической химии и в исследовании темной материи.
Как оценивать интеллект? Подход Google
В ноябре 2019 года вышла программная статья от Google «Об оценке интеллекта» Франсуа Шолле (создатель Keras).
64 страницы посвящены тому, как появилось современное понимание ИИ, почему машинное обучение от него так далеко, и почему мы все еще не можем адекватно измерить «интеллект».
Чтобы отбор был честным, задание для всех одно: залезьте на дерево
Наша команда занимается NLP и общей методологией ИИ-тестов, учитывая последние тренды в универсальных трансформерах типа BERT, которые оцениваются тестами на логику и здравый смысл. Так, NLP забирает в себя все новые задачи, связанные с воспроизведением все более сложных действий и по сути отражающих механизмы мышления. Оказалось, что и другие области ML отхватили свой кусок пирога в этом направлении. Например, CV — «Animal AI Challenge».
Понятно, что сейчас “лучше” при возможности делать ML-модели более интерпретируемыми, не использовать 10 маленьких классификаторов, а тренировать одну модель, и так далее, но насколько это все-таки далеко от реального “интеллекта”?
Программная статья дает подробный и разгромный разбор исследований в сфере технической оценки современного ИИ.
В конце статьи автор предлагает свой собственный тест и датасет к нему: Abstraction and Reasoning Corpus (ARC), привязанный к абстрактному мышлению.
Но обо всем подробнее.
Конспект “On the Measure of Intelligence“
Чтобы сознательно создавать более интеллектуальные и более похожие на человека искусственные системы, нам требуется ясное определение интеллекта и умение оценивать его. Это нужно, чтобы корректно сравнивать две системы, или систему с человеком. За последнее столетие предпринималось много попыток определить и измерить интеллект как в области психологии, так и в области ИИ.
Современное ML-сообщество по-прежнему любит сравнивать умения, которые демонстрируют ИИ и люди – при игре в настольные и компьютерные игры, при решении задач. Но для оценки интеллекта мало измерить только умение решать поставленную задачу. Почему? Потому что это умение во многом формируется не интеллектом, а прежними знаниями и опытом. А их можно «купить». Скармливая системе неограниченный объём обучающих данных или предварительной информации, экспериментаторы могут не только вывести машину на произвольный уровень навыков, но и скрыть то, насколько способна к интеллектуальному обобщению сама система.
В статье предлагается 1) новое официальное определение интеллекта на основе эффективности приобретения навыков; 2) новый тест на способность формирования абстракций и логических выводов (Abstraction and Reasoning Corpus, ARC). ARC можно использовать для измерения человеческой формы сильного подвижного интеллекта, это позволяет численно сравнивать относительно сильный интеллект систем ИИ и человека.
Необходимо практически полезное определение интеллекта и его метрик
Цель развития ИИ – в создании машин с интеллектом, который сопоставим с интеллектом людей. (Так цель была сформулирована с момента зарождения искусственного интеллекта в начале 50-х годов ХХ века, и с тех пор эта формулировка сохраняется).
Но пока мы можем создавать системы, которые хорошо справляются с конкретными задачами. Эти системы несовершенны: они хрупки, требуют всё больше и больше данных, неспособны разобраться в примерах, слегка отклоняющихся от обучающей выборки, а также не могут перенастраиваться на решение новых задач без помощи людей.
Причина этого в том, что мы до сих пор не можем однозначно ответить на вопрос о том, что такое интеллект. Существующие тесты, например, тест Тьюринга [11] и премия Лёбнера [10], не могут служить драйверами прогресса, поскольку полностью исключают возможность объективно определить и измерить интеллект, а опираются на субъективную оценку.
Наша цель – указать на неявные предубеждения в отрасли, а также предложить имеющее практическую ценность формальное определение и критерии оценки сильного интеллекта, подобного интеллекту человека.
Определение интеллекта: два противоречивых подхода
Суммарное базовое определение ИИ звучит так: «Интеллект измеряет способность агента достигать целей в широком диапазоне сред». Ничего не объясняет?
Весь конфликт в современной науке сводится к тому, что считать отправной точкой естественного интеллекта:
Оценка ИИ: от оценки умений к оценке широких способностей
Тесты на заданных наборах данных стали главным драйвером прогресса в области ИИ, поскольку они воспроизводимы (тестовый набор фиксирован), справедливы (тестовый набор одинаков для всех), масштабируемы (многократное повторение теста не ведет к высоким расходам). Многие популярные тесты — DARPA Grand Challenge [3], Netflix Prize — внесли вклад в развитие новых алгоритмов ML-моделей.
При положительных результатах, даже добытых кратчайшим путем (с оверфиттингом и костылями), ожидаемый уровень качества постоянно поднимается. МакКордак назвала это «эффектом ИИ»: «Каждый раз, когда кто-то придумывал новый способ заставить компьютер делать нечто новое (играть в шашки) – обязательно появлялись критики, которые говорили: “Это не мышление”» [7]. Когда мы знаем, как именно машина делает что-то «умное», мы перестаем считать это умным.
«Эффект ИИ» появляется потому, что путаются процесс использования интеллекта (например, процесс обучения нейросети игре в шахматы) и артефакт, создаваемый таким процессом (получившаяся модель). Причина путаницы проста – в человеке эти две вещи неразделимы.
Для отхода от оценки лишь артефактов, а само способности к обучению и приобретению новых навыков вводят понятие “диапазона обобщения”, при котором система принимает градуальные значения.
В настоящее время мы выходимся на новом этапе, в котором стремимся создавать гибкие системы — возрастает интерес к использованию широкого набора тестовых заданий для оценки систем, развивающих гибкость:
Новая концепция
Как сравнивать искусственный интеллект с человеческим, если уровень различных познавательных способностей у разных людей неодинаков?
Результаты тестов на интеллект у людей с разными способностями могут совпадать – это общеизвестный факт когнитивной психологии. Он показывает, что познание – это многомерный объект, структурированный иерархически по образу пирамиды с широкими и узкими навыками, наверху которой находится фактор общего интеллекта. Но действительно ли «сильный интеллект» – это вершина когнитивной пирамиды?
Теорема «бесплатных обедов не бывает» [14, 15] говорит нам о том, что любые два алгоритма оптимизации (включая человеческий интеллект) эквивалентны, когда их производительность усредняется для каждой возможной задачи. То есть для того, чтобы добиться производительности выше случайной, алгоритмы должны быть заточены под свою целевую задачу. Однако в данном контексте под «любой возможной задачей» подразумевается равномерное распределение по предметной области. Распределение задач, которые были бы актуальны именно для нашей Вселенной, не соответствовало бы такому определению. Таким образом, мы можем задать следующий вопрос: является ли фактор интеллекта человека универсальным?
В действительности люди пока собрали слишком мало информации о когнитивных способностях окружающих их агентов — других людей (в разных культурах “умность” оценивается по-разному) и животных, например, осьминогов или китов.
Судя по всему, человеческий интеллект далеко не универсален: он непригоден для большого ряда задач, под которые не адаптированы наши врожденные априорные знания.
Например, люди могут очень эффективно решать некоторые небольшие задачи полиномиальной сложности, если те мыслительно пересекаются с эволюционно знакомыми задачами вроде навигации. Так, задача коммивояжера с небольшим количеством точек может быть решена человеком почти оптимально за почти линейное оптимальное время [6], с использованием стратегии восприятия. Однако, если вместо «нахождения кратчайшего пути» попросить его найти самый длинный путь [5], то человек справится сильно хуже, чем один из простейших эвристических алгоритмов: алгоритм «дальнего соседа».
Авторы утверждают, что человеческое познание развивается по той же схеме, что и физические способности человека: и то, и другое развивалось в процессе эволюции для решения конкретных задач в конкретных средах (эти задачи известны как «четыре F» — четыре основных инстинкта: fighting, fleeing, feeding and fornicating: бей, беги, кормись и размножайся).
Основной посыл этой работы заключается в том, что «сильный интеллект» – это свойство системы, которое нельзя определить бинарно: «либо оно есть, либо нет». Нет, это диапазон, зависящий от:
Чего ожидать от идеального теста ИИ?
Предлагаемый тест: массив данных ARC
ARC можно рассматривать как эталонный тест сильного искусственного интеллекта, как эталонный тест программного синтеза или как психометрический тест интеллекта. Он нацелен как на людей, так и на системы искусственного интеллекта, предназначенные для имитации сильного подвижного интеллекта, сходного с интеллектом человека. По формату он чем-то напоминает прогрессивные матрицы Равена [4], классический тест на IQ, восходящий к 1930-м годам.
В состав ARC входят два набора данных: обучающий и оценочный. В обучающем наборе 400, а в оценочном — 600 задач.
При этом оценочный набор также делится на два: открытый (400 задач) и закрытый (200 задач). Все предложенные задачи уникальны, и набор оценочных задач не пересекается с набором обучающих.
Каждая задача состоит из небольшого количества демонстрационных и тестовых примеров. Демонстрационных в среднем 3,3 на задачу, тестовых – от одного до трех, чаще всего один. Каждый пример, в свою очередь, состоит из input grid и output grid.
Такая «сетка» – это матрица из определенных символов (каждый из которых, как правило, выделяется определенным цветом):
Всего уникальных символов (или цветов) — 10. «Сетка» может быть любой высоты или ширины – от 1×1 до 30×30 включительно (средняя высота — 9, средняя ширина — 10).
При решении оценочной задачи участник тестирования получает доступ к обучающим примерам (как к «входной», так и к «выходной сетке»), а также к начальным условиям для выполнения тестового задания – «входной сетке» соответствующих тестовых (оценочных) примеров. Далее участник тестирования должен построить собственную «выходную сетку» для «входной сетки» каждого тестового примера.
Построение «выходной сетки» осуществляется исключительно с нуля, то есть участник тестирования должен сам решить, какова должна быть высота и ширина этой «сетки», какие символы следует в нее поместить и куда. Считается, что задача решена успешно, если участник тестирования может дать точный и правильный ответ по всем входящим в нее тестовым примерам (двухчастный показатель успеха).
Наличие закрытого оценочного набора позволяет нам строго следить за чистотой оценки в условиях открытого конкурса. Примеры заданий ARC:
Задача, неявная цель которой заключается в том, чтобы закончить симметричную схему. Характер этой задачи определяется тремя входными/выходными примерами. Участник тестирования должен составить выходную сетку, соответствующую входной (см. внизу справа).
Задача по устранению «шумов».
Красный объект «перемещается» по направлению к голубому, пока не входит с ним в «контакт».
Задача, неявная цель которой заключается в том, чтобы продолжить (экстраполировать) диагональную линию, которая «отскакивает» при контакте с красным препятствием.
Задача, где необходимо выполнить разом целый ряд действий: «продолжить линию», «обойти препятствия» и «эффективно достичь конечной цели» (в реальной задаче приводится больше демонстрационных пар).
ARC не предоставляется как идеальный и законченный тест, тем не менее, он обладает важными свойствами:
Как вы думаете — может, основная идея будет более успешна, если удастся отвлечь внимание сообщества сильнго ИИ от попыток превзойти людей в конкретных задачах?
Как считать эффективность искусственного интеллекта (на примере умного экскаватора)
Технический директор и руководитель направления ИИ Zyfra Robotics Дмитрий Луковкин рассказывает, какие есть подходы к определению мощности и эффективности ИИ и как посчитать эффективность нашего решения на основе машинного зрения «Умный экскаватор».
Технический директор и руководитель направления ИИ Zyfra Robotics
В Zyfra Robotics мы занимаемся разработкой автономных самосвалов, автономных буровых станков и других роботов и решений для горной промышленности. В этом материале я хочу рассказать, как мы считаем эффективность нашего решения на основе машинного зрения «Умный экскаватор». Но для начала давайте в целом рассмотрим, какие подходы к определению мощности и эффективности ИИ в мире есть и на чем они основаны. Если некогда читать теорию, спускайтесь сразу в раздел «Расчет эффективности ИИ на примере».
В далеком XVIII веке, когда паровые машины начали заменять коней, для оценки их мощности придумали понятие «лошадиная сила». Термин ввел в оборот шотландский инженер Джеймс Уатт, чтобы показать, сколько лошадей заменяет его паровая машина. Однако мощность машины не то же самое, что ее эффективность – для оценки эффективности необходимо соотнести достигнутый результат и использованные ресурсы.
В экономике, бизнесе и производстве приняты различные критерии и показатели для оценки эффективности. Одним из первых показателей эффективности в науке и технике был коэффициент полезного действия (КПД) — отношение полезно использованной энергии к энергии, затраченной в целом. Еще различают операционную эффективность, соотношение между задействованными ресурсами и конечными результатами работы предприятия, и энергоэффективность, например, для автомобиля она может измеряться в литрах бензина на 100 км пробега.
С появлением и распространением решений на базе искусственного интеллекта встал вопрос о том, в чем измерять их «мощность» и эффективность.
В первую очередь надо отметить, что сам ИИ, вернее его мощность и эффективность, измерить не так-то просто, так как мы еще не до конца определились с определениями. С момента выхода основополагающей статьи Алана Тьюринга «Computing Machinery and Intelligence» в 1950 году (Turing, 1950) было предложено множество формальных и неформальных определений интеллекта, при этом консенсус в научном сообществе так и не был достигнут.
В контексте данного материала мы примем определение, синтезированное Шейном Леггом, сооснователем DeepMind: intelligence measures an agent’s ability to achieve goals in a wide range of environments (Legg & Hutter, 2007). С учетом того, что понятия intelligence на английском и «интеллект» на русском не вполне соответствуют друг другу, сформулирую так: интеллект агента характеризуется способностью агента добиваться целей в широком диапазоне окружений. Понятно, что данное определение не является ни формальным, ни строгим.
Теперь, когда мы немного разобрались с тем, что такое искусственный интеллект, давайте подумаем, как измерить его мощность.
По мнению Франсуа Шолле, создателя популярного фреймворка глубокого обучения Keras, параллельно развивались два конфликтующих подхода к оценке мощности или производительности ИИ:
– основанный на оценке результативности решения узких, хорошо определенных задач (игра в шахматы или классификация изображений);
— основанный на оценке способности системы к генерализации или обобщению. То есть речь идет о способности ИИ справляться с ситуациями или задачами, отличающимися от встреченных системой ранее (Chollet, 2019).
Примером первого подхода является широко распространенный бенчмаркинг моделей и их реализаций – такие соревнования, как ILSVRC по распознаванию образов или DARPA Challenge в области автономного вождения.
Со вторым подходом ситуация сложнее, и за вдохновением исследователи в области ИИ обратились к психометрии – разделу психологии, изучающему теорию и методику психологических измерений, включая измерение знаний и способностей личности.
Интерес к психометрии продиктован тем, что психометрические методы годятся для оценки широких когнитивных способностей, а не только навыков решения конкретных задач.
Франсуа Шолле вводит подход и формулу для оценки интеллекта системы, базируясь на алгоритмической теории информации, используя для оценки такие понятия, как опыт, сложность генерализации и априорные предпосылки (Chollet, 2019).
Наверное нет большого смысла пересказывать здесь статью Шолле и вывод формулы, однако необходимо отметить, что, согласно Шолле, интеллект информационной системы прямо пропорционален способности ИС к обобщению и уровню приобретенных навыков решения задач из заданной предметной области, и обратно пропорционален объему априорных знаний, изначально заложенных в систему и объему опыта, полученного ИС при обучении.
Что интересно, автор также выделяет несколько подходов к оценке эффективности интеллектуальных систем:
Кстати, как выяснили исследователи из OpenAI, вычислительная эффективность интеллектуальных систем в области компьютерного зрения выросла в 44 раза за каких-то семь лет — с 2012 по 2019 год (Hernandez et al., 2020). Конкретно, нейронные сети современной архитектуры (EfficientNet-b0) достигают уровня точности классификации AlexNet (79.1% на датасете ImageNet), затрачивая в 22 раза меньше эпох и в 2 раза меньше операций (FLOPS).
К примеру, американский финансовый гигант JP Morgan использует ИИ для анализа соглашений по кредитам. Финансовое учреждение использует платформу Cointract Intelligence (COiN), которая c применением технологии машинного обучения позволяет анализировать информацию с учетом основных условий и ключевых данных за несколько секунд, тогда как раньше на эту задачу уходило ежегодно 360 тыс. часов работы юристов и специалистов по кредитам.
Теперь обещанный пример. Давайте измерим эффективность искусственного интеллекта на примере нашего продукта «Умный экскаватор», который с помощью машинного зрения определяет гранулометрический состав горной породы в ковше экскаватора.
Франсуа Шолле предлагает бенчмарк Abstraction and Reasoning Corpus (ARC) для сравнения интеллектуальных систем, способных к обобщению (Chollet, 2019). Однако наш продукт пока решает достаточно узкую задачу, поэтому мы будем оценивать эффективность по времени в сравнении с эффективностью решения той же задачи силами человека.
Система считает гранулометрический состав горной породы в каждом ковше карьерного экскаватора. Для точности измерения гранулометрического состава в ковше экскаватора проводятся восемь раз в минуту: определяется количество камушков и их размер. Это 480 распознаваний в час.
Теперь посчитаем, сколько человек понадобилось бы, чтобы проделать такую же работу. Для начала оценим производительность человека. Как правило, для разметки используется сервис «Яндекс Толока». Иногда, чтобы проверить качество работы нашей системы, мы направляем сотрудников на разметку — они считают камушки вручную. На разметку одной картинки понадобится примерно час работы человека. Результат — примерно 480 человеческих мозгов или 480 человеко-часов.
Теперь давайте посчитаем стоимость.
На экскаваторы ставится специальный промышленный компьютер в защищенном исполнении на базе ускорителя NVIDIA Jetson. Принято говорить, что решение работает на Edge – т.е. непосредственно там, где находятся механизмы и кипит работа.
Если бы было можно использовать облако, то необходимые нам мощности можно было бы взять в аренду у сервиса вроде Amazon Web Service, услуга бы стоила около 50 центов за час. При работе на экскаваторе стоимость работы в час обходится дороже, поскольку используется особый защищенный компьютер (может работать при любых условиях на разрезе), при таких условиях стоимость часа можно оценить от 75 центов до 1 доллара.
Сколько же будет стоить «ручное» распознавание?
За одно распознавание платим около 65 центов — это около часа работы. Это оценка снизу – оценщики находятся не на карьере, плюс значительная экономия на масштабе. Найм сотрудников в штат, обеспечение им условий труда и промышленной безопасности значительно поднимут стоимость часа работы человека.
Как итог, стоимость работы человека обойдется как минимум столько же, что и использование хорошего компьютера. Только по мощности (человеко-мозг) мы на данной задаче проиграем в 480 раз!
Буду рад услышать ваше мнение от том, как считать эффективность ИИ. Пишите в комментариях.
Если вы интересуетесь искусственным интеллектом для промышленности, то предлагаем почитать другие наши материалы по этой теме: