Искусственный интеллект предсказал итоги ЧМ-2018. Почему не угадал?

Р. Баранов, инновации. Комментарий об ИИ в футболе и финансах

20.07.2018


			Искусственный интеллект предсказал итоги ЧМ-2018. Почему не угадал?			Искусственный интеллект предсказал итоги ЧМ-2018. Почему не угадал?

Искусственному интеллекту предрекают блестящее будущее. Перед чемпионатом мира по футболу 2018 ученые-исследователи и аналитики инвестбанков подключили большие данные, машинное обучение, нейронные сети, чтобы предсказать победителя. Однако спрогнозировать реального чемпиона – Францию — не смог никто. Почему так получилось? Искусственный интеллект оказался не таким умным, как о нем думают?

Кого обещали в чемпионы 

Математические модели прогнозируют не первый чемпионат, но технологии стремительно развиваются, поэтому на свежие прогнозы возлагались большие надежды.

В Техническом университете Дортмунда подключили способ машинного обучения random forest («случайный лес») и получили сто тысяч различных вариантов развития событий чемпионата мира. Вероятными победителями назвали Испанию (17,8%) и Германию (17,1%).

Аналогичную методику применил инвестиционный банк Goldman Sachs: проанализировали порядка миллиона вариантов развития событий, получили победу Бразилии. Испания, по прогнозу Goldman Sachs, должна была вылететь в первом раунде плей-офф (здесь угадали).

18 аналитиков швейцарского банка UBS моделировали чемпионат мира около десяти тысяч раз и получили вероятное чемпионство Германии (24%). Бразильцам давали 19,8%, испанцам 16,1%, французам только 7,3%.

Commerzbank использовал «Монте-Карло», метод «случайного моделирования», который учитывал все, что можно: футбольный рейтинг Эло, предыдущие результаты сборных, факт проведения ЧМ в России, даже возможные сенсации. Провели около десяти тысяч симуляций для каждого из матчей, чемпионом должна была стать Германия.

Ученые Инсбрукского университета работали с моделью «букмекерского консенсуса», которую создали в 2009 году три сотрудника Венского экономического университета Кристофер Ляйтнер, Ахим Цайляйс и Курт Хорник. Модель предсказала чемпионство Бразилии.

Американская компания спортивной статистики Gracenote на основе анализа Big Data предсказала возможность сенсации: чемпионом мира может сборная не из тех, которые побеждают с 1970 года (Бразилия, Германия, Аргентина, Испания или Франция). Gracenote получила 47% вероятности, что чемпион будет совершенно новым, например, Колумбия или даже Перу, которой вообще не было на чемпионатах мира с 1982 года.

Gracenote получила 60% вероятности выхода России в плей-офф со второго места своей группы, — это сбылось.


Один из прогнозов на ЧМ-2018, сделанных искусственным интеллектом

С прогнозами на Россию почти получилось у Danske Bank. В расчетах этого банка, который подключил тот же метод стохастического моделирования «Монте-Карло», наша сборная получала семь очков и первое место в группе. Дальше из модели Danske Bank следовало — Россия в 1/8 финала попадает на Португалию и проигрывает. Возможно, именно этот прогноз помог Станиславу Черчесову разработать верный турнирный путь. Победу в Danske Bank обещали сборной Бразилии (17% вероятности), Германии и Аргентине давали по 12%.

Почти все мимо

Любопытно сопоставить шесть обнародованных банками и исследователями прогнозов. Три раза чемпионство отдавали немцам, три бразильцам. Хорватию никто из прогнозистов не увидел даже в первой десятке, только Инсбрукский университет давал хорватам 10-е место в рэнкинге вероятности чемпионства. Франция получала четыре пятых места, одно четвертое, одно третье (Reuters).

Обратим внимание, что самый удачный прогноз, от Reuters, не был машинным, агентство просто опросило 145 аналитиков, экономистов, стратегов.

Кстати, в 2014 году UBS проводил подобное исследование, которое выдавало победу Бразилии. В этом мало кто сомневался без машинного анализа, бразильцы обязаны были выиграть домашний чемпионат мира, но рухнули в полуфинале с немцами, которые потом стали чемпионами.

Футбол не поддался 

Банки продвигали свои инновационные методы и машинные прогнозы именно как действующие инструменты анализа, в том числе финансового. Теперь эти инструменты поставлены под сомнение вместе с качеством машинной аналитики инвестбанков. Многие животные в прогнозах через выбор еды вновь оказались точнее. Не говоря уже о ныне покойном осьминоге Пауле из немецкого зоопарка — тот вообще почти не ошибался.

Футбол пока не поддается машинным прогнозам, которые оказались составленными по знаменитому принципу «играют 22 человека, а выигрывают немцы», ну или бразильцы.

Одна из букмекерских контор утверждает, что разработала уникальный «авторский» искусственный интеллект, который достаточно точно выдает результаты спортивных событий, делает ставки и уверенно выходит в плюс. Статистику робота можно посмотреть на сайте букмекерской конторы, но и это, видимо, маркетинговый ход.

Успехи искусственного интеллекта

Некоторые успехи у искусственного интеллекта в прогнозировании все же есть.

Компания IBM доверила начала предсказывать вероятную эффективность сотрудников искусственному интеллекту Watson своей собственной разработки. Этот интеллект составляет прогнозы производительности каждого сотрудника компании, а их по всему миру 380 тысяч. Система отслеживает навыки сотрудника, оценивает его опыт, анализирует данные о развитии человека и пытается предсказать, пригодится ли он IBM дальше, а если да, то как. В компании утверждают, что Watson справляется со своей задачей на 96%, но критерии результативности этого искусственного интеллекта неизвестны, в компании говорят, что сравнивают точность предсказаний «Ватсона» с тем, что вышло по жизни. А для людей крайне важно, что оценки искусственного интеллекта влияют на начисление премий и карьерные перспективы.

Есть искусственному интеллекту место в творческих процессах. Исследователи Disney Research и University of Massachusetts в Бостоне разработали нейронные сети, которые пробуют оценивать, понравятся ли людям те или иные короткие рассказы. Ученые подчеркивают, что нейронные сети не претендуют на статус литературных критиков, но по определенным алгоритмам довольно точно предсказывают коммерческий успех или неудачу литературного произведения.

В американских клиниках начали предлагать машинные предсказания вероятности смерти пациента в течение года. Уверяют, что точность прогноза достигла 90%. Хотя еще в восемнадцатом веке французский математик и сторонник теории вероятности Абрахам де Муавр самостоятельно рассчитал день своей смерти. На девятом десятке жизни математик обратил внимание, что каждое утро просыпается позже на пятнадцать минут. Де Муавр логично предположил, что когда эти минуты сложатся в 24 часа, он умрет. Расчеты оказались точными, математик скончался в предсказанный им самим день 27 ноября 1754 года.

Способны ли технологии в перспективе обеспечить стопроцентно точные прогнозы или количество вариантов развития событий всегда будет превышать возможности алгоритмов?  Если технологии достигнут стопроцентной точности прогнозирования, зачем вообще проводить чемпионаты? Чем еще инновации могут помочь спорту? На эти вопросы «Городу 812» ответили в международной компании Teradata, которая специализируется на улучшении аналитических возможностей.

Человеческий фактор в футболе остается непредсказуемым

А вот что думают по поводу машинных футбольных прогнозов в компании Navicon — одном из российских лидеров в области ИТ-консалтинга и системной интеграции.

Директор по развитию бизнеса ИТ-компании Navicon Роман Баранов.

— В спорте есть множество переменных данных, которые невозможно предсказать: травмы в футболе, погода, судейские ошибки, болельщики, выбегающие на поле. Как, собственно говоря, и в финансах: курс валюты и биржевые индексы поддаются прогнозу в рамках того исходного набора данных, который заложен в системе. Число предикторов для прогноза и в одном, и в другом случае получается необычайно высоким и, главное, далеко не все эти данные есть в оцифрованном виде, поэтому 100% точности добиться от прогнозных систем на сегодняшнем уровне развития технологий невозможно.

Тем не менее, ИТ для финансов развивается очень активно: на рынке появляется все больше финтех-«единорогов», а глобальные инвестиции в технологии для финансовых компаний за 2014-2017 годы росли со среднегодовой скоростью в более чем 18% и достигли почти 40 млрд долларов, по данным FinTech Global. И постепенно прогнозные модели для финансового сектора становятся все более «умными» —  уже сейчас машины принимают решения лучше среднестатистического брокера, и с годами их точность будет только расти.

Одновременно развиваются и технологии для спорта: уже применяются VAR (видео-помощники судей), глобальные и локальные трекинг-системы (GPS и LPS), предназначенные для сбора данных об игроках для спортивного анализа и медиа-обработки, акселерометры, или носимая электроника, измеряющая биологические и физиологические показатели игроков. И даже системы прогнозирования/оптимизации в виде «помощника тренера» уже работают.

Во-первых, например, телеметрия игроков во время матчей все еще запрещена. Да, в рамках тренировок можно снимать показатели —  это сильно помогает готовить команды и сокращает количество помощников тренера, так как тренер, по сути, видит всю команду и все показатели сразу на бумаге/планшете. Но тренировка отличается от игры – эмоциональное состояние в игре и физические показатели на конкретном поле отличаются от отрабатываемых «стандартов» на тренировке. Мы не можем заложить в систему точные данные по каждому игроку, а значит, в итоге прогноз «по ходу» матча не будет таким уж точным.

Во-вторых, всегда есть вероятность непредвиденных ходов: многие команды во время прошедшего чемпионата смогли нас действительно удивить, и вот такой «человеческий» фактор в игре всегда будет оставаться. Но ведь именно за это мы и любим футбол, правда?

Статья опубликована на сайте Город 812

Gartner включил Navicon в список поставщиков CRM для фармацевтических и биотехнологических компаний

Navicon стал «Партнёром года» Microsoft в России

Navicon подтвердил соответствие международным стандартам кибербезопасности

Классический банк обречен на умирание

Выручка Navicon от аналитики выросла на 198%