Большие данные: инструкция по применению

30.05.2016


			Большие данные: инструкция по применению			Большие данные: инструкция по применению

Объем индустрии "больших данных" достиг $45 млрд в год, а отрасль ежегодно прирастает на 20-30%. TatCenter.ru выяснил, где и как применяются большие данные, какая команда нужна для их анализа, и какую пользу они могут принести для бизнеса.

"Сейчас Big Data - это в первую очередь история не про умелое хранение и обработку, а про алгоритмы и интерпретацию. Хотя, безусловно, уже сегодня глобально объем доступной информации оценивается в 8 зеттабайт (зеттабайт — 1 трлн гигабайт), а к 2020 году он вырастет в пять раз", - рассказал в интервью журналу "Деньги" Роман Постников, один из основателей компании oneFactor.

Где применять большие данные

TatCenter.ru решил разобраться, где можно использовать большие данные в бизнесе. С одной стороны - везде, но с другой – только в условиях наличия драйвера, который понимает, что компания получит от исследования накопленных или купленных данных, рассказывает руководитель направления бизнес-аналитики компании КРОК Роман Баранов.

"Под "везде" я понимаю достаточно традиционные сценарии – большими данными интересуются компании-представители высококонкурентных отраслей, таких как финансы, ритейл, телеком, а также компании с госучастием и госорганы, хотя последние, скорее, отдают дань моде.

Но бывают случаи, когда создание ставшего модным отдела аналитики данных может дать вполне положительный результат. Правда, для этого нужен толковый коллектив, который сможет внутри организации "продать" идею того, как монетизировать накопленные данные. Это может пойти и на внутренние нужды, и на продажу агрегированных данных на рынок", - говорит он.

Big Data сегодня развивается в нескольких ключевых направлениях, рассказывает руководитель департамента прогнозной аналитики и оптимизационного планирования ИТ-компании Navicon Алексей Талаев.

Первое - получение новых знаний для повышения эффективности текущих направлений бизнеса или формирования новых. Например, анализ поведенческих паттернов клиентов позволяет предлагать им новые, наиболее актуальные, продукты или вовремя предотвращать уход клиентов к конкуренту.

Второе – это оптимизация расходов и снижение рисков. К примеру, на производстве поломки деталей могут привести к серьезным нарушениям плановых объемов выпуска. Для остановки линии нужно привлечь квалифицированный персонал, провести обслуживание, затратив на него время, ресурсы, часто - привлекая подрядные организации, а это дополнительные расходы. Гораздо выгоднее работать на перспективу, используя информацию от специальных датчиков, которые предустановлены на большинстве современного оборудования, применяя аналитические инструменты Big Data, современные средства оптимизации и анализа, в режиме реального времени оперативно производить мониторинг текущего состояния предприятия, строить точные прогнозные модели за счет своевременной оценки состояния дорогостоящего оборудования.

Третье – это появление на рынке абсолютно новых сервисов и услуг, базирующихся на подходах Big Data. Настолько новых, что мы еще до конца не понимаем весь потенциал, который они открывают для компаний. Например, уже сейчас сервисы, такие как Uber, формируют у себя огромные массивы данных о клиентах– их маршрутах передвижения, финансовых тратах, способах оплаты и т.д.

Тренды на рынке

Уже наметились определенные тренды на рынке. Большую популярность завоевали свободные инструменты работы с данными: такие решения как, ApacheHadoop и ApacheSpark стали практически стандартом даже в больших корпорациях. Выделяется тренд "Интернет вещей" (Internet of Things, IoT), как более узкая область применения "Интернета всего".

"Меняются подходы и способы хранения Big Data - происходит не только переход в облачные системы хранения, но также и перевод инфраструктуры на нереляционные (NoSQL) базы данных, там, где этого требует бизнес. И если в предыдущие годы все думали "чем больше данных, тем лучше", и основным вопросом был "Как же это всё хранить?", то сейчас наблюдается тенденция к развитию интеграционной инфраструктуры разработанных ранее решений, а также делается акцент на разработке более быстродейственных алгоритмов обработки накопленных данных", - объясняет технический директор ИТ-компании "Нетрика" Алексей Смирнов.

Как применять большие данные

Любой компании, перед тем как начать работу с большими данными, важно сначала четко определить с какими данными ей предстоит работать, нужны ли они компании вообще, и если нужны, что с ними делать, и для каких целей использовать.

"Если все-таки компания решила работать с большими данными, обязательно нужно найти специалистов по анализу данных и специалистов по управлению большими объемами данных, которые смогут управлять такими проектами на высшем уровне. В противном случае можно допустить огромное множество ошибок - небольшое колебание вектора разработки нового программного решения может обернуться большими трудозатратами и платой за чрезмерно разросшуюся инфраструктуру", - говорит Смирнов.

Директор Центра информационных технологий Сергей Емельянов предлагает пять шагов для начала работы над большими данными.

  • Начать с ориентации на клиента. Существующие и потенциальные клиенты в любом случае будут находиться под контролем. И они ожидают, что вы будете общаться с ними лично.
  • Взглянуть на существующие потребности. Вместо того чтобы спрашивать, что вы делаете для больших данных, лучше спросите, как большие данные могут помочь вам в достижении уставных целей и в реализации важных проектов.
  • Ищите информацию. Клиенты ожидают, что вы будете использовать имеющиеся у вас данные о них разумно и эффективно по отношению к ним. Расширяйтесь до внешних источников. Например, начинайте анализировать дан­ные социальных сетей, новостные порталы и блоги жителей вашего региона.
  • Поместите большие данные в окружение. Установите допресурсы, которые могут потребоваться для их обработки. Большие данные не должны быть полностью трансформационными. Определите наиболее приоритетные для вас проекты. Начните с малого и довольствуйтесь большими победами.
  • Решайте бизнес-задачи. Сначала Вы должны поставить определённую задачу, затем установите реальные цели и разложите их по полочкам, чтобы можно было видеть результаты. Вопрос не в том, начать или нет работать с большими данными, а в том, с чего начать.
  • Кто всем будет заниматься?

    Для использования больших данных требуется вполне классическая команда. Спонсор, лидер-идеолог и команда, которая может понять, что от нее хотел бы получить лидер. Ну, и, конечно же, команда должна обладать компетенцией по анализу, не бояться программировать на Python/Java/R, и иметь четкое понимание, что многие производители BI-софта начали встраивать в свои продукты функционал Big Data и Advanced Analytics для прогнозирования и построения моделей, либо создавать коннекторы для интеграции с системами этого класса.

    "Последнее необходимо для экономии времени и не всегда приводит к экономии бюджета, равно как и наоборот. Поэтому чаще всего, если в организации уже есть сформированная команда BI-аналитиков, то ничего менять не придется. В крайнем случае – достаточно пройти краткосрочные курсы повышения квалификации по использованию дополнительных методик анализа данных", - говорит Роман Баранов.

    В одних случаях этих людей можно найти и в своей компании, в других - проще нанять. "В России традиционно сильная математическая школа, поэтому острой нехватки кадров на рынке не наблюдается. Направление активно развивается, привлекая к себе все новых специалистов, плюс кадровый рынок регулярно пополняется за счет расширяющих специализацию BI-аналитиков", - говорит Баранов.

    По его словам, спрос на рынке труда также широкий: организациям, заинтересованным в комплексной аналитике, требуются специалисты, работающие с современными фреймворками для анализа больших данных, способные выстраивать техническое решение в четком соответствии с бизнес-целями.

    Хороший аналитик - на вес золота

    "Безусловно, ближайшее будущее для любого бизнеса – это работа на основе анализа получаемой информации. Поэтому будущее – за теми компаниями, которые раньше и лучше других научатся использовать имеющиеся у них данные и подходы Big Data, будь то прогнозирование вариантов развития бизнеса или повышение лояльности и удовлетворенности клиентов. Для этого целесообразно иметь в команде аналитика. Он должен как понимать принципы бизнес-процессов и отраслевую специфику организации, так и как можно шире смотреть на возможности применения данных", - говорит Талаев.

    По его мнению, успешность любого предприятия сегодня можно определить, как баланс между стратегическим видением будущего и возможностями оперативно адаптироваться к стремительно меняющимся условиям ведения бизнеса. Поэтому основные требования к аналитику как одному из центральных звеньев системы – наличие опыта и интеллекта, не замкнутого на себе или одной-единственной рабочей операции, и высокая скорость мышления и работы. "Любое промедление приводит к потере актуальности идеи, но при этом не нужно уходить в крайности: требование высокого качества никто не отменял. Поэтому хороший аналитик сейчас – на вес золота".

    "Далеко не все сферы бизнеса отстают в технологическом развитии"

    Впрочем, пока российский рынок еще недостаточно развит, хотя и есть устойчивый спрос на экспертов по большим данным.

    "Далеко не все сферы бизнеса в России отстают в своем технологическом развитии от мирового рынка. Так, банковские системы, с точки зрения оснащенности передовыми технологиями, сейчас мало в чем уступают, а зачастую даже превосходят западных игроков. Ритейл также старается активно внедрять эффективные решения, особенно на фоне кризиса. Потенциал российского рыка больших данных огромен, и в ближайшие годы темпы его развития будут в разы выше, чем на глобальном рынке", - говорит Смирнов.

    Технологии Big Data и предиктивной аналитики интересны, прежде всего, крупным игрокам, считают эксперты. Это ритейл-сети, FMCG-компании, банки, авиакомпании, владельцы сложного технического оборудования и крупные промпредприятия.

    К примеру, в ритейле технологии Big Data используются для отслеживания поставок и логистических процессов, для FMCG-сегмента работа с Big Data — в выявлении факторов, влияющих на спрос и реализацию товаров, на производстве и в промышленности — в оценке и профилактике состояния оборудования.

    А поскольку во всех отраслях технологии анализа данных могут использоваться для прогнозирования основных сценариев развития бизнеса, то использование больших данных должны применять не только крупняки, но и малый и средний бизнес, резюмируют эксперты.

    Автор: Илья Иванов

    Статья опубликована на www.tatcenter.ru

    Gartner включил Navicon в список поставщиков CRM для фармацевтических и биотехнологических компаний

    Navicon стал «Партнёром года» Microsoft в России

    Navicon и Original Group помогут российским фармкомпаниям вовремя внедрить систему маркировки лекарств

    Navicon разработал портал регистрации продукции для STIHL

    Navicon представил обновлённый стек ИТ-решений для фармацевтики