Big Data в России и в мире
По итогам прошлого года аналитики констатировали общее падение российского ИТ-рынка. Главная причина тому – экономический кризис, неожиданная волатильность рубля. Однако компании, привыкшие использовать в своей работе все возможности инновационных технологий, не спешат отказываться от внедрения новейших ИТ-разработок. Преследуя тенденции мирового рынка, российский бизнес берет курс на Большие данные (Big Data). Согласно прогнозам международной исследовательской компании IDC, общемировые доходы в сегменте решений для обработки и анализа Больших данных будут расти в среднем на 27 процентов ежегодно и к 2017 году превысят 32 миллиарда долларов. Эти показатели примерно в 6 раз обгоняют темпы развития рынка информационных и телекоммуникационных технологий в целом. В перспективе использование Big Data выйдет из рук индивидуальных пользователей и крупных корпораций и станет доступным малому и среднему бизнесу. В России Большие данные уже сегодня пользуются большой популярностью в банковской сфере и телекоме, кроме того, стремительно набирает обороты их применение в ритейле, энергетике, добывающей промышленности, логистических компаниях и госсекторе. Хотя, в сравнении с мировыми масштабами, российский рынок Больших данных очень мал: в 2014 году IDC оценивала его всего лишь в 340 миллионов долларов. Тем не менее, наш рынок демонстрирует впечатляющие темпы роста: уже сейчас он прибавляет в объеме не менее 50 процентов ежегодно. По данным отчета СNews Analytics и Oracle, из 108 опрошенных российских компаний более трети уже приступили к использованию технологий Big Data. Порядка 20 процентов активно работают с такими решениями, а еще 17 процентов готовят пилотные проекты. Анализ исследований, проведенных IDC, позволяет сделать многообещающий вывод: в нашей стране применение Больших данных очень и очень востребовано. Рынок ищет инноваций, которые позволят быстро обрабатывать данные и извлекать из них практическую пользу. А данных для анализа предостаточно: в 2014 году в России уже было накоплено 155 эксабайт информации, а к 2020 году этот объем достигнет 980 эксабайт и займет более 2-х процентов мировых данных.
«Big Data is Dead»?
Итак, получившаяся картина весьма обнадеживает: рынок, готовый активно использовать все преимущества Больших данных растет как в России, так и во всем мире. Откуда же тогда взялся знаменитый девиз Gartner – известной компании, занимающейся исследованиями в области ИТ? Этот девиз звучит как «Big Data is Dead» («Большие данные мертвы») и мелькает в заголовках всех специализированных СМИ с тех пор, как в середине 2015 года Gartner не включила Большие Данные в свой традиционный «Цикл зрелости технологий» (Gartner Hype Cycle Emerging Technologies). Решение Gartner исключить Big Data из «Цикла зрелости» аналитики объясняют просто: извлечение из Больших данных практической пользы для бизнеса оказалось сложнее, чем предполагалось ранее. По словам Ирины Яхиной, руководителя отдела технологических решений московского представительства Hitachi Data Systems (HDS), сама по себе технология Big Data не несет в себе тех преимуществ, которые компании могли бы использовать моментально, не прилагая дополнительных усилий – разве что, позволяет осуществлять ускоренную обработку большого количества информации. «Для того, чтобы Большие данные вызвали прилив спроса со стороны бизнеса, необходимо, пожалуй, только одно: появление на рынке грамотных аналитиков, умеющих извлекать из данных практическую пользу. Такой специалист должен разбираться в специфике работы компании и, вместе с тем, уметь работать с Bid Data, понимать, какую информацию и по каким критериям нужно извлечь, чтобы оптимизировать работу предприятия и открыть новые возможности его развития», — рассказывает Ирина Яхина.
Что может Интернет вещей?
Возможно, по-настоящему оценить достоинства Больших данных можно только приложив эту технологию к другой, вызывающей сегодня у экспертов куда большее одобрение – Интернету вещей (Internet of Things, IoT). Применение технологии Big Data к обработке информации, генерируемой посредством взаимодействия предметов друг с другом, с внешней средой и человеком – а именно это и представляет собой IoT — способно в корне перестроить все существующие общественные, экономические и бизнес-процессы. По прогнозам экспертов, число подключенных к Интернету вещей устройств к 2020 году возрастет почти семикратно: с 7 миллиардов (на 2008 год) до 50 миллиардов устройств.
Внедрение концепции IoT открывает бизнесу колоссальные возможности контроля за эксплуатацией своей продукции, расширению ее объема и поиска маневров для привлечения новых потребителей – все, о чем может мечтать предприниматель. По сути, Интернет вещей может полностью изменить подход к работе предприятия: генерируемые устройствами данные расскажут, в каком состоянии находится проданное изделие и, если необходимо, предложат вызвать мастера на дом; анализ потребностей клиентов позволит в разы ускорить продажи; данные подскажут, как улучшить продукт и какие маркетинговые инструменты выбрать, чтобы отвоевать у конкурентов лакомый участок рынка – и это далеко не все, что может IoT.
Подобные технологии могут показаться немыслимыми – однако рынок уже демонстрирует спрос на них. Так, в июле 2015 года сотрудники Глобального института McKinsey изучили 150 разных способов применения IoT и заключили, что вклад Интернета вещей в экономику к 2025 году составит от 3.9 до 11.1 триллионов долларов. Неудивительно, ведь многие зарубежные производители уже используют актуальную для IoT коммуникацию между техникой (machine-to-machine, М2М) – и повышают тем самым эффективность работы своих изделий. При этом, следить за «общением машин», делать необходимые выводы и управлять ситуацией можно с максимальной скоростью и без участия человека.
Таким образом, скоро новая информационная среда Интернета вещей повлечет за собой и технологическую революцию. На смену пакетной аналитике придет потоковая, позволяющая в режиме реального времени анализировать данные с различных датчиков. «Можно ожидать, что уже в 2016 году ИТ-компании придут к партнерству с компаниями из сферы транспорта, сельского хозяйства, здравоохранения, телекоммуникаций, чтобы реализовать все возможности, которые открывает мир Интернета вещей», — пишет в своем блоге Хью Йошида, технический директор Hitachi Data Systems.
Сама HDS уже движется в этом направлении, активно взаимодействуя с другими подразделениями в составе Hitachi. К примеру, HDS заключила партнерство с компанией Clarion, входящей в Hitachi Group и разрабатывающей технологии для автомобильных информационных систем. Компании объявили о проведении совместных исследований, направленных на создание управляемых данными решений для систем автомобильной электроники нового поколения Clarion. По словам Хью Йошиды, это сотрудничество может дать водителям, страховым компаниям и производителям уникальные знания, которые позволят повысить уровень безопасности на дорогах и получить конкурентные преимущества на растущем автомобильном рынке.
Очевидно, что с повсеместным внедрением Интернета вещей компаниям придется адаптироваться под меняющиеся рыночные условия. При использовании данных, генерируемых IoT, а также при совершенствовании методов их анализа и обработки, любое предприятие будет вынуждено преобразовать свою бизнес-модель. Большинство российских предпринимателей уже отмечают как отсутствие хорошего технического описания приобретаемых технологий, так и их высокую стоимость. Для зарубежных IT-менеджеров основной проблемой пока является огромный масштаб данных, создаваемых Интернетом вещей. Это вполне логично — ведь в течение нескольких лет IoT создаст целую лавину данных. Часть их придется просеивать, а часть – анализировать.
Самое большое «озеро» в мире
И вот тут-то мы вновь возвращаемся к технологии Больших данных, а точнее – к пользе, которую она может принести Интернету вещей в случае, если потоки генерируемой им информации перерастут границы любой системы хранения данных. Речь идет о создании распределенной вычислительной системы и хранилища с горизонтальным масштабированием – «Озера Данных» («Data Lake») — для эффективного управления и анализа Больших данных. Авторство термина «Озеро Данных» приписывают директору по технологиям компании Pentaho Джеймсу Диксону. «Если стандартное хранилище данных можно сравнить с магазином, где продают бутилированную воду – очищенную, упакованную и упорядоченную по типам для простоты потребления – то «Озеро Данных» представляет собой огромный водоем в его естественном виде. Потоки контента из источников наполняют «Озеро» — и разные пользователи могут исследовать, углубляться в них или отбирать образцы», — рассуждает Диксон.
Подобные системы, или «Озера», будут содержать огромное количество данных, а доступ к ним можно будет получить через файловый или веб-интерфейс. Защита данных в «Озерах Данных» будет реализована с помощью репликации и не потребует резервного копирования, поскольку данные не будут подвергаться изменениям. Таким образом, использование открытых систем позволит снизить затраты на лицензирование, а вычислительные системы будут оптимизированы для аналитики в рамках MapReduce. Возможность автоматического перемещения по уровням хранения удовлетворит требования высокой производительности и длительного сохранения данных.
Конечно, многие специалисты считают, что «Озера» пока остаются бесконечно далекой перспективой. Технологии требует усовершенствования: ведь сложно управляемое хранилище данных рискует со временем превратиться в «болото». «Что бы не произошло с Большими данными, Интернетом вещей или «Озерами» в дальнейшем, производители решений сделают все возможное для того, чтобы обеспечить своих клиентов технологиями, не только удовлетворяющими, но и предупреждающими появление любых потребностей бизнеса, связанными с ИТ-архитектурой», — утверждает Ирина Яхина.
