Рост объемов и потоков данных сулит бизнесу большие перспективы. Недаром аналитики британского журнала The Economist провозгласили данные «нефтью XXI века». Отдадим им должное — их сравнение очень точное: данные, действительно, способны принести бизнесу колоссальную выгоду, но извлечь ее весьма и весьма непросто, причем трудности могут возникнуть на самых разных этапах — от сбора и хранения данных и заканчивая осмыслением и «монетизацией» полученных результатов.
Согласно данным недавнего исследования IDC «Аналитика Больших данных как инструмент бизнес-инноваций», проведенного при поддержке компании Hitachi Vantara, рост данных продолжится (в этом уверены 78% респондентов), поэтому компаниям нужно быть к этому готовыми. Одна из ключевых причин этого роста — появление новых источников данных, а также увеличение количества информации из новых источников: уже сегодня анализировать новые источники данных нередко приходится хотя бы раз в месяц (об этом заявили 27% опрошенных), а в некоторых случаях (31%) несколько раз в месяц.
Анализу дополнительной информации — как структурированной, так и неструктурированной — предприятия сегодня уделяют пристальное внимание: они хотят тщательно отслеживать и прогнозировать рыночную ситуацию как масштабах макроэкономики, так и внутри экосистемы партнеров и клиентов. В частности, компании анализируют данные социальных сетей (об этом сообщили 48% респондентов) и информацию сторонних организаций (33%).
.jpg) |
| Видео: Елена Семеновская представляет основные выводы исследования IDC, проведенного при поддержке Hitachi Vantara |
«Большая часть информации, в том числе транзакционной, будет обрабатываться “на лету” — это обещают все поставщики транзакционных систем, и это верный путь к построению цифровой компании, где происходит аналитика каждого бизнес-процесса на основе данных, — комментирует Елена Семеновская, директор по исследованиям IDC в России и СНГ. — Цель аналитики больших данных — не подключить много источников, а найти правильные источники информации, анализ которых может принести пользу для бизнеса. Поиск правильных источников — важная задача, которая, кстати, по мнению IDC, может решаться с использованием искусственного интеллекта».
Можно предположить, что по мере развития экосистем и появления новых информационных сервисов потребность в эффективном с точки зрения анализа подключении к новым источникам данных будет только расти. Также всё более актуальной становится интеграция источников данных из различных систем. Сегодня лишь немногие опрошенные (7%) отмечают, что могут подключать новые источники без привлечения ИТ–специалистов. Вместе с тем, 39% респондентов при выборе решения обращают внимание на его способность работать с разрозненными системами и данными различных форматов.
По мнению эксперта IDC, нынешние технологии вполне справляются с ростом количества данных, которые надо анализировать, и их источников. Вместе с тем, их релевантность, достоверность и извлечение из данных реальной пользы для бизнеса уже сегодня превращаются в проблему. «По мере того, как будет расти количество источников данных, определять их необходимость и релевантность и извлекать ценность для бизнеса будет всё труднее», — считает Елена Семеновская.
Большие данные станут быстрыми и вариативными
Если в предыдущее десятилетие основной рост объемов данных происходил за счет источников «социальной» информации — неструктурированных данных, создаваемых миллионами и миллиардами пользователей всевозможных социальных сред с помощью различных гаджетов, то в ближайшее десятилетие основным «генератором» данных, вероятнее всего, станет Интернет вещей. Можно предположить, что по мере его развития источников данных будет появляться всё больше, и интегрировать их в существующий ИТ-ландшафт придется всё чаще.
«Чтобы шагать в ногу со временем, предприятиям необходимы интеграционные системы, позволяющие в кратчайшие сроки подключаться к новым источникам и загружать большие объемы, данных различных форматов, — отмечает консультант-эксперт направления Digital Insights компании Hitachi Vantara Роман Павлов. — Уже сегодня становится экономически эффективно сделать ставку на платформу, такую как Pentaho Data Integration, способную преобразовывать данные множества форматов в единую стандартизированную структуру, которая понятна конечным пользователям. Немаловажными составляющими успеха при этом будут складывающаяся вокруг платформы экосистема, включая сообщество пользователей, разработчиков и их партнеров, а также множество доступных им бесплатных модулей, созданных сторонними компаниями и энтузиастами».
По мнению эксперта Hitachi Vantara, скорое внедрение стандарта 5G в сетях мобильных операторов приведет к резкому увеличению пропускной способности каналов связи и снижению стоимости трафика, и как следствие, к взрывному развитию Интернета вещей: «Миллионы окружающих нас устройств будут передавать структурированные и неструктурированные данные в различных форматах. Проблема, с которой предприятия столкнутся в ближайшее время, некоторыми исследователями формулируется как “from big data to fast data”: данные будут поступать со скоростью, которая была не характерна для интеграционных решений в прошлом. Предприятия должны быть готовы к такому увеличению скорости поступления и объемов данных с датчиков, устройств и внешних систем».
.png) |
| IDC: уже сегодня анализировать новые источники данных нередко приходится хотя бы раз в месяц (об этом заявили 27% опрошенных), а в некоторых случаях (31%) несколько раз в месяц |
Серьезно помочь в подключении и интеграции источников данных в имеющийся ИТ-ландшафт позволяет автоматизация этих процессов — она не только увеличивает скорость получения данных, но и повышает качество и надежность решения. Так повторное использование уже протестированных и используемых шаблонов снижает вероятность человеческой ошибки, улучшает регламенты работы с данными внутри организации и позволяет гибко и быстро внедрять изменения в логику работы с данными.
«В конечном итоге это вопрос репутации компании и ее менеджмента, потому что качественная, достоверная аналитика, получаемая в реальном или близком к реальному времени выгодно выделяет предприятие на фоне конкурентов, — поясняет Роман Павлов. — Один из наших клиентов, банк, входящий в Топ-10 банков мира, столкнулся с проблемой реализации более 10 тыс. процедур для загрузки данных из 400 систем. Используя механизмы автоматизации, предоставляемые платформой Hitachi, банк реализовал 6 тыс. процедур загрузки данных через 6 “шаблонов”. В результате автоматизации интеграции с источниками банк отметил снижение регуляторных рисков и экономию на поддержке в 10 млн долл. за три года».
Еще одна проблема, с которой организации сталкиваются уже сегодня, связана с изменчивостью форматов данных в имеющихся источниках. Чтобы справиться с ней, интеграционная платформа должна быть гибкой и иметь возможность оповещать администраторов системы об изменениях форматов, не прекращая при этом загружать данные и не допуская их утрату. «Один из наших клиентов, крупный российский банк решил проблему вариативности конвейера данных, используя платформу Pentaho Data Integration. С ее помощью работа может быть выстроена таким образом, чтобы даже при изменении формата процесс не останавливался ни на секунду, — рассказывает Павлов. — Решение позволило избежать прежних дорогостоящих доработок конвейера, которые были необходимы при изменении форматов и могли занимать до 6 месяцев времени внедрения».
Инфографика
.png)
.png)
.png)
.png)
.png)
.png)
.png)
