24 марта в ходе форума Big Data 2015, организованного издательством «Открытые системы», корпорация EMC представила новое платформенное решение для работы с Большими Данными — Federation Business Data Lake.

FBDL – это первый плод совместных усилий подразделения EMC Information Infrastructure и компаний Pivotal и VMware, также входящих в «федерацию EMC». Предложенное ими решение представляет собой интегрированный технологический стек, охватывающий ключевые задачи построения так называемых озер данных (data lake).

Как пояснил Святослав Сухов, директор дивизиона EMC Isilon в России и странах СНГ, озера бизнес-данных нужны для нового класса задач, решить которые в рамках традиционных хранилищ данных невозможно или очень проблематично. Сегодня крупные корпоративные заказчики концентрируют в своих ИТ-системах огромные объемы структурированных и неструктурированных данных из множества разнотипных источников. Создание оптимальных условий для хранения и последующего анализа этих данных, то есть создание озер, открывает принципиально новые возможности для бизнеса — компании смогут гораздо точнее прогнозировать свое развитие и реагировать на любые события буквально в реальном времени.

Реализовать эту модель до сих пор мешает сложность построения инфраструктуры, соответствующей уровню поставленных задач. И основная идея разработчиков FBDL состоит в том, чтобы предоставить предприятиям продукт, позволяющий ускорить и автоматизировать развертывание инфраструктуры для озер и работы с Большими Данными, причем на всех основных этапах, включая хранение, анализ и визуализацию результатов для принятия бизнес-решений.

Принципиально важно, что идеология FBDL предлагает заказчикам свободу выбора на основных уровнях технологического стека инфраструктуры озер. Сейчас эта возможность в полном объеме реализована в слое аналитики.

Сухов полагает, что впоследствии клиент сможет выбрать и наиболее подходящую для него систему хранения. Пока же, с точки зрения EMC, функции хранения в озерах данных эффективнее всего решаются с помощью горизонтально масштабируемых систем EMC Isilon, консолидирующих в себе данные любых форматов.

А вот организовать анализ этих данных в FBDL возможно наиболее распространенными средствами, действующими на основе Hadoop, In-Memory No-SQL и Scale-out MPP. В EMC оставляют за клиентами выбор дистрибутива Hadoop, включая Cloudera и Hortonworks, а также новые дистрибутивы на основе открытых платформ. Но в базовом варианте средства анализа включают в себя пакет Pivotal Big Data Suite, в том числе решение PivotalHD с ведущим модулем HAWQ для реализации технологии SQL-on-Hadoop. Средства анализа в FBDL виртуализированы с помощью решений VMware на базе Vblock. Вероятно в перспективе заказчики смогут задействовать и средства виртуализации других поставщиков.

Функции визуализации результатов анализа данных и прогнозирования для принятия бизнес-решений реализованы в FBDL на основе платформенного сервиса Pivotal Cloud Foundry.

В EMC утверждают, что проработали все вопросы интеграции и совместимости элементов предложенного стека озера данных, и планируют обеспечить заказчикам единую точку входа при внедрении решения FBDL и его последующей поддержке.

Как сообщается, с помощью FBDL предприятия получат возможность развертывать массивы Hadoop и системы анализа данных в реальном времени всего за семь дней. Подобное ускорение обеспечивается не только высокой степенью интеграции составляющих решения, но и благодаря целенаправленной помощи EMC своим заказчикам при освоении озер данных. С этой целью корпорация разработала набор услуг и обучающих программ. Они помогут клиентам оценить возможности FBDL и быстро подготовить сценарии обработки Больших Данных.

Решение FBDL будет доступно в апреле. По оценкам EMC, продукт будет востребован только очень крупными компаниями – число его потенциальных заказчиков в нашей стране сейчас не превышает двух-трех десятков.

Организации, рожденные цифровыми, строятся вокруг своей ИТ-платформы, а все их бизнес-процессы выполняются при помощи ИТ и подпитываются данными. Любое действие, любое решение базируется на обработке наборов данных с последующим анализом пользователей и клиентов, шаблонов эксплуатации, внешних условий и т.д.

Однако не каждая организация рождается цифровой. Как же преобразовать свой бизнес в цифровой тому, кто управляет традиционной компанией, у которой уже сложились определенные требования к ИТ? Как создать новые возможности для бизнеса, отталкиваясь от имеющихся цифровых активов?

Перечислим пять условий, которые помогут организовать этот процесс.

Перевод систем бизнес-анализа в режим реального времени

Возможно, вы уже накапливаете транзакционные данные в хранилище или киоске данных, так или иначе анализируя их. Возможно, уже определено, какие торговые представители будут тушить пожар, возникающий в конце каждого квартала. Подготовлен список клиентов, которым будет рассылаться новый каталог. На первом этапе становления цифрового бизнеса все эти мероприятия должны переводиться в режим реального времени. «В реальном времени» – это не обязательно за доли секунды. Я бы даже предпочел говорить не о реальном, а о «правильном времени»: контролировать ситуацию нужно именно тогда, когда это имеет действительно важное значение для бизнеса.

Вместо того чтобы оценивать эффективность торговых представителей по формальным признакам, выделяйте лидеров и предлагайте тем, кто обычно хорошо справляется со своей работой, но не имеет достаточного количества свободного времени, игровые задачи. Используйте сегментацию клиентов при продвижении приложений и распространении купонов.

Конечно, все это требует контроля за ситуацией и должно предлагаться в правильное время. Важным условием перехода к цифровому бизнесу является гибкость и быстрота реакции.

Встраивание аналитики в бизнес-процессы

Контроль за ситуацией и проведение анализа в реальном времени – это только начало. Бизнес-процессы необходимо реструктуризировать, чтобы обеспечить оперативное вмешательство в случае возникновения такой необходимости. Когда бизнес-анализ только входил в моду, обычно использовался термин операционного бизнес-анализа – концепция с тех пор не изменилась, только технология. Анализ в реальном времени, управление при помощи правил, интеллектуальные инструменты управления бизнес-процессами, коммуникационные протоколы с принудительной передачей данных открывают возможность внедрения и модификации правил, а также переключения и модификации действий на основе анализа текущей ситуации.

Постоянный поиск дополнительных данных

Ресурсы хранения нынче стоят дешево, а платформы обработки данных новейшего поколения упрощают накопление информации, даже если цели не вполне понятны. Возможно, вы еще не готовы перемещать свои системы обработки транзакций или инфраструктуру хранилищ данных с проверенных и испытанных мэйнфреймов и систем управления реляционными базами данных куда-то еще. И это нормально. Но рассмотрите, по крайней мере, возможность дополнения их озерами данными, базирующимися на Hadoop, и анализа этих озер, который ранее считался не заслуживающим внимания: журналы регистрации доступа, записи GPS, забытые корзины с отложенными товарами, записи об обращении к данным, сообщения с жалобами клиентов и т.д.

Все эти так называемые «темные данные» могут использоваться для новых видов анализа, для новых действий. Возможно, вы даже не вполне понимаете, о чем идет речь, но если не искать и не пробовать, все это так и останется вне поля вашего зрения.

Исследование новых способов использования данных

При наличии достаточных оснований аналитики должны получать неограниченный доступ ко всем данным. Я говорю «при наличии достаточных оснований», потому что в некоторых отраслях действуют специальные правила, и представители всех отраслей должны внимательно относиться к вопросам конфиденциальности. Но если аналитикам можно доверять, а грамотное управление исключает злоупотребления, позвольте экспертам исследовать данные. Они начнут генерировать идеи, некоторые из которых будут работать, а некоторые нет.

Измерить окупаемость инвестиций в инновации всегда сложно. Но инновации внедряются лишь тогда, когда людям приходят в голову свежие идеи.

Возможно, формально аналитиков данных в штате нет. Но хороший бизнес-аналитик, вооруженный современными инструментами подготовки и исследования данных, может добиться потрясающих результатов.

Предлагать новое чаще, тестировать постоянно, исправлять ошибки быстро

Последний пункт, пожалуй, наиболее важен. Цифровые организации отличаются гибкостью и быстротой реакции. Они всегда тестируют инновационные решения в условиях реальной жизни. Когда очередная функция готова, запускайте ее и оценивайте ее эффективность. Если ожидаемый результат не достигнут, будьте готовы вернуться обратно, пересмотреть предыдущую версию, внести в нее необходимые изменения и попробовать снова. По возможности тестируйте альтернативные варианты и оценивайте, какой из них работает лучше.

В Microsoft намерены оказать предприятиям помощь в установке и запуске распределенных систем Интернета вещей. Набор интегрированных с Microsoft Azure облачных сервисов поможет сократить сроки развертывания и устранить препятствия, связанные с управлением.

«Пакет Azure IoT Suite будет особенно полезен для решения трех типов задач: управления активами, удаленного мониторинга и профилактической поддержки, – указал руководитель программы управления сервисами Интернета вещей Azure Сэм Джордж. – Эти задачи актуальны для многих отраслей, а в особенности, для предприятий, имеющих большое количество физических активов». По прогнозам IDC, к 2020 году оборот рынка Интернета вещей превысит 5 трлн долл.

Пакет Azure IoT Suite, представленный на конференции Microsoft Convergence, появится в виде предварительной версии к концу текущего года. Он предназначен для обработки огромных объемов данных, поступающих от миллионов или даже миллиардов оконечных устройств. С помощью набора управляющих инструментов отдельные сервисы Azure могут использоваться для хранения и анализа данных, а также для передачи их другим приложениям.

Конкретный перечень технологий, которые будут включены в пакет, пока не сообщается, известно лишь, что предложение базируется на платформе Azure Intelligent Systems Service, которая была представлена Microsoft в прошлом году и предназначена для подключения датчиков и других устройств к облачным сервисам Azure.

Одним из компонентов пакета может стать сервис Azure Stream Analytics, который заработает в апреле. Он позволяет анализировать входящие потоки данных и быстро находить в них интересующие клиентов шаблоны.

Компания Rockwell Automation, занимающаяся автоматизацией промышленных систем, использует Azure для построения собственных систем Интернета вещей.

Компания собирает информацию с датчиков, смонтированных в нефтепроводах и других средствах транспортировки, с целью определения сроков замены оборудования. Анализируя данные в режиме реального времени, система Rockwell планирует мероприятия по техобслуживанию.

Чтобы помочь клиентам в развертывании их систем, Microsoft организует проведение ряда семинаров, посвященных Интернету вещей.

«Технологии повышают прозрачность управления, и это означает огромные перемены для страны. Вы должны помнить, что, как только переходите к технологиям Больших Данных, вернуться назад уже не получится», — говорит Тарик Малик, долгое время возглавлявший Национальное агентство по управлению базами данных и регистрациями граждан Пакистана (National Database & Registration Authority, NADRA), а ныне старший консультант по ИТ в госсекторе компании Teradata. Малик знает, о чем говорит: используя интегрированный подход к сбору данных и управлению ими, он не только создал одну из крупнейших в мире биометрических баз данных, но и обеспечил абсолютную достоверность и полноту информации о гражданах.

В 2012 году Малик был удостоен награды «CIO года», а в 2013 году Пакистан наградил его «Звездой непревзойденного мастерства» — высшей наградой в области технологий за вклад в улучшение государственного управления. В ходе встречи, организованной Teradata, Малик рассказал о своем опыте построения всеобъемлющего хранилища данных о гражданах, позволившего стране решить множество задач.

Малик пришел в NADRA в 2008 году. Тогда это была дышащая на ладан организация, у которой совершенно не было ни денег, ни четкого руководства; претендентов на роль руководителя тоже в общем-то не было. Сейчас же NADRA — одна из самых эффективных организаций в Пакистане. Прежде всего, такой успех стал результатом очень удачного проекта по построению единого хранилища данных о гражданах. Информационные услуги, предоставляемые на его основе, стали весьма востребованными внутри страны, а накопленный опыт по построению хранилищ данных используется правительствами других государств.

«Наш успех во многом стал следствием того, что мы придерживались интегрированного подхода: данные, получаемые от других агентств и прочих органов власти, мы смогли объединить и эффективно использовать», — подчеркнул Малик.

Перед организацией стояли очень амбициозные задачи. Ее руководство понимало, что если оно хочет способствовать созданию эффективного правительства, то столкнется с определенными вызовами. При этом было очевидно, что обеспечить потребности власти и общества можно только с помощью анализа имеющихся данных. Речь идет именно о Больших Данных, хотя на тот момент такого термина еще не было. «Дело не только в объемах, хотя они действительно огромны. В данных важен не размер, а их ценность», — подчеркнул Малик.

Как извлекать пользу из данных? В первую очередь их надо научиться интегрировать и анализировать – собирать из различных источников, объединять и получать желаемый результат. Естественно, чем активнее ведется анализ, тем быстрее растет ценность его результатов. Проанализировав данные, можно докопаться до сути любой проблемы и преобразовать результаты анализа в решения.

«Черная метка» для мошенников

Основой создаваемого хранилища стали собственные данные NADRA. Организация имеет более 500 стационарных и более 200 мобильных офисов, в любой из которых граждане могут обратиться для получения паспортов, идентификационных карт, водительских прав, свидетельств о браке, рождении и смерти и прочих документов. При регистрации граждан собираются их биометрические данные и цифровые фотографии. Все это позволило создать одну из крупнейших биометрических баз данных в мире, основанную на технологиях Teradata.

Это был очень долгий процесс: система управления идентификационными данными разрабатывалась с нуля, в процессе ее создания собиралась и вся необходимая информация о гражданах. При построении системы был принят интегрированный подход. Ее основу составили три ключевых компонента: первый отвечал за обработку отпечатков пальцев, второй – за обработку цифровых фотографий и распознавание лиц, третий – за обработку общей информации.

Источников информации очень много – это могут быть как различные государственные ведомства, так и коммерческие структуры. Тем не менее все полученные сведения объединяются в едином хранилище. Что крайне важно, вся информация о гражданах помещается в контекст их биографии и родственных связей. Такая целостность данных не позволяет гражданам обмануть государство.

«Например, мы всегда тесно сотрудничали с телекоммуникационными компаниями. Если сотовый оператор выдает SIM-карту, в первую очередь проверяется, что за человек ее использует», — подчеркнул Малик. Конечно, это очень помогает в борьбе с терроризмом, так как мобильные устройства сейчас используются не только в качестве инструмента общения, но и как средство дистанционного подрыва.

Собранная информация ложится в основу множества систем государственного уровня – например, системы пограничного контроля и национальной безопасности. Благодаря такому подходу было предотвращено более 500 терактов – это гораздо больше, чем число успешных попыток, информация о которых попадает в СМИ.

Собранные NADRA данные находят широкое применение и вне государственных организаций. Например, к ним обращаются банки при открытии счетов, чтобы убедиться, что человек является именно тем, за кого себя выдает, и попутно оценивают его как клиента. Стало уже общепринятым, что в процессе практически любых действий информация о человеке запрашивается из центральной базы.

Интеграция данных позволяет вскрыть многие факты мошенничества. Более того, если какой-то человек пытается обмануть систему (например, предоставляя недостоверные данные при открытии банковского счета или получении визы), информация об этом безнадежно портит его историю — человек фактически заносится в черный список, что ухудшает его дальнейшую жизнь.

«Благодаря тому что мы смогли объединить усилия всех агентств и правительственных учреждений, мы очень усложнили жизнь мошенников. Без совместных действий эта задача была бы невыполнимой», — уверен Малик.

Цифровая прозрачность

Не менее значимыми стали результаты работы NADRA в социальной сфере. Полная информация о гражданах позволила значительно оптимизировать работу с социальными выплатами, исключив многие коррупционные схемы.

Большой проблемой в Пакистане традиционно был сбор налогов. В стране с населением более 180 млн человек только 800 тыс. граждан платили налоги. Вполне логичным решением NADRA стало проведение аналитики по доходам граждан и оглашение результатов в парламенте. Эта история стала весьма громкой и даже получила освещение в CNN.

«Мы не преследовали цель влезть в чью-то личную жизнь, но собрать данные о людях, которые должны платить налоги, было чрезвычайно важно. Заодно следовало показать парламенту, что министерство, отвечающее за сбор налогов, работает крайне плохо. Естественно, что после этого доклада я столкнулся с определенными проблемами», — вспоминает Малик.

Последний проект Малика в роли руководителя NADRA был связан с корректировкой списка избирателей в 2013 году. Всех людей, приходивших на избирательные участки, сотрудники агентства фотографировали и собирали их отпечатки пальцев. Таким образом, была получена реальная информация о проголосовавших.

После подсчета голосов оппозиционные партии попросили NADRA провести аудит выборов. Во время проверок была выявлена масса нарушений, вплоть до уникального случая, когда один мужчина проголосовал более 3 тыс. раз на участке, предназначенном для женщин. Это был скандал национального масштаба, после которого Малику пришлось не только покинуть должность, но и уехать из страны, беспокоясь за безопасность семьи.

«Россия сможет справиться с любыми проблемами, если позволит данным говорить за себя. Этот подход уже доказал свою эффективность», — убежден Малик. Только с помощью интегрированного подхода к управлению данными государство может обеспечить полную прозрачность своей работы – улучшить избирательную систему, бороться с коррупцией и бедностью, оптимизировать банковскую систему, повысить уровень безопасности.

Основной спрос на аналитиков Big Data формируют ИТ-компании, телеком-операторы, банки и крупные розничные сети. В своих комментариях представители крупных компаний отмечали, что аналитика Больших Данных является важным направлением бизнеса. Зачастую это направление является стратегическим и контролируется непосредственно первыми лицами компаний.

Специалисты по подбору персонала отмечают ряд сложностей в подборе аналитиков Больших Данных, вызванных дефицитом квалифицированных кадров и отсутствием критериев по оценке компетенций. Приходится проводить многоступенчатый отбор с несколькими этапами интервьюирования и тестами, проверяющими аналитические способности. В результате очень большое количество кандидатов отсеивается. Разумеется, компании весьма заинтересованы в уже состоявшихся специалистах, реализовавших успешные проекты, однако их на рынке практически нет.

Проблемы с поиском кадров увеличиваются из-за отсутствия общепринятого названия должности специалистов, занимающихся анализом Больших Данных, и перечня стандартных должностных обязанностей. Вакансии, подразумевающие работу с Большими Данными, могут носить совершенно различные названия, например аналитик big data, математик-программист, менеджер по анализу систем, архитектор big data, бизнес-аналитик, BI-аналитик, информационный аналитик, специалист Data Mining, инженер по машинному обучению.

В целом специалистов по работе с Большими Данными можно разделить на два направления: инженеры, в большей степени отвечающие за хранение, преобразование данных и быстрый доступ к ним, и аналитики, чьей задачей является собственно анализ, выявление взаимосвязей и построение моделей.

В должностные обязанности аналитика Big Data входит:

• построение процесса сбора данных для возможности их последующей оперативной обработки;

• анализ и прогнозирование потребительского поведения, сегментация клиентской базы;

• персонализация продуктовых предложений;

• анализ эффективности внутренних процессов и операционной деятельности;

• выработка решений по оптимизации текущих процессов на основании результатов анализа;

• анализ рисков, подозрительных операций, выявление мошенничества;

• обеспечение полноты и взаимосвязанности данных из разных источников.

На должность начинающего аналитика Больших Данных могут претендовать кандидаты с высшим образованием в области математики и математической статистики. От них требуется знание методов математической статистики, алгоритмов анализа данных и математического моделирования, современных технологий обработки Больших Данных, основ реляционных СУБД и языка SQL. Стартовый оклад аналитика Больших Данных в Москве составляет от 70 до 80 тыс. руб.

Рассчитывать на более высокий оклад могут претенденты, отработавшие в этой должности более года. От них ждут отличных аналитических навыков и способности видеть новые пути решения задач. Им необходимы глубокие знания методов статистического анализа данных и построения математических моделей и владение статистическими инструментами IBM SPSS, R, Matlab, SAS Data Miner, Tableau. Работодатели заинтересованы в специалистах с опытом выявления зависимостей и закономерностей в больших массивах данных и работы с инструментами визуализации. Компании обещают таким кандидатам доход около 100 тыс. руб.

Требования к кандидатам на более высокий доход предусматривают стаж работы более двух лет, знание скриптовых языков программирования (Python, Ruby, Perl) и методов машинного обучения. Также от них требуется опыт использования таких инструментов как Hadoop, и Google Big Table. Зарплаты специалистов такого уровня в Москве достигают 140 тыс. руб.

На максимальный доход могут рассчитывать эксперты, работающие аналитиком Больших Данных более трех лет и имеющие опыт построения коммерчески успешных сложных моделей поведения целевой аудитории c помощью инструментов Data Mining. Возможными пожеланиями могут быть наличие научных публикаций в этой области и опыт внедрения систем по работе с Большими Данными. Зарплатный максимум для аналитиков Больших Данных составляет 250 тыс. руб.

Готовность к проектам Больших Данных растет в разных отраслях. Более трети опрошенных компаний приступили к работе с технологиями Больших Данных, среди которых 20% уже используют такие решения, а 17% начинают экспериментировать с ними. Еще 36% респондентов в настоящий момент рассматривают такую возможность.

Более четверти компаний воспринимают феномен Больших Данных скорее как концепцию, чем просто технологии. Они согласны с тем, что помимо технологий, он включает подходы, методики и т.д. В то же время, 14% по-прежнему ставят знак равенства между Big Data и Hadoop.

Основными потребителями технологий Больших Данных в России являются банки (24 из 43 опрошенных) и телеком (восемь из 12). Менее заметно количество компаний, которые их используют или готовы использовать в ТЭК, транспортной отрасли, ретейле и промышленности.

В настоящий момент продолжается накопление объемов данных до «уровня Big Data». 44% опрошенных сталкиваются в своей деятельности с объемами данных не более 100 Тбайт, при том, что все они представляют крупный российский бизнес. Эту группу представляют, в частности, более половины промышленных предприятий, 15 из 43 банков, семь из 14 предприятий энергетики и ЖКХ и шесть из девяти розничных компаний. Еще примерно треть респондентов находятся в настоящий момент в диапазоне 100-500 Тбайт. Лишь 13% уже оперируют объемами свыше 500 Тбайт. К ним относятся семь из 43 опрошенных банков, и пять из 12 компаний телекома.

Как подчеркивают аналитики, дальнейший успех Больших Данных в России будет зависеть от уже известного ряда факторов: наличия подготовленного персонала, объема накопленных данных, готовности к адаптации технологий и процессов у заказчиков, а также адекватных запросам заказчиков предложений.

Одним из главных новшеств стала функция Wave Mobile Connector, позволяющая загружать файлы с необработанными данными в мобильное приложение Analytics Cloud и мгновенно получать в обмен графики и диаграммы, которыми можно делиться с другими пользователями.

Еще один компонент, Mobile Dashboard Designer, дает возможность создавать на смартфоне информационные панели с графиками, диаграммами и другими автоматически обновляемыми интерактивными элементами. Третье новшество — Wave Links, коннектор для связи между платформой Salesforce1 и мобильными приложениями Analytics Cloud. Как объясняют в компании, с его помощью пользователи Salesforce1 могут обращаться к нужным им данным из Analytics Cloud и свободно переключаться между данными по клиентам и аналитическими сведениями.

На сегодня доступна бесплатная версия Analytics Cloud для настольных компьютеров и мобильных устройств, позволяющая попробовать новые функции. В полноценном варианте они заработают в марте. Держатели любых лицензий на Analytics Cloud смогут пользоваться новшествами без дополнительной оплаты.