Ник Росситер: «Общая цель инструментария для работы с Большими Данными – помочь бизнесу в принятии более гибких, более своевременных решений»

Отличительная черта выступления Ника Росситера, регионального директора компании Informatica в России и СНГ, на первом в нашей стране форуме Big Data 2012, организованном издательством «Открытые системы», — пристальное внимание к вопросам экономической эффективности проектов в области Больших Данных и увеличения их пользы для бизнеса.

Основная идея Росситера в том, что, поскольку затраты на работу с Большими Данными достаточно велики, очень важно тщательно их оценивать и стремиться к повышению окупаемости инвестиций, выделяемых на эти цели. Этого, как он рассказал в интервью, данном на конференции, можно добиться путем повышения пользы данных для бизнеса благодаря новым возможностям и преимуществам (например, более быстрому выполнению заказов клиентов, расширению круга заказчиков, уменьшению количества рекламаций, снижению бизнес-рисков, повышению производительности труда и пр.), а также через снижение затрат на работу с Большими Данными.

Какие признаки или факты могут указать на то, что предприятию пора учиться управлять Большими Данными?

Первые признаки того, что организация вплотную подходит к необходимости работать с Большими Данными, обнаруживаются, когда объемы информации становятся громадными, при этом данные нередко приходится собирать из большого количества источников. В таких ситуациях выясняется, что данные не удается эффективно обработать, опираясь на имеющиеся технологии. В частности, не удается обеспечить требования соглашения об уровне обслуживания (Service Level Agreement, SLA), в процессах резервного копирования и восстановления данных. Когда организации начинают осознавать, что при работе с огромными массивами данных возникает множество проблем, они начинают искать новые возможности, чтобы обеспечить выполнение SLA.

Похоже, многие предприятия осознали, что столкнулись с проблемой Больших Данных, когда обнаружили беспрецедентно высокую динамику расходов на хранение и обработку данных. Вы согласны?

Абсолютно. Расходы на сбор, обработку данных, обеспечение их безопасности и особенно на их хранение растут очень быстро, и необходимо бороться не только за их снижение, но и за повышение выгоды от работы с данными. Informatica, являясь лидером среди независимых разработчиков ПО интеграции данных, предлагает программные продукты, позволяющие справиться с решением существующих проблем в этой области и обеспечить выполнение требований проектов в области Больших Данных.

Почему традиционные аналитические инструменты неэффективны при работе с Большими Данными?

Прежние аналитические средства ориентированы на работу с транзакционными данными. Между тем сейчас стремительно растут объемы данных, которые появляются в результате различных видов взаимодействий, в том числе обмена данными между компьютерами. Эти массивы становятся настолько большими, что их не удается обрабатывать традиционными аналитическими средствами, прежние системы оказываются непригодными для эффективного анализа данных о взаимодействиях.

Способны ли новые аналитические инструменты улучшить соотношение выгод и затрат при работе с Большими Данными?

Да, разумеется. Один из важнейших способов повысить эффективность работы с данными – научиться извлекать из них больше сведений, способных принести финансовую выгоду бизнесу. Общая же цель инструментария для работы с Большими Данными – помочь бизнесу в принятии более гибких, более своевременных решений. Например, компания, работающая на фондовой бирже, чтобы принимать правильные решения, должна уметь в крайне сжатые сроки анализировать информацию из очень большого числа источников, в первую очередь биржевых и новостных лент. Если такая компания научится принимать правильные решения, опережая конкурентов по быстроте реакции, она будет иметь конкурентное преимущество. Подобные ситуации характерны для финансового сектора.

По одной из гипотез проблема Больших Данных на предприятии — это результат неоптимального управления информацией, следовательно, в том, что она возникает, есть определенная вина ИТ-руководителей. Вы согласны с такой точкой зрения?

Нет, не согласен. Очень многие проекты, в которых приходится иметь дело с Большими Данными, финансируются бизнес-подразделениями. Пример — проекты в области CRM: бизнес хочет лучше понимать, как себя ведут покупатели, и получать картину об их поведении в реальном времени: что они приобретают, какие фильмы смотрят, что делают в Twitter, Facebook и пр. В целом спрос бизнеса на работу с Большими Данными стремительно растет. Именно в бизнес-подразделениях следует искать заказчиков и спонсоров подобных проектов (причем не только CRM) и затем привлекать их к активному участию в этих проектах.

Каковы ключевые требования к аналитическим средствам для работы с Большими Данными?

Если говорить в терминах традиционных средств бизнес-аналитики, то в первую очередь это возможность обрабатывать огромные объемы данных. Чем больше информации у вас есть, тем больше пользы вы в принципе можете из нее извлечь (я имею в виду прежде всего подготовку аналитической отчетности). Важно помнить, что требования к срокам подготовки отчетности серьезно изменились: сегодня мало кого устроят аналитические средства, которые готовят, например, финансовую отчетность на основе данных, которые были актуальны месяц или неделю назад. Сегодняшний бизнес требует предоставлять отчетность на основе ежедневных данных. Отдельно следует рассматривать аналитические средства, способные обрабатывать большие объемы данных в реальном времени.

ИТ-инфраструктура многих предприятий, которые вскоре столкнутся с проблемой Больших Данных, уже достигла весьма внушительных размеров. Насколько серьезные изменения потребуются в ней в ходе решения проблемы Больших Данных?

Большие Данные не вытесняют традиционные транзакционные данные, они сосуществуют. Большие Данные появляются на предприятиях, потому что их анализ нужен бизнесу, именно бизнес финансирует проекты в этой области, поскольку хочет получить еще более актуальную отчетность, еще более высокие показатели быстродействия, которые имеются в SLA, и пр. ИТ-инфраструктура для работы с Большими Данными будет сосуществовать с уже созданной инфраструктурой, не заменяя и не вытесняя ее.

Какие шаги вы бы рекомендовали предпринять компаниям, приступающим к решению проблемы Больших Данных?

Для начала необходимо сделать шаг назад и уяснить, имеется ли у вас стратегия в отношении Больших Данных и нужна ли она вам вообще. Есть ли у вас SLA, которые не выполняются из-за того, что объемы данных слишком велики? Все ли вы правильно делаете? В первую очередь следует убедиться, что вы интегрируете данные между приложениями. Если приложения и в самом деле интенсивно обмениваются данными, наверняка встанет проблема качества информации. Также надо убедиться, что вы располагаете метаданными, что у вас есть единый источник знаний об информации, имеющейся в вашей системе. Решая проблему Больших Данных, вам придется иметь дело с гораздо большим масштабом развертывания, чем в традиционном подходе к данным, поэтому нужно убедиться, что средства, которые вы хотите использовать, способны работать с Большими Данными.

Хартмут Вагнер: «Речь идет не о данных, речь идет о значении. Речь идет не о машинах, а о людях. Требуется отделить важное от ненужного»

К 2017 году рынок решений для Больших Данных составит, по прикидкам аналитиков, более 50 млрд долл, однако сегодня доля соответствующих решений в портфеле ведущих ИТ-компаний не превышает 1% — все они находятся еще в самом начале пути. Вместе с тем, как следует из докладов, прозвучавших на первом в России форуме Big Data 2012, организованном издательством «Открытые системы», интерес ведущих вендоров к этой тематике огромен. Захлестнувшие мир Большие Данные — не проблема компьютеров, а проблема людей, заставляющая ИТ-компании менять свои взгляды на ведение бизнеса, уверен Хартмут Вагнер, вице-президент по управлению информацией HP в странах Европы, Ближнего Востока и Африки.

Что в HP подразумевают под Большими Данными?

Главная проблема наших клиентов заключается сегодня в переизбытке неструктурированных данных; они составляют 85% всех данных, которыми оперируют сегодня предприятия. Именно на их обработку будут направлены наши основные усилия — важно не только собрать и организовать хранение структурированных и неструктурированных данных, а еще требуется организовать эффективный поиск, установить сквозные связи и понять их значение. Ключевые слова и метаданные не решают проблему управления информацией так, как это делает мозг человека, фильтрующий поступающие в него потоки данных и устанавливающий причинно-следственные связи. Информация не статична, она находится в постоянной динамике, а мир вокруг нас не структурирован и его не втиснуть только в реляционную модель, причем каждый фрагмент данных, взятых в обработку, может оказаться огромен.

Всеми этими соображениями руководствовались создатели платформы Intelligent Data Operating Layer (IDOL), позволяющей в реальном времени организовать обработку сколь угодно больших массивов разнородных данных; сегодня в платформе четыре сотни конвертеров для разных источников. Продукты компании Autonomy обеспечивают обработку неструктурированных данных, а Vertica предоставляет аналитическую платформу реального времени.

Между тем рынок неоднозначно воспринял решение HP о покупке британской компании Autonomy за 10 млрд долл., оправданно ли было такое приобретение?

Действительно, некоторые аналитики проявили скепсис, но сейчас можно с уверенностью сказать, что это решение было верным, если, конечно, покупку не рассматривать лишь как просто коммерческую сделку. Речь идет не только о приобретении очередного программного инструмента, а об изменении всего взгляда на бизнес компании, предоставляющей информационные сервисы современному рынку. Это было стратегическое приобретение — сейчас в HP создано специальное подразделение по управлению информацией, объединяющее все наследие Autonomy, Vertica и уже имеющиеся у HP решения в данной области. Это подразделение тесно работает со всеми другими структурами компании, чтобы создать интегрированные решения для наших клиентов. Большие Данные — это не проблема компьютеров, а проблема людей. Современные ИТ-инфраструктуры умеют хорошо оперировать структурированными данными, но мозг человека работает с неструктурированными. Собрать и сохранить данные не проблема, реальная проблема — анализировать их должным образом, особенно если учесть, например, что многие предприятия уже сегодня активно внедряют мобильные устройства в свою практику ведения бизнеса, а смартфон — это неструктурированные данные, которых очень много и из которых надо уметь выделить контекст, установить связи, причем в реальном времени. Мобильные устройства — одна из главных целей Autonomy, которая предоставляет инструменты, вычленяющие полезные бизнесу сведения из неструктурированных данных, таких как аудио, видео, почтовая переписка, веб-контент и позволяющие трансформировать телефон в интеллектуальное устройство хранения.

Рынок управления информацией достаточно конкурентен, и кроме IDOL здесь имеется ряд альтернатив. Какие явные преимущества есть у Autonomy?

Управление информацией — это не только оборудование и программы, но и сервис, в частности по интеллектуальной обработке данных. У HP имеется крупнейшее облако, предоставляющее сервис Digital Safe архивации и управления информацией (сегодня в нем хранится 40 Пбайт различных метаданных) и позволяющее нашим клиентам индексировать все их данные в единой системе для автоматической обработки на одной платформе информации вне или внутри компаний и формирования связей между контентом с целью подготовки метаданных приложениям по обнаружению данных. Для поддержания сервиса по управлению информацией в актуальном состоянии мы заключаем много OEM-контрактов по обработке различных данных.

IDOL, платформа, имеющая сотни коннекторов к разным источникам данных, — сильное решение для задач поиска, категоризации и фильтрации, но сегодня пользователей интересуют интегрированные продукты управления информацией, где, например, сильны позиции Microsoft SharePoint...

Действительно, для простейших аналитических задач вполне достаточно и Excel, но для бизнес-анализа Больших Данных требуются иные решения. SharePoint является сегодня стандартом, а стандартные универсальные решения всегда уступают специализированным в скорости, точности, качестве обработки и масштабировании. HP предлагает на единой платформе IDOL решения для обработки больших массивов данных любой природы, где общеупотребительных продуктов недостаточно. Например, уже при решении такой простой задачи, как обработка звонка клиента в центр обслуживания банка, возникает масса проблем по распознаванию голоса, анализу предыдущих обращений, обработке кредитной истории и т. п., которые надо решать в реальном времени. Вряд ли можно обработать стандартными средствами большие массивы уникальных данных.

Недавно HP объявила о выпуске аппаратно-программных решений на базе Autonomy на потребительский рынок, на котором они будут напрямую конкурировать с такими продуктами, как Google Search Appliance. Каковы шансы компании на рынке, где сегодня доминируют Microsoft, Google и Apple?

Исторически продукты Autonomy были ориентированы только на корпоративный рынок, а спецсерверы Autonomy Appliance предназначены для небольших компаний, получающих теперь доступ к мощным инструментам корпоративного поиска и анализа данных. В конце февраля было объявлено о выходе встраиваемых, в том числе и мобильных устройств на платформе IDOL, представляющих собой мощные, гибкие и эффективные решения для архивирования, поиска и распознавания информации. Встраивание технологии Autonomy в принтеры и сканеры фактически превращает их в интеллектуальные устройства работы с данными и создает облачную структуру хранения документов, связанную с онлайн-сервисами HP. В результате возможна ситуация, когда, например, распечатывая документ, принтер «скажет» вам: «Эй, эта страница из пакета вашей страховки, которая истекает через неделю, не пора ли ее обновить?»

Конкуренция с названными вами компаниями нас не пугает хотя бы потому, что новые решения будут предлагаться 60 тыс. клиентам HP во всем мире, что намного больше, чем, например у Google Search Appliance. Большие Данные — вызов всей ИТ-индустрии, требующий принципиально новых подходов, и здесь все мы еще находимся в самом начале пути.

Дмитрий Лисогор: «И не очень крупный бизнес может работать с Большими Данными»

На форуме Big Data 2012, организованном издательством «Открытые системы», своими мыслями о современных тенденциях, перспективах работы с Большими Данными и об использовании платформы SAP HANA, основанной на обработке данных в оперативной памяти, поделился Дмитрий Лисогор, заместитель генерального директора SAP СНГ, руководитель департамента по бизнес-аналитике и технологиям.

Считается, что в сфере ИТ Россия отстает от Запада на пять-семь лет. В области технологий работы с Большими Данными это отставание сохраняется?

С точки зрения доступности технологий Россия в равном положении со всеми: решения, которые предлагаются в других странах, предлагаются и здесь. А вот с точки зрения проникновения технологий все определяют потребности. Западные компании накопили больший объем структурированных данных и больший опыт их применения. Но при работе с социальными сетями, видео и прочими неструктурированными данными мы имеем дело ровно с теми же задачами, что и весь остальной мир. Я считаю, что здесь отставание России будет существенно меньше. Может быть, объемы данных будут не те, но скорость и многообразие использования будут на уровне.

Как сейчас обстоят дела с использованием SAP HANA в России?

Сейчас с SAP HANA уже работают несколько заказчиков. В «Сургутнефтегазе» система находится в продуктивной эксплуатации с ноября прошлого года: в SAP HANA они увидели для себя большие перспективы. Первый сценарий, который они освоили, — это оптимизация закупок для снабжения своих удаленных объектов по большому числу номенклатурных позиций. Работая в традиционном аналитическом хранилище, они отставали с планированием на несколько дней, а с помощью SAP HANA получают все данные в реальном времени.

Другой проект стартовал в январе и завершается в апреле; там SAP HANA используется для ускорения работы хранилища SAP BW. При этом заказчик сохраняет свои инвестиции в настройку моделей и отчетов в хранилище, но получает значительный прирост с точки зрения производительности.

Насколько российские партнеры готовы работать с SAP HANA и вообще с Большими Данными, и что делает SAP, чтобы их поддержать?

Партнеры проявляют серьезный интерес, но им необходима подготовка по двум направлениям. Во-первых, методологическая — надо понимать, как работать с Большими Данными, какие подходы использовать. Во-вторых, технологическая — это достигается через изучение продуктов. SAP предоставляет партнерам различные возможности обучения, организует пилотные зоны, сотрудничает с аппаратными вендорами, чтобы обеспечить их необходимым «железом».

SAP HANA содержит встроенную вычислительную систему и собственный язык программирования для реализации внутренней логики. Это позволяет создавать решения совершенно иного класса — приложения, которые обрабатывают данные внутри SAP HANA, не используя дополнительные серверы приложений. Разработка таких приложений – перспективная область, в которой тоже могут работать наши партнеры. Сейчас SAP самостоятельно выпускает первые приложения для HANA, чтобы продемонстрировать возможности платформы. Партнеры пока находятся на этапе «впитывания» знаний, но не пройдет и года, как они, по нашим расчетам, начнут предлагать собственные решения такого класса.

Недавно SAP заявила о создании лаборатории в Сколково. Будут ли там работать над проблематикой Больших Данных?

В лаборатории SAP в Сколково HANA будет уделено большое внимание. Там планируется решать прикладные задачи, изучать возможности использования SAP HANA в качестве платформы для тех или иных инновационных разработок. В числе наиболее важных тем, которые будут там прорабатываться, — аналитика и высокоскоростная обработка данных.

Представители каких отраслей больше проявляют интерес к SAP HANA?

Пожалуй, добывающие компании, но скорее за счет того, что эта отрасль вообще превалирует в нашей экономике. В России многие крупные предприятия выделяют средства на развитие инноваций, а госструктуры с недавних пор просто обязаны это делать. На днях было объявлено о создании фонда «Сколтех», в который все госкомпании будут отчислять 1% своего инновационного бюджета.

В марте SAP представила в России решение на основе SAP HANA для малого и среднего бизнеса. Вы полагаете, тема Больших Данных актуальна для небольших организаций?

Да, мы считаем, что наше специальное предложение SAP HANA Edge, которое идет в комплексе с нашей же аналитикой, будет востребовано. Ведь и не очень крупный бизнес может работать с Большими Данными. Мы рассчитываем, что первый заказчик из сегмента SMB появится у нас уже в ближайшие недели.

Технологии Больших Данных только начали свое развитие. По вашим прогнозам, какими они станут лет через десять?

Эта проблематика сейчас набирает вес, и пока не только у нас, но и ни у кого нет достаточно опыта, чтобы делать долгосрочные прогнозы. Ведь еще несколько лет назад никто не ожидал такого бума мобильных технологий. Важно оставаться инновационной компанией, чтобы чутко улавливать тенденции рынка и быстро меняться. Поэтому в SAP недавно перестроили организацию своей внутренней команды разработки. Теперь вместо крупных устойчивых групп разработчики объединяются в небольшие мобильные бригады, каждая из которых решает определенную задачу. Это позволяет сократить циклы создания новых продуктов и быстрее выводить на рынок инновационные решения.

Считается, что наиболее яркие решения, способные преобразить рынок, находятся на стыке нескольких технологий. Если говорить о Больших Данных, с чем могут быть интегрированы эти инструменты?

Сама проблематика Больших Данных возникла на стыке мобильных и облачных технологий. Раньше работа с данными была ограничена экраном офисного компьютера, а сейчас, благодаря мобильным устройствам, она ведется круглосуточно и повсеместно. Информация быстро создается и быстро устаревает, поэтому ее необходимо оперативно использовать. Но когда организация сталкивается с проблемой Больших Данных, ей приходится перестраивать свою инфраструктуру, переводить данные в облака. Идея заключается в том, чтобы переложить бремя инфраструктуры и прочих технологий на профессионалов, предоставив бизнесу решать собственно бизнес-задачи.

Люк Лонерган: «Думаю, что самые большие неожиданности нас ожидают в связи с появлением новых процессоров»

Одним из самых заметных докладчиков на конференции Big Data 2012, проведенной 22 марта издательством «Открытые системы», был Люк Лонерган, сооснователь компании Greenplum. После ее вхождения в EMC он возглавляет одноименное подразделение этой корпорации. Свое выступление Лонерган посвятил теме технологий для аналитической работы с Большими Данными, прежде всего Hadoop. По окончании Лонерган ответил на вопросы для Computerworld Россия.

В начале своего выступления Лонерган попросил поднять руки тех, кто уже использует Hadoop, — ни один из зрителей не поднял руки, тогда он спросил: «А кто планирует использовать Hadoop в своих проектах?» Поднялась одна рука. Читая его ответы на вопросы, нельзя не учесть этого обстоятельства.

Как вы оцениваете рынок, на котором работает Greenplum, какие тенденции наиболее существенны, по вашему мнению?

Собственно рынок параллельных СУБД начался с Greenplum, мы создали его, сейчас он бурно развивается и меняется качественно, теперь СУБД типа Greenplum оказались одним из элементов рынка технологий для работы с Большими Данными, идет процесс экспансии вверх — в сторону приложений и вниз — в сторону «железа». Прежде всего Hadoop — это ключевая технология. Сегодня, покупая системы хранения, рассчитанные на Большие Данные, пользователи обычно предполагают установить в них Hadoop. Появление Hadoop повлияло не только на то, как организованы данные в системах хранения, но и на вычислительный компонент накопителей. Типичный пример — накопитель NAS EMC Isilon, включающий операционную систему OneFS 6.5 и распределенную файловую систему Hadoop Distributed File System (HDFS). Кластер Hadoop может расширяться до нескольких тысяч узлов. Isilon стал первой NAS-системой корпоративного класса, в которой полностью интегрирована Hadoop. Greenplum подготовила к выпуску единую аналитическую платформу Unified Analytics Platform (UAP), она работает на Isilon и может быть без больших сложностей встроена в корпоративные системы для анализа структурированных и неструктурированных данных. В связи с этим возникает новый сегмент на рынке труда, требуются специалисты по анализу данных, которых теперь называют data scientists.

Кого вы считаете основными конкурентами?

Прежде всего IBM и Oracle, к ним можно добавить SAP и NetApp, но сейчас сложно говорить о конкуренции, слишком быстро все изменяется. Самым важным в нашем сегменте я считаю феноменальную скорость, с которой он приобретает зрелость. На то, чтобы создать зрелую параллельную СУБД, которую мы разрабатывали по классическим канонам, у нас ушло более десяти лет, но вот появился Hadoop, и все изменилось. Технологии, если отбросить «эмбриональный» период в три-четыре года, уже посыпались как из рога изобилия.

А как же SQL?

Технологии доступа Hive и Pig в ряде случаев при работе со структурированными данными уступают SQL, а значит, этот классический язык запросов нельзя исключить из инструментария для работы с Большими Данными. В нашей реализации Hadoop поддерживаются и SQL, и альтернативные методы доступа к данным, выбор определяется обстоятельствами.

А не пора ли, хотя бы в приложении к аналитике, вообще отказаться от деления на систем хранения и компьютеры, не следует ли говорить о неких новых машинах? Например, Oracle Exalytics...

Да, мы в какой-то мере возвращаемся к прошлому, в мэйнфреймах все было объединено. Идея сетей хранения SAN была на какой-то момент продуктивна, но компьютинг оказался отделенным от хранения, что стало проблемой в условиях распараллеливания вычисления и хранения. Для сближения на новом уровне мы стали использовать термин «вычисляемое хранение» (Computable Storage), где оба компонента работают на прямой связи.

Какая из технологий способна стать прорывной, поможет вывести работу с данными на новый уровень?

Думаю, что самые большие неожиданности нас ожидают в связи с появлением новых процессоров. Потенциал нынешних «стандартных» серверов практически исчерпан, будущее в процессорах, состоящих из сотен и более ядер. При нынешнем отношение к многоядерности каждое из ядер рассматривается как отдельный процессор, что возможно, когда число ядер не превышает 64, при большем их числе ядра должны объединяться в массивы наподобие графических процессоров в высокопроизводительном компьютинге.

Вы упомянули, что в конце технологической цепочки работы с данными стоят специалисты по данным, чья задача в конечном счете — превратить данные в информацию. По оценкам, в США есть до полумиллиона таких незанятых рабочих мест. Не это ли сдерживающий фактор в массированном внедрении аналитики?

В США большое количество специалистов занято более или менее традиционной аналитической работой, основанной на классических статистических методах. Но анализ больших объемов данных существенно отличается от того, что уже давно известно на протяжении десятилетий. Необходима подготовка новых специалистов и переподготовка тех, кто уже занят в ИТ. Мы организовали несколько сертификационных программ для дипломированных специалистов и программы для университетов. Но мы еще только приближаемся к пониманию содержания науки о данных, она будет включать в себя машинное обучение, искусственный интеллект и многое другое. Я полагаю, что Россия с ее высоким уровнем математической подготовки получает неплохие шансы.

Сергей Лихарев: «Обязательным условием для старта проекта с нашими технологиями Больших Данных является понимание того, что, начав работать с ними, компания получит нечто кардинально новое»

Делясь впечатлениями о форуме Big Data 2012, организованном издательством «Открытые системы», Сергей Лихарев, руководитель направления решений по управлению информацией IBM EE/A, заметил, что все выступающие на конференции выделяют определенную, наиболее близкую себе тему в широкой проблематике Больших Данных. Но важно, что рынок сегодня стремится к консолидации, старается прийти к общему знаменателю в понимании того, что такое Большие Данные и какие инструменты необходимы, чтобы эффективно решать связанные с ними задачи.

Что есть Большие Данные для IBM и какими решениями в этой области располагает корпорация, у Сергея Лихарева поинтересовалась Наталья Дубова, редактор журнала «Открытые системы».

Что IBM вкладывает в понятие Больших Данных?

IBM характеризует Большие Данные по наличию как минимум одного из трех признаков. Первый – классический признак объема. Говоря о Больших Данных, мы имеем в виду огромные объемы – петабайты и зеттабайты данных. Нижний порог – десятки терабайтов данных. Второй критерий – разнородность данных. Если традиционно при работе с данными мы имеем дело с SQL-ориентированным хранилищем, то Большие Данные к структурированным данным добавляют информацию из социальных сетей, тексты, электронную почту, аудио, видео и т. д. И третий признак Больших Данных – скорость. Но не скорость роста хранилищ данных, а скорость, с которой данные поступают. Например, с сенсоров очень быстро идет нескончаемый поток информации. Встает вопрос, с одной стороны, о скорости обработки этих данных, а с другой — о скорости принятия решения на их основе.

Если присутствует один их этих признаков или все они в совокупности, то это задача из области Больших Данных. Часто эти признаки оказываются взаимосвязаны: разнородная информация, как правило, имеет очень большие объемы, а информация с датчиков поступает с огромной скоростью.

Ваши основные предложения в этой области?

Для Больших Данных в целом IBM на сегодня имеет четыре решения. Прежде всего, это хранилища структурированных данных больших объемов в десятки и сотни терабайтов – программно-аппаратные комплексы Netezza, Smart Analytics System. Для обработки потоковых данных предлагается специализированное решение Infosphere Streams. Этот продукт дает возможность написать программу, которая, принимая на вход множество потоков разнородных данных, будет их преобразовывать, анализировать, сопоставлять информацию из разных потоков, чтобы на выходе сохранить извлеченную из потока информацию в хранилище, либо принять на ее основе то или иное решение. Например, в приложении Streams для торговли ценными бумагами изменение котировок может быть сигналом покупать или продавать акции.

Для работы с большими объемами разнородных данных – неструктурированных, полуструктурированных либо структурированных, которые не нужно сразу помещать в хранилище, но нужна возможность обращаться к ним с помощью SQL-запросов, – IBM предлагает продукт Infosphere BigInsights. Это промышленное решение на базе платформы с открытым кодом Apache Hadoop, к которой добавлены средства обеспечения высокой доступности, масштабируемости, инструменты администрирования, инструменты для разработчиков и для конечных пользователей.

Четвертый компонент предложений в области Больших Данных – это интеграционные возможности системы Infosphere Information Server, которые позволяют связать перечисленные решения между собой и с другими компонентами портфеля IBM по управлению информацией.

Все наши технологии Больших Данных основаны на принципе массивно-параллельной обработки, что позволяет создать платформу с практически неограниченными возможностями масштабирования.

Судя по вашим словам, Streams – это среда разработки, а не готовая аналитическая система?

Streams – это среда разработки и одновременно среда исполнения приложений для потоковых данных. Продукт включает в себя наборы библиотек, которые позволяют строить аналитические приложения для обработки различных типов данных – финансовых, текстовых, видео, аудио. Например, с помощью соответствующего тулкита в Streams можно написать приложение для обработки информации, поступающей с видеокамер, которое будет сопоставлять все лица с определенной базой данных и выполнять некоторые действия при выявлении совпадения. Приложение, разработанное с использованием набора библиотек для аудиоданных, сможет, например, выделять звук человеческого голоса из шума моря. Библиотеки для финансовых данных дают возможность разбирать форматы этого типа информации.

Streams предоставляет инструменты разработки на специальном языке Streams Processing Language, созданном в IBM. После того как программа на SPL написана и отлажена, она переносится в продуктивную среду Streams. В этот момент начинает работать технология по оптимизации. Во время написания программы разработчик не знает, в какой среде она будет исполняться. В зависимости от интенсивности потока данных приложение может быть развернуто на одном ноутбуке или на кластере из сотни мощных машин, которые будут вести параллельную обработку. Красота решения IBM в том, что программа на декларативном языке преобразуется в эффективный машинный код. Streams сначала получает задание осуществить те или иные преобразования данных, а затем информацию о том, что эти преобразования надо реализовать, например, для потока данных в 1 Тбайт в час. И приложение будет развернуто на оптимальной аппаратной конфигурации для такой скорости обработки.

Как появился этот продукт?

Streams был разработан в рамках проекта Watson для высокоскоростной обработки голоса.

Streams, по-видимому, достаточно сложное решение, и, чтобы его использовать, компании понадобятся знающие специалисты.

Конечно, это не инструмент бизнес-пользователя. SPL – это SQL-подобный язык, и специалист, который будет работать с Streams, должен знать основы программирования и синтаксис SQL. Но продукт полностью скрывает от него детали исполнения приложения в продуктивной среде, разработчик создает только логику программы. Поэтому Sterams в значительной степени упрощает и ускоряет разработку сложных аналитических приложений обработки потоковых данных.

На семинаре в рамках форума мы всего за час продемонстрировали целиком процесс разработки относительно сложного приложения, которое принимает на вход финансовые транзакции и выполняет с ними определенные действия.

Есть ли примеры внедрения Streams в российских компаниях? Появились ли у IBM на местном рынке партнеры по продвижению этого решения?

Сейчас идет несколько пилотных проектов, которые реализуются силами специалистов IBM. Мы понимаем, что, с одной стороны, такие решения постепенно становятся востребованными и рано или поздно возникнет ситуация, когда партнеры сами придут к нам; с другой - уже сейчас у ряда финансовых организаций есть настоятельная потребность анализа потока финансовых транзакций. Поэтому мы рассказываем партнерам о Streams и приглашаем их к совместному участию в проектах, но при этом стараемся не быть зависимыми от них. Если партнеры быстро не откликнутся, будем эту технологию продвигать сами и развивать рынок до того момента, когда уже заказчики подтолкнут партнеров к тому, чтобы заниматься этим решением.

Насколько Streams востребован и каковы, на ваш взгляд, его перспективы на нашем рынке?

Я уже вижу потребность у финансовых организаций и у телекоммуникационных компаний, которые постоянно имеют дело с потоками данных. Потенциальный пользователь Streams – промышленные предприятия, в частности нефтегазовая отрасль, где эксплуатируется множество датчиков, с которых все время приходит информация. Еще одна область – системы безопасности, где стоит задача распознавания видеоизображений и выполнения тех или иных действий по результатам анализа.

Есть ли аналоги этого решения у других производителей?

С таким же объемом возможностей, как у Streams, нет. Сегодня на конференции все выступающие говорили об объемах, многие – о разнородности данных, но никто не упомянул разнородные потоковые данные, например видео, аудио, тексты. Есть нишевые решения, но большинство крупных вендоров пока не работают с потоками разнородной информации. А у IBM в этой области уже очень зрелый продукт.

Сегодня предлагается не одна коммерческая реализация систем работы с Большими Данными на базе Hadoop. Что выделяет решение BigInsights?

BigInsights – полноценная корпоративная платформа с возможностями развертывания, администрирования, безопасности, высокой доступности. Кроме того, решение включает в себя Text Analytics Toolkit, который позволяет писать приложения по анализу текстов. Например, нужно извлечь из текста фамилию и имя человека и его контактную информацию. Эти данные могут быть перечислены в одном месте или разбросаны по тексту. Инструменты текстовой аналитики BigInsights позволяют строить предметно-ориентированные наборы правил для извлечения нужной информации из текста.

В настоящее время этот инструментарий хорошо работает с английским языком, но при этом является очень открытым: объясняет, какие решения принимаются и почему, позволяя тем самым себя расширять. Поэтому наши партнеры, у которых есть прекрасные наработки в области анализа русского языка, получат возможность использовать их в рамках платформы BigInsights. Мы также работаем с Российской лабораторией систем и технологий IBM по расширению возможностей поддержки русского языка в BigInsights.

Кроме того, в этой системе, как и в Streams, реализована многопотоковая оптимизация времени исполнения, благодаря которой написанное приложение будет работать в продуктивной среде быстро, надежно и качественно. IBM уже 20 лет занимается массивно-параллельной обработкой, и именно в корпорации изобрели SQL как декларативный язык, так что мы действительно знаем, как с этим эффективно работать.

Какие примеры задач для BigInsights вы могли бы привести?

В мире много проектов, в которых профиль клиента строится не только на основе информации о его транзакциях, но и исходя из того, с кем и как он общается в социальных сетях. На форуме я привел пример компании из индустрии моды, которая проводит мониторинг высказываний в Twitter об их продукции непосредственно во время показов. Модели, на которые идут не очень хорошие отзывы, тут же выставляют на продажу со скидкой. Это дает возможность продать их со скидкой 40%, поскольку в конце сезона на такие модели придется делать скидку 80%. Многие банки в мире ведут мониторинг мнений о них в социальных сетях.

В России этого пока нет, но я думаю, что поддержка русского языка на платформе BigInsights откроет новые возможности для наших заказчиков. Пока они с осторожностью присматриваются к этой технологии, но, когда появятся первые успешные проекты, интерес к ней будет нарастать как снежный ком.

В России уже есть пилотные проекты с использованием BigInsights?

Пока нет. Фактически мы сегодня на форуме впервые представили этот продукт, рассказали о том, что есть бесплатная и промышленная редакции BigInsights. Кроме того, мы открыли интернет-ресурс BigDataUniversity, в котором можно бесплатно пройти курсы по технологиям Hadoop и BigInsights и попробовать применить свои знания с помощью облачной инсталляции системы. У BigDataUniversity уже около 8,5 тыс. студентов по всему миру, в том числе из России. Мы также обязательно включим BigInsights в нашу программу работы с российскими университетами.

Надеюсь, и партнеры, и потенциальные заказчики сегодня услышали эту информацию. Думаю, первыми заказчиками BigInsights станут компании, которые декларируют клиентоориентированную стратегию, прежде всего это банки, телекоммуникационная индустрия. Я также рассчитываю на появление интереса к этой системе у госорганизаций, которые работают с очень большими объемами неструктурированной информации.

Что вы можете сказать о востребованности комплекса Netezza?

Netezza близка по духу заказчикам, потому что это классическая SQL-реализация хранилища данных. Система позволяет ускорить работу с существующим у заказчика хранилищем – реализованная в нем аналитическая модель просто переносится в Netezza, где она будет работать без изменений, но значительно быстрее. При этом скорость, которую обеспечивает переход на Netezza, открывает возможность и для реализации новых проектов, например в области прогнозной аналитики. Как показывает наше общение с партнерами и заказчиками, сейчас в России приходит понимание, что прогнозная аналитика – это реальный бизнес-инструмент, способный приносить деньги. Когда прогнозная аналитика выйдет на промышленный уровень использования, Netezza с ее возможностями быстрой обработки больших объемов структурированных данных будет очень востребована. По продукту Netezza сейчас идут пилотные проекты, которые делают IBM и партнеры компании.

Какие необходимые и достаточные условия должны быть у компании, чтобы начать проект в области Больших Данных с использованием технологий IBM – определенное количество специалистов, опыт работы с теми или иными технологиями?

Можно начать с чистого листа. Я бы сказал, обязательным условием является понимание того, что, приступив к работе с Большими Данными, компания получит нечто кардинально новое. Если компания не считает важным, что о ней говорят в социальных сетях, или не видит необходимости в анализе данных, которые в огромном количестве получает с меток RFID, наклееных на каждый ее товар, проект в области Больших Данных для такой компании не актуален. Но как только заказчиков начинают интересовать эти вопросы, мы сможем их научить, как перевести их в практическую плоскость, и предоставим необходимые инструменты.

Как вы оцениваете объем бизнеса IBM в России на ближайший год по решениям для Больших Данных – Streams, BigInsights и Netezza?

Для Streams и BigInsights это будет год развития рынка. Netezza выйдет на уровень системных продаж, и ее доля в бизнесе решений семейства IBM Information Management будет неуклонно расти.

К инструментам Больших Данных можно отнести и систему Watson, о начале активного коммерческого использования которой сейчас много говорят в IBM. Есть ли перспективы коммерциализации Watson в России?

Мы наблюдаем интерес и попытки примерить эти технологии на себя. Есть несколько запросов от заказчиков на проведение семинаров по теме, как использовать Watson в их бизнесе. Надеюсь, после семинаров появятся и потенциальные проекты.