Дополнение уже существующих практик бизнес-аналитики технологиями, позволяющими извлекать пользу из больших массивов неструктурированных данных, приносит заметные плоды.

Александр Прохоров, старший аналитик рынка ИТ-услуг российского офиса IDC, в рамках форума IDC «Большие Данные и бизнес-аналитика» отметил, что в прошлом году мировой рынок Больших Данных составил 12,6 млрд долл., показав рост на 30%. При подсчетах учитывалось несколько групп проектов. Чтобы попасть в эту категорию, помимо больших объемов обрабатываемых данных, проект должен был характеризоваться объединением разнородных данных из множества источников, анализом «на лету» данных, поступающих через высокоскоростную потоковую передачу, или демонстрировать рост объема хранения более чем на 60% в год.

Одним из главных сдерживающих факторов для технологий Больших Данных становится дефицит кадров. Вузы в спешном порядке формируют соответствующие программы, но отдача от них будет заметна лишь через несколько лет. Частично компенсировать нехватку специалистов будет использование специализированных программно-аппаратных комплексов (appliance) и облачных сервисов.

По сравнению с «обычными» облаками применение облачных технологий для обработки Больших Данных растет втрое быстрее, и к 2020 году четверть систем Больших Данных будут облачными. В частности, заметно вырастет число компаний, предлагающих сервисы облачной обработки данных в реальном времени на платформе Amazon Web Services.

Пусть работают машины

Новые возможности по обработке данных влекут за собой коренные перемены в маркетинге: персонификация вместо сегментации, прямые описания аудитории вместо косвенной, а также адаптация интерфейса систем под потребности конкретного человека.

«Главный барьер для внедрения новых моделей в бизнес – психологический, особенно у руководителей, привыкших к традиционным схемам работы», — считает Андрей Себрант, директор по маркетингу сервисов компании «Яндекс». Зачастую алгоритмы могут работать гораздо лучше экспертов, особенно это касается принятия массовых однотипных решений: машина многократно эффективнее работает не вместе с людьми, а вместо них. В этих случаях дорогих, опытных специалистов можно смело увольнять или, как минимум, серьезно переучивать для выполнения новых задач. Вместо поиска ответов специалисты должны учиться задавать правильные вопросы – пока это единственное, чего не умеют делать алгоритмы.

«Я не люблю термин ‘Большие Данные’ и предпочитаю говорить про науку о данных – data science», — подчеркнул Себрант. По его словам, зачастую от гигабайтов данных можно добиться большего результата, чем от терабайтов, только лишь за счет правильного обращения с ними.

«Не так важно, насколько велики ваши данные, как то, насколько вы умеете извлекать из них пользу», — согласился Александр Аникин, руководитель отдела аналитики компании «Связной». Традиционные подходы к работе с данными перестают быть эффективными в связи с многогранностью задач и их сложностью. Бизнес демонстрирует неудовлетворенность результатами аналитических усилий. Именно это становится причиной появления data science, которая, по мнению Аникина, вскоре превратится в одну из стандартных функций компаний – такую же, как юридический отдел или подразделение логистики.

На данный момент data scientist – своеобразный супермен, обладающий широкими знаниями в математике, ИТ и бизнесе, – это во многом собирательный образ. Такие специалисты практически не встречаются, поэтому в большинстве случаев речь идет о построении сбалансированной команды сотрудников, вкупе обладающих необходимой экспертизой.

Свобода действий и минимум бюрократии

В случае инноваций, какими сейчас являются Большие Данные, возврат инвестиций в них просчитать практически невозможно, и это огромная проблема – такие инициативы очень сложно защитить. Кроме того, возможности ИТ-департаментов ограничены, и проекты встают в очередь, иногда весьма долгую. Наконец, у бизнес-подразделений нет стимула заниматься такими работами, что усугубляет ситуацию. Для «Сбербанка» выходом стало обособление исследовательского подразделения: оно имеет свой бюджет, отдельную команду, свою лабораторию, собственные показатели эффективности.

«Высококвалифицированная команда специалистов по гибким методам разработки, небольшие бюджеты, минимум бюрократии», — перечисляет факторы успеха Алексей Винниченко, руководитель направления Больших Данных отдела технологических исследований «Сбербанка».

Платформой для исследований является Cloudera Hadoop, но по необходимости используются и другие решения. С этой точки зрения важны небольшие сроки проектов, в ходе которых многие вендоры дают возможность «поиграть» со своими продуктами бесплатно, а иногда даже выделяют консультантов. При этом стоит отметить подход «отрицательный результат – тоже результат» – сотрудники имеют право на ошибку. Успешной становится примерно каждая третья инициатива: из 25 пилотных проектов, реализованных за последний год, восемь были внедрены в промышленную эксплуатацию. Их экономический эффект многократно превосходит затраты на исследовательские работы.

«Пока самые выгодные для нас проекты Больших Данных – из области безопасности, но о них говорить нельзя», — констатировал Винниченко. Среди прочих проектов он выделил расширение сегмента премиальных карт и оптимизацию эквайринговой сети.

Задачей первого из них стал поиск среди массового сегмента пользователей, готовых перейти на более выгодные продукты премиум-класса. В его ходе потребовалось выделить признаки, разделяющие массовых и премиальных пользователей, построить поведенческую модель премиального клиента. В результате среди массового сегмента было выявлено 54 тыс. потенциальных клиентов премиум-продуктов, а в качестве бонуса – 3 тыс. премиальных клиентов, склонных к оттоку.

В рамках проекта по оптимизации сети эквайринга потребовалось выделить населенные пункты с высоким присутствием POS-терминалов, но низким показателем распространения карточных продуктов, и наоборот. Дополнительным эффектом стала добытая информация об эквайринге и карточных продуктах конкурентов.

Средства манипуляций

Мощнейшим полигоном для обкатки технологий Больших Данных становятся социальные сети. Летом Facebook признался в бесчеловечном эксперименте, в ходе которого пользователям в ленту новостей искусственно внедрялись материалы различной направленности. Проект подтвердил, что социальные площадки предоставляют огромные возможности по манипулированию обществом. Люди, получавшие негативные новости, впадали в депрессию: у них понижалась активность и появлялась агрессия в комментариях. При позитивной тональности внедряемых материалов активность пользователей резко росла, они сами начинали активно размещать фотографии и жизнерадостные новости.

Огромное применение Большие Данные находят и в игровой индустрии. Одним из важных направлений деятельности крупных операторов онлайн-игр становится анализ действий игроков в реальном времени. В зависимости от происходящих событий прогнозируется дальнейшее их развитие и формируется персонифицированное предложение по приобретению игровых предметов. С учетом масштабов маркетинговых кампаний, затея по мониторингу действий пользователей является вполне оправданной. Если с нескольких миллионов игроков в результате таких действий удается дополнительно получить хотя бы по несколько долларов, окупаемость проекта становится очевидной.

Анонсированная в сентябре многоплатформенная система Qlik Sense предназначена для самостоятельной визуализации и исследования данных, в том числе и на мобильных устройствах. Таким образом Qlik целенаправленно идет по пути создания инструментов, делающих анализ данных проще и доступнее для самых разных категорий пользователей.

Средства легкой визуализации, быстрого создания информационных панелей и интерактивного построения отчетов помогают снизить зависимость бизнес-пользователей от ИТ-службы, которая часто перегружена растущим потоком запросов на создание новых отчетов и не всегда успевает их выполнять. Благодаря централизованным управляемым библиотекам данных, параметров и объектов аналитические приложения в Qlik Sense создаются путем перетаскивания объектов, и у пользователя нет необходимости настраивать связи между ними или писать SQL-запросы. При этом можно быстро загружать и комбинировать собственные данные из нескольких источников. Предполагается, что пользователи смогут применять собственные подходы к извлечению знаний из множества источников и восполнять возможные пробелы, возникающие при использовании других BI-инструментов.

Qlik Sense стал вторым флагманским продуктом компании, созданным на базе механизма ассоциативного индексирования данных. Ассоциативное индексирование позволяет исследовать скрытые взаимосвязи между данными из множества источников, которые недоступны при использовании запросов или иерархических моделей. Как утверждают разработчики, интеллектуальный поиск, интуитивные исследования и визуализация в Qlik Sense ускоряют процесс принятия решений. Кроме того, продукт дает возможность легко обмениваться данными на мобильных устройствах и создавать «повествования» – презентации с наглядным процессом поиска решений. В ходе интерактивной презентации пользователь может переходить на уровень данных в приложении, чтобы сразу получать ответы на возникающие вопросы.

Система предназначена для работы в мобильной среде, полноценный доступ ко всем функциям обеспечивает унифицированный клиент на базе HTML5 с сенсорным интерфейсом. Кроме того, в решение заложены возможности интеграции данных, очистки, преобразования и объединения множества разрозненных источников данных без необходимости прибегать к дополнительным инструментам или внешним хранилищам. Версию Qlik Sense для десктопов можно скачать бесплатно как для домашнего использования, так и для применения в небольших компаниях.

«Традиционные BI-системы не помогают пользователям самостоятельно находить ответы на свои вопросы», – заявил Винсент Петерс, региональный вице-президент и управляющий директор Qlik. По его словам, новое решение компании для BI-самообслуживания поможет бизнес-пользователям самостоятельно выявлять скрытую ценную информацию.

Одно из первых в России приложений на базе Qlik Sense построила исследовательская компания Frank Research Group, которая является OEM-партнером Qlik. Бесплатное приложение «Банковская аналитика» содержит наглядную и интерактивную статистическую информацию из открытых источников по всем российским банкам и позволяет неподготовленным пользователям сравнивать банки по таким показателям, как доля рынка и темп роста бизнеса, портфель и его динамика. Приложение помогает отслеживать новостной фон любого банка в режиме реального времени, а также анализировать новости прошлого года. При нынешней нестабильности в банковском секторе такая помощь в выборе подходящего банка для размещения средств или при проверке устойчивости своего банка может оказаться как нельзя кстати. Каждый график и диаграмма в приложении интерактивны, то есть пользователь видит не статичные данные, а может в них углубиться и обнаружить скрытые закономерности.

Если cистема Qlik Sense предназначена для самого широкого круга пользователей, то первый популярный BI-продукт компании, QlikView, намечено превратить в платформу, позволяющую быстро создавать сложные приложения бизнес-анализа, адресованные главным образом профессионалам в аналитике. По мнению представителей разработчика, эти два продукта могут использоваться в рамках одной компании для решения разными группами пользователей тех или иных бизнес-задач.

Tibco хорошо известна в мире ИТ прежде всего как ведущий независимый производитель программных решений по интеграции приложений, обработке событий и управлению бизнес-процессами. Но за последнее время с приобретением сразу нескольких компаний, специализирующихся на бизнес-аналитике, из которых наиболее заметны Spotfire и Jaspersoft, продуктовый портфель Tibco пополнился решениями в этой области. И явно назрела необходимость объединить это разнообразие некой общей стратегической идеей.

«Мы видим миссию компании, консолидирующую все наши решения, в том, чтобы предоставить нужную информацию в нужном месте, в нужное время и в правильном контексте, — заявил Вивек Ранадив, основатель, президент и генеральный директор Tibco Software. – Именно это позволяет делать наша платформа быстрых данных».

Как объяснил Ранадив, быстрые данные в Tibco рассматривают как эволюцию концепции Больших Данных. Если последние в большинстве случаев отождествляют с очень большими хранилищами данных, которые далеко не всегда способны принести реальную пользу бизнесу, то быстрые данные комбинируют накопленные исторические данные с данными, полученными в реальном времени, предоставляя возможность на основе анализа этой информации предпринимать эффективные действия.

Эта направленность на действие, на поддержку принятия точных оперативных решений – ключевая характеристика платформы быстрых данных Tibco. Собственно, об этом в компании говорили и раньше, когда ее программный портфель был сосредоточен вокруг систем интеграции и обработки событий. Но, видимо, реальная возможность поддержки принятия решений действительно появилась в результате интеграции традиционных систем Tibco и вновь приобретенных аналитических решений.

Анонсы

Хотя со сцены конференции произносились слова о новой версии платформы быстрых данных, в личной беседе директор по технологиям Tibco Матт Куинн признал, что компания сегодня представляет первую версию комплексной среды, в которой удалось интегрировать три уровня технологий – интеграцию приложений, обработку событий и аналитику. Помимо общего видения, на конференции было сделано множество анонсов, касающихся отдельных компонентов платформы быстрых данных. Ряд из них наглядно иллюстрирует синергию традиционных продуктов Tibco c новыми аналитическими функциями. Представленные новшества Куинн объединил в три группы – усовершенствование функций платформы, упрощение использования входящих в ее состав продуктов и более простые способы предоставления возможностей платформы пользователям.

В основе платформы быстрых данных лежат средства интеграции, которые в Tibco строят на различных механизмах передачи сообщений. Один из них – выпущенная три года назад система FTL – реализует высокопроизводительную одноранговую (peer-to-peer) передачу данных между двумя узлами. Это решение, востребованное, как отмечают в Tibco, во многих интеграционных задачах финансовых, транспортных, телекоммуникационных компаний, теперь непосредственно доступно из системы интеграции приложений ActiveMatrix BusinessWorks и системы обработки событий StreamBase, а также может взаимодействовать с другим базовым решением – Enterprise Message Service, шиной передачи сообщений по стандарту Java Message Service.

Система обработки событий StreamBase получила два важных дополнения. Интеграция с аналитическим компонентом Enterprise Runtime for R позволяет запускать обработку событий при каждом обновлении статистических моделей, построенных в системе Spotfire. Кроме того, StreamBase теперь поддерживает широкий набор открытых коннекторов (MQTT, OSIsoft PI System, Insteon X10, iBeacons, Google Glass, Garmin, SDR, OBD-I) для получения потока событий с разнообразных устройств. Тем самым Tibco делает свой вклад в реализацию Интернета вещей. Объявлено также о поддержке HTML5 в системе построения инструментальных панелей Live Datamart, что позволит сделать более наглядным представление данных о событиях и процессах и реализовать дашборды в различных формах – как настольные клиенты, мобильные или веб-приложения.

Что касается простоты использования, то к этой категории усовершенствований в Tibco отнесли встроенные средства генерации отчетов JasperReports Server для системы управления бизнес-процессами ActiveMatrix BPM, которые предоставляют статистику по процессу и другие важные данные в наглядном виде непосредственно в BPM-системе. Кроме того, в BPM улучшена поддержка кейс-менеджмента – управления процессом, который может меняться в зависимости от ситуации.

В системе управления мастер-данными появились возможности создания собственных MDM-приложений и готовые шаблоны для управления данными о клиентах в конфигурациях B2B и B2C и для мастер-данных предприятий определенных отраслей, например, телекома.

Улучшения с точки зрения доставки возможностей своей платформы в Tibco связывают с облачной моделью. На конференции, в частности, был анонсирован новый сервис Simplr для интеграции данных между популярными SaaS-приложениями, социальными сетями и облачными аналитическими сервисами, такими как Spotfire Cloud.

На Tibco Now также была представлена новая система цифрового маркетинга Engage. Как утверждают в Tibco, она демонстрирует все возможности, которые способна предоставить платформа быстрых данных.

Зарождение рынка

О быстрых данных сегодня говорит не только Tibco. В IBM, например, утверждают, что первыми ввели этот термин. Вивек Ранадив считает IBM пока единственным конкурентом Tibco на рынке быстрых данных. И главу компании не смущает, что Голубой гигант в значительной степени связывают реализацию этой концепции с высокопроизводительными системами обработки и хранения данных, которыми владеет корпорация. Напротив, Ранадив считает, что нейтральность по отношению к аппаратной платформе является преимуществом Tibco, особенно в условиях такой ярко выраженной тенденции, как консьюмеризация ИТ, которая подразумевает возможность широкого выбора у клиента.

Над чем компании придется серьезно поработать, отмечает Ранадив, так это умение активно пропагандировать преимущества своих решений. «В Tibco сложилась инженерная культура, мы всегда скептически относились к рекламе, придавая первостепенное значение реальной силе наших продуктов. И это работало – наши клиенты нам всегда доверяли. Но теперь продуктовый портфель Tibco сильно изменился, и мы видим необходимость заняться самопродвижением. Этому надо будет учиться», — заметил Ранадив.

Источник: Sociometrics Solutions

Компания Sociometrics Solutions, созданная выходцами из Массачусетского технологического института, разрабатывает систему, которая собирает информацию о поведении сотрудников и выдает рекомендации, позволяющие повысить продуктивность труда.

Система состоит из беджей со встроенными датчиками и облачного аналитического сервиса. Датчики следят за местонахождением сотрудников, направлением взгляда и наклоном тела (могущим свидетельствовать, к примеру, об участии в беседе). Акселерометры регистрируют скорость (показатель энергичности или апатии), а встроенные микрофоны — как часто, быстро и громко человек говорит (но не само содержание беседы). Датчики отправляют информацию по Bluetooth на считывающие устройства в офисе, а те передают ее в облако.

У сотрудников есть доступ к своим личным данным, а руководству предоставляются анонимизированные обобщенные результаты, закономерности и тенденции. Анализируя эти сведения вместе с информацией из опросов и объективными показателями результативности, Sociometrics дает советы, причем иногда довольно неожиданные.

К примеру, по результатам исследования в крупном онлайн-бюро путешествий после наблюдения за взаимодействием сотрудников за обедом была получена рекомендация увеличить длину столов. Сидевшие за более длинными столами работали более продуктивно, так как активнее контактировали с другими сотрудниками и больше знали о происходящем в компании. Как сообщают разработчики системы, когда эту историю опубликовали, в кафетериях ряда технологических компаний тоже начали устанавливать большие столы.

30 октября корпорация Oracle провела в Москве форум Oracle Day 2014 под названием «Цифровая революция — мир возможностей для успешных компаний». В ходе мероприятия транслировались основные темы ежегодной конференции Oracle OpenWorld, недавно прошедшей в Сан-Франциско (см. «Oracle OpenWorld: облака меняют климат», Computerworld Россия, № 26, 2014).

«Исследования показали, что только пятая часть компаний обладает необходимыми платформами для поддержки цифрового бизнеса. Наша задача – предоставить продукты и решения, помогающие создавать такие платформы с применением всех возможностей интегрированного программно-аппаратного стека Oracle», — заявил на пленарной сессии Эндрю Сазерленд, старший вице-президент по технологиям Oracle в странах Европы, Ближнего Востока и Африки.

Мария Орловская, региональный директор Oracle в России, отметила, что форум проводится в юбилейный для компании год: 30 лет назад в нашей стране впервые появилась СУБД Oracle. Тогда в Институте физики высоких энергий в Протвино, где требовалось хранить значительные объемы данных экспериментов на ускорителе заряженных частиц, начали использовать Oracle4 для VAX/VMS (см. «Oracle по-русски», Computerworld Россия, № 36, 2003). Теперь же, по словам Орловской, Oracle объявляет в нашей стране год Больших Данных.

Среди новых продуктов корпорации в этой области – программный комплекс Oracle Big Data SQL, который позволяет формировать единый SQL-запрос к данным в системах Hadoop, СУБД NoSQL и Oracle Database, что упрощает доступ к информации и минимизирует перемещение данных. Oracle Big Data SQL поддерживается платформой Oracle Big Data Appliance и может работать вместе с Exadata Database Machine.

В портфеле решений интеграции данных Oracle Data Integration появилась платформа Oracle Enterprise Metadata Management 12c, которую разработчики рассматривают как важнейший компонент систем для управления Большими Данными. Новая платформа совместно с такими продуктами, как Oracle Enterprise Data Quality, Oracle Big Data SQL и Oracle Database Security, позволяет управлять жизненным циклом данных, осуществлять их защиту, а также обеспечивать выполнение требований регулирующих органов.

Создан также комплекс облачных аналитических решений Oracle Analytics Cloud, содержащий инструменты бизнес-анализа как для традиционных, так и для Больших Данных. В его состав входит, в частности, сервис для работы с Большими Данными Oracle Big Data Cloud Service, который предоставляет возможность хранить, анализировать и обрабатывать значительные объемы данных с использованием технологии Hadoop. Для его облачного развертывание могут применяться сервисы Oracle Compute Cloud Service и Oracle Storage Cloud Service. Возможна также поддержка Oracle Big Data Cloud Service программно-аппаратными системами Oracle Exadata и Oracle Big Data Appliance с выбором параметров производительности и качества сервисов.

Результаты инициированного Oracle исследования, опубликованного весной прошлого года, свидетельствуют о том, что оперировать с Большими Данными готовы далеко не все предприятия, причем многим из них требуется модернизация центров обработки данных. Независимой аналитической компанией Quocirca подготовлен отчет Oracle Next Generation Data Centre Index, в котором оценивается влияние ЦОД на увеличение производительности ИТ-инфраструктуры и оптимизацию бизнес-процессов. Россия, по данным исследования, обладает значительным потенциалом для развития ЦОД, поскольку в нашей стране во многих организациях рассматривают поддержку роста бизнеса в качестве важного стимула инвестиций в центры обработки данных.

Как в Oracle оценивают влияние геополитической обстановки на реализацию планов корпорации в России, в том числе в области Больших Данных, понять трудно, поскольку даже в частных разговорах руководители представительства старательно избегают слова «санкции» и говорят лишь об общем экономическом спаде.

В то же время, Николай Зезюлинский, директор по развитию бизнеса ФОРС, заявил на пленарной сессии: «Тенденция этого года, которая заставит поволноваться многих заказчиков Oracle, – это импортозамещение». В список новых услуг ФОРС входит сервис аудита технологий, который поможет ответить на вопрос, что делать в новых условиях с существующими и вновь создаваемыми системами. «Если раньше выбор технологий Oracle не вызывал никаких сомнений ни в госсекторе, ни у людей бизнеса, то сейчас требуется гораздо более детальное обоснование того, что выбор этот — правильный».

Все большее число решений SAP сначала будут выводиться на рынок как облачные сервисы, а затем станут доступны и в "традиционных" версиях, сообщил Уве Григоляйт, директор глобального подразделения по развитию семейства продуктов Suite on HANA и приложений на платформе HANA, выступая на круглом столе в рамках российской конференции SAP HANA Council. Это позволит предоставлять заказчикам новые функции гораздо быстрее, чем прежде. Кроме того, бизнес-логика существующих продуктов будет адаптирована к особенностям обработки данных в оперативной памяти, а сценарии Больших Данных будут встроены в SAP Business Suite.

По словам Григоляйта, SAP продолжает придерживаться наработанного годами цикла обновлений традиционных пакетов решений: шесть месяцев для относительно небольших бизнес-приложений и 12-18 месяцев — для более крупных. 

Григоляйт напомнил, что семейство продуктов Suite on HANA — бизнес-приложений, построенных на базе платформы с обработкой данных в памяти, появилось на рынке в январе 2013 года. На сегодня его клиентами стали около 1,5 тыс. организаций, в 170 из них приложения уже находятся в продуктивной эксплуатации. Есть среди клиентов Suite on HANA и российские компании.

Благодаря тому, что HANA обеспечивает ускорение получения аналитической информации в десятки и сотни раз, меняется не только стиль принятия бизнес-решений, но и вся деятельность компаний, полагает Григоляйт. HANA существенно упрощает доступ к оперативной аналитике — для ее получения уже не понадобится помощь высококвалифицированных специалистов в BI и прочих помощников, кроме того, пользоваться возможностями аналитики смогут не только топ-менеджеры, но и руководители линейного уровня, принимающие оперативные решения в рамках своей компетенции.

«В мире Интернета вещей любая единица оборудования, которая стоит больше 100 долл., будет снабжена цифровыми датчиками», — считает Григоляйт.

Согласно его ожиданиям, распространение Интернета вещей и межмашинного взаимодействия (Machine-to-Machine, M2M) в промышленности повлечет за собой революционные изменения. Впрочем, подавляющее большинство нынешнего промышленного оборудования к Интернету вещей и M2M пока не готово. Григоляйт предполагает, что переход к новому поколению оборудования в промышленности будет постепенным: по мере проведения плановых ремонтов оборудование будет снабжаться датчиками или заменяться на новое, подключаемое через цифровые каналы связи.

Чтобы поддержать промышенные предприятия в их стремлении извлечь пользу из Интернета вещей и других инноваций, порождающих большие объемы и потоки данных, SAP планирует встраивать сценарии Больших Данных в свои бизнес-приложения. Компания, по сути, берет на себя методическую функцию, распространяя опыт использования Больших Данных среди своих клиентов, — и это весьма разумно, если учесть, что одним из главных барьеров на пути распространения технологий Больших Данных сегодня является дефицит идей по извлечению из этих технологий выгоды для бизнеса.

Григоляйт привел несколько примеров использования Больших Данных. В частности, один из заказчиков SAP, производитель компрессорного оборудования, начал продавать своим клиентам не технику, а услугу по предоставлению сжатого воздуха. Другой заказчик — поставщик туалетной бумаги и мыла для уборных в организациях, предложил клиентам оснащать эти помещения интеллектуальными системами, которые, с одной стороны, позволяют оптимизировать расход бумаги и мыла, с другой — обеспечить своевременный заказ этих материалов в оптимальных объемах. Еще один сценарий, «цифровое месторождение», предназначенный для нефтегазовых компаний, предполагает, в частности, анализ больших объемов данных, полученных в результате сейсморазведки, и обработку показаний с датчиков на газопроводах.

Широкие перспективы сулит и использование технологий Больших Данных при решении различных задач обеспечения безопасности, например, предотвращения противоправных действий, в первую очередь мошенничества как со стороны клиентов, так и со стороны инсайдеров, в частности, сотрудников, участвующих в закупках. Как рассказал Дмитрий Шепелявый, заместитель генерального директора SAP СНГ, компания планирует выпустить целый ряд решений для обеспечения безопасности, в том числе ориентированных на конкретные отрасли (например, нефтегазовую). Предотвращению мошеннических действий будут способствовать и сервисы отладки ролей пользователей (например, чтобы не дать совершать сделки отдельных видов тем сотрудникам, которые не имеют на них полномочий). По словам Шепелявого, будут среди решений и сервисов безопасности и те, что созданы совместно с российскими партнерами с учетом отечественных реалий. Акцент при выборе партнеров будет делаться на интегрируемость их решений с SAP, а также на то, в какой степени их продукты и сервисы дополняют те возможности, которые уже реализованы в технологиях компании.

Insight – новое название традиционной международной конференции IBM, посвященной решениям по управлению данными и аналитике. Последние годы ключевой темой этого мероприятия, ранее известного как Information on Demand, были Большие Данные и все, что с ними связано. Переименование объяснил, открывая конференцию, Боб Пиччиано, старший вице-президент IBM, глава IBM Information & Analytics Group. Задача сегодня уже не в том, чтобы правильно работать с данными, объемы и разнообразие которых продолжают расти, а в том, чтобы заставить данные работать с максимальной эффективностью. «Формируется новая экономика, новый цикл создания ценности, основанный на глубоком проникновении в суть происходящих с компаниями процессов и возможности использовать это знание для инноваций», — сказал Пиччиано. Обеспечить это глубокое проникновение (insight) призваны решения IBM для аналитики Больших Данных.

В IBM видят три ключевые составляющие текущей ситуации в ИТ и бизнесе: данные, облака и так называемые «системы вовлечения» (systems of engagement) – новый тип информационных систем, основанный на использовании мобильных и социальных технологий. Эти компоненты тесно взаимосвязаны. Бизнес все больше опирается на системы вовлечения как основной механизм реализации своих задач; аналитика данных из различных источников, в том числе за пределами корпоративного периметра, позволяет находить ответы на вопросы, что и почему происходит, прогнозируя будущие события; а наиболее эффективной средой интеграции, обработки и анализа необходимых при этом данных становится облако.

Последнее было продемонстрировано основными анонсами Insight. Представленные облачные сервисы для работы с корпоративными данными призваны, как отмечают в IBM, дать возможность без проблем создавать мобильные и веб-приложения, использующие аналитику данных из различных источников. В облаке IBM Bluemix, новой среде на базе открытой платформы Cloud Foundry, предлагаются пакет сервисов подготовки данных DataWorks и хранилище данных dashDB с аналитической обработкой данных в памяти. Вместе с Cloudant, приобретенной в начале этого года NoSQL-базой данных в стиле DBaaS, эти решения, как заявляют в IBM, образуют полный комплекс инструментов для поддержки приложений, ориентированных на получение результатов анализа данных на произвольных платформах, включая мобильные.

Для «систем вовлечения», работающих с мобильными устройствами и социальными сетями, интеграция с корпоративными базами данных, ограниченность объемов локального хранения и отсутствие эффективных аналитических средств могут представлять серьезную проблему. IBM предлагает логичное решение – задействовать облачные ресурсы, которые, освобождая компании от затрат на собственную инфраструктуру, быстро предоставят им полноценную и масштабируемую среду работы с данными. Сервис DataWorks обеспечивает безопасную загрузку данных в облачное хранилище с предварительной очисткой, классификацией, сопоставлением неструктурированных данных на основе вероятностных алгоритмов. dashDB позволяет получить из облака сложную инфраструктуру хранилища данных. А интеграция dashDB с Cloudant обеспечивает мобильным решениям необходимую аналитическую поддержку.

Эра когнитивности

Аналитика Больших Данных – одно из стратегических направлений бизнеса IBM, и в его развитии корпорация обладает «секретным оружием», пока недоступным конкурентам. Речь идет о суперкомпьютере Watson. Упоминание об этой системе принято сопровождать отсылкой к телевизионной игре Jeopardy!, в которой Watson победил в 2011 году. С этого момента началась его мировая известность. Однако за прошедшие три года уникальный суперкомпьютер встал на путь более практических применений, которые по значимости намного превосходят удачное участие в телешоу.

В IBM называют Watson когнитивной системой – ее отличает способность понимать запросы, сделанные на привычном человеку языке, анализировать контекст задачи, предлагать варианты решения проблем и формулировать гипотезы для постановки новых вопросов. Эти возможности, безусловно, способны перевести аналитику на совершенно новый уровень. В IBM отводят Watson ключевую роль в реализации механизмов глубокого проникновения в различные источники данных. Как подчеркнул Боб Пиччиано, такая аналитика способна кардинально изменить целые индустрии и профессии и символизирует переход в новую, когнитивную эру ведения бизнеса.

В IBM реализуют долгосрочную программу коммерциализации Watson. Ее первые плоды начинают появляться с выпуском приложений и сервисов на основе Watson для различных аудиторий пользователей. Делая анонсы новых применений Watson, Майк Родин, в начале этого года возглавивший новое подразделение IBM Watson Group, отметил, что система призвана стать эффективным помощником специалистам в разных областях.

«Люди делают наблюдения и накапливают знания, анализируют полученную информацию и принимают решения. Со временем этот когнитивный процесс позволяет сформировать профессиональную экспертизу. Однако возможности людей перерабатывать информацию ограничены, и это особенно заметно становится сейчас, когда в каждой профессиональной области доступны гигантские объемы данных – статей на специализированных ресурсах, записей в социальных сетях, потоков данных с различных датчиков и устройств зарождающегося Интернета вещей. Человеческий мозг уже не может справиться с этим. Здесь и приходит на помощь Watson», — рассказал Родин.

Суперкомпьютер способен обрабатывать миллионы неструктурированных документов за секунды, а его встроенные алгоритмы машинного обучения и продвинутой аналитики предлагают оптимальные варианты решения задач и помогают формулировать новые. В IBM работают над созданием специальных приложений, обучая Watson языку предметной области, интегрируя нужный контент и настраивая алгоритмы на определенный класс задач. На Insight были представлены три первые такие системы. IBM Watson for Oncology создана в сотрудничестве с онкологическим центром Memorial Sloan Cattering для помощи врачам в выборе способов лечения рака. IBM Watson for Wealth Management предназначена для финансовых институтов и поможет консультантам персонифицировать рекомендации своим клиентам. Третье приложение несколько неожиданное, но способное заинтересовать самую широкую аудиторию: Chef Watson выступает советчиком в создании новых кулинарных рецептов.

IBM также продолжает разработку решений на базе Watson для бизнеса. Вслед за анонсированным в сентябре сервисом Watson Analytics для менеджеров на Insight было представлено приложение Watson Explorer для совершенствования механизмов поиска в корпоративных хранилищах структурированных и неструктурированных данных. Кроме того, IBM интегрирует аналитические возможности Watson с другими своими программными системами – с пакетом решений для управления персоналом Kenexa Talent Suite, платформой коммуникаций и совместной работы Connections и c системой обнаружения киберпреступлений i2.

Все решения на базе Watson – облачные сервисы, доступные на платформе IBM Softlayer. По словам Родина, это демократизирует когнитивные системы. Для продвижения возможностей Watson корпорация работает над формированием партнерской экосистемы – в облаке Bluemix уже предоставляется около 10 сервисов и хранилища контента для разработки приложений, задействующих когнитивные способности Watson, и число таких сервисов планируется расширять. На Insight также была анонсирована программа сотрудничества с университетами, в рамках которой студентов познакомят с тем, как обучать Watson новым областям знаний. Уже с этой осени новые курсы преподаются в Стэнфорде, Беркли, Карнеги-Меллоне и ряде других ведущих американских университетов, а в следующем учебном году программу планируется сделать международной.

«Большие Данные – раскрученная маркетологами тема, однако под ней лежит серьезная наука», — заявил Евгений Павловский, директор проекта «Исследовательские системы» НГУ, на конференции «Большие Данные в национальной экономике», организованной издательством «Открытые системы». В рамках программы состоялись выступления представителей ведущих российских школ анализа данных, а также нескольких организаций, применяющих анализ Больших Данных на практике. Форум стал дискуссионной площадкой для обсуждения исследовательскими коллективами перспективных проектов из области работы с данными.

По мнению Павловского, ключевыми проблемами, стоящими перед научным сообществом, являются качество данных и их неструктурированность. Когда речь идет об анализе данных, то часто подразумевается, что они уже собраны и релевантны решаемым задачам. Однако помимо низкого качества часто наблюдается еще и несоответствие целей сбора данных целям дальнейших исследований. Кроме того, возникает потребность в новых типах данных для представления текстовой информации и подходах к их анализу. Возможно, это потребует серьезного пересмотра алгоритмов добычи данных.

Евгений Павловский: «Большие Данные – раскрученная маркетологами тема, однако под ней лежит серьезная наука»

«Путь ИТ в бизнес всегда был непрост. Во многом причина заключается в том, что технологии развиваются гораздо быстрее, чем менеджмент, а потому становятся востребованными не сразу», — отметила Светлана Мальцева, декан факультета бизнес-информатики ВШЭ. Пожалуй, к Большим Данным это относится еще больше, чем к остальным технологиям: помимо «перестройки мозгов» менеджмента (нужно будет доверять не только данным, но и результатам их обработки), требуется еще и подготовка специалистов, огромный дефицит которых наблюдается во всем мире.

В ВШЭ в текущем году стартовала программа «Системы Больших Данных», посвященная применению технологий Больших Данных в бизнесе. Эта дисциплина находится на стыке ИТ, науки о данных (Data Science) и бизнес-знаний. Она фокусируется не столько на анализе данных, сколько на интерпретации его результатов и предполагает новый подход.

По мнению Мальцевой, существует пять ступеней информационной зрелости компаний. Большинство компаний находятся на первых трех – мониторинг бизнеса, анализ бизнеса и оптимизация бизнеса. Две оставшихся ступени – монетизацию данных и трансформацию бизнеса – им еще предстоит покорить. Монетизация данных – важнейший этап, когда данные становятся реальным активом предприятия, во многом психологическим рубежом, преодоление которого позволяет вывести работу с данными на новый уровень — например, компания может предоставлять аналитические услуги внешним потребителям.

Сергей Березин, руководитель совместного исследовательского центра Microsoft Research и МГУ, рассказал о проекте ChronoZoom по интерактивной визуализации мировой истории. Система размещается в облаках Windows Azure и представляет исторические события на двухмерной плоскости. Она активно используется в образовательных программах США как инструмент для публикации научных гипотез и исследований, а также обнаружения интересных фактов и закономерностей в исторических событиях.

«С точки зрения открытой информации о людях социальные сети являются крупнейшим источником данных», — подчеркнул Михаил Комаров, руководитель департамента инноваций и бизнеса в ИТ факультета бизнес-информатики ВШЭ. Ключевая задача для многих компаний состоит в их мониторинге, причем польза от такой деятельности есть только в реальном времени. Более того, других способов получить актуальную информацию пока не существует. Эффективности предсказательной аналитики для этих целей пока явно недостаточно.

Развитие мобильного Интернета породило множество услуг: мобильная реклама, мобильные платежи, геолокационные сервисы, мобильные игры и видео. Мобильные устройства формируют портрет своего хозяина и сильно помогают в оказании ему персонифицированных услуг. Они круглосуточно включены и отправляют операторам связи массу ценной информации. Мобильные устройства — пока единственная массово работающая технология в рамках Интернета вещей, остающаяся на сегодняшний день основным источником Больших Данных для анализа, причем наибольший объем данных предоставляют сами пользователи.

Как полагает Комаров, уже в ближайшее время на рынке будет крайне велика роль посредников, профессионально занимающихся извлечением из Больших Данных дополнительной ценности и предлагающих свои услуги. Компании постепенно приходят к архитектуре построения систем на основе модели «Данные как сервис» (Data as a Service).

«Интернет-ретейлерам доступна полная информация об аудитории, и практически все показатели можно и нужно измерять», — высказался Михаил Сливинский, руководитель отдела маркетинговой и поисковой аналитики компании «Викимарт». В этом состоит принципиальное отличие от традиционного ретейла, где количественные оценки зачастую невозможны. При этом стоимость любой ошибки весьма высока – конкуренты находятся друг от друга на расстоянии одного клика мышью.

Критически важная задача онлайн-торговцев заключается в том, чтобы изучить потребности клиентов, персонализировать взаимодействие с ними и выстроить систему рекомендаций. Использование аналитики Больших Данных позволяет строить гораздо более умные системы, чем использование традиционных, более грубых подходов.

Форум, организованный в рамках деловой программы выставки SofTool, прошел при поддержке Российского фонда фундаментальных исследований и Российской академии наук.