Выяснилось, что не все данные одинаково полезны, а для ответа на вопросы типа «что было, что есть и что будет», возможно, и не потребуются огромные хранилища, в реальном времени аккумулирующие все поступающие из различных источников неструктурированные сведения. Григорий Каневский, архитектор решений Teradata Aster, представивший решения компании на недавнем форуме Big Data 2015, организованном издательством «Открытые системы», рассказал о своем видении аналитики Больших Данных.

- В названии вашего доклада упоминается аналитика с человеческим лицом, что под этим подразумевается?

Основная цель процесса анализа в Aster, включающего сбор, распределение, обработку данных и визуализацию результата, – создание ценности для бизнеса, что в конечном счете означает формирование такого представления информации, которое может быть использовано для принятия решений. Анализ эффективен, когда его проводят не узкие специалисты в области математики, ИТ, бизнеса или в конкретной прикладной области — роль аналитика требует баланса знаний, способности соединить их для постановки задачи и обнаружения закономерностей. Такой специалист, исследователь данных (data scientist) не может знать все, но должен уметь поставить вопрос и получить ценный для бизнеса результат даже при отсутствии информации о структуре или закономерностях анализируемых данных. Иначе говоря, он должен «чувствовать» данные, которые визуализируют средства аналитики.

- Какие средства для этого предлагает ваша компания?

Для поиска ценности в данных предназначена платформа Teradata Aster, реализующая стратегию компании по интеграции всей продуктовой линейки, включающей уже не только традиционные хранилища данных, построенные по принципу «сначала собрали данные, потом записали в одну базу, затем долго хранили и потом, может быть, средствами SQL получили результат». Сегодня речь идет об анализе в динамике, об обработке в реальном времени и о многообразии источников, тесная интеграция которых выполняется с помощью технологии QueryGrid, позволяющей применять один SQL-запрос ко множеству баз и хранилищ как от Teradata, так и от других производителей, а также к кластерам Hadoop. Вместо перемещения данных в QueryGrid сами запросы перемещаются в целевые хранилища и там выполняются.

Такие инструменты позволяют пользователям с любым уровнем подготовки в области программирования, и в частности SQL, работать со сколь угодно большими массивами сырых данных. В конечном счете все данные имеют ту или иную структуру, другое дело, что она неочевидна или неизвестна, а прежде чем браться за анализ, требуется четко представлять, зачем это нужно бизнесу. Разумеется, какая-то подготовка по SQL или языку R полезна; вместе с тем в Aster есть фреймворк AppCenter, который позволяет из готовых блоков, скрывающих от пользователя сложность алгоритмов, создавать веб-приложения для решения конкретных аналитических задач. Такие блоки-ускорители поставляются уже настроенными для различных отраслей (телеком, банки, розничная торговля, индустрия развлечений, здравоохранение и т. д.). Бизнес-пользователи, не знакомые с SQL и не обладающие опытом программирования, с помощью таких веб-приложений могут проводить анализ по выбранным параметрам и получать ответы в виде обнаруженных скрытых связей, оценок лояльности клиентов, ключевых сегментов потребительской аудитории, лидеров мнений, влияющих на принятие решений.

- Есть мнение, что не все данные одинаково полезны...

Инструментарий Teradata Loom позволяет фильтровать массивы сырых данных с нечеткой структурой, «обогащая» их и готовя для анализа. Loom пытается определить структуру файла и помогает аналитику выполнить необходимые преобразования, применяя математические, строковые и другие операции. Тем самым удается выделить из разрозненного массива входящих файлов именно те данные, которые содержат полезную информацию и пригодятся для дальнейшего анализа.

- Какой уровень зрелости бизнеса необходим от клиента Aster?

Уровень, когда представители бизнеса начинают понимать, что можно извлечь ценность из имеющихся данных; обычно это средний или крупный бизнес – компании, имеющие опыт разработки и развития доморощенного аналитического решения и обнаруживающие, что больше вкладывают в него, чем получают взамен. Именно бизнес, ориентированный на результат, заинтересован в применении платформ наподобие Aster, когда оказывается, что собственных ИТ-решений уже недостаточно. Однако следует учесть: развертывание и эксплуатация подобных платформ – это серьезный проект, часто требующий перемен в бизнесе.

Чтобы определить готовность потенциального клиента к пилотному проекту, мы предлагаем ему список из 15 пунктов. Ключевые вопросы — откуда берутся данные, насколько они доступны, есть ли возможность масштабировать источники и инфраструктуру ИТ, поддерживающую их обработку, как распределены данные. Ответы на эти вопросы должны показать в цифрах, какую выгоду получит клиент и за какое время. На всю эту, по сути, консультационную деятельность уходит в среднем от двух до четырех месяцев. Часто оказывается, что потенциальный клиент не может ответить на все вопросы, и тогда не только становится очевидным сам факт неготовности к переменам, но и выявляются факторы, препятствующие этим переменам. К сожалению, люди часто думают, что аналитические платформы, предлагаемые им, — это волшебная палочка. Но успех проекта не в волшебстве, а в реальном взаимном сближении производителя аналитической платформы и заказчика. Мы, конечно, предоставляем профессиональный сервис, но решить все проблемы без понимания особенностей конкретного бизнеса невозможно, а потому компании должны выращивать собственных специалистов по анализу данных.

Корпорация Oracle представила расширение своего связующего программного обеспечения Oracle Data Integrator, которое дает администраторам баз данных и специалистам по хранилищам данных возможность рассматривать репозитории Больших Данных как еще один источник данных наряду со структурированными базами и хранилищами данных.

«Oracle Data Integrator for Big Data позволяет разработчику, не имеющему навыков работы с технологиями Hadoop, получить присущую Hadoop эффективность, – пояснил вице-президент Oracle по управлению продуктами Джефф Поллок. – Платформы Больших Данных, такие как Hadoop и Spark, в которых используются языки Java и Python, изначально больше ориентированы на программистов, чем на администраторов баз данных. А между тем в традиционном анализе корпоративных данных основная роль отводится администраторам и специалистам по инструментам интеграции данных наподобие ETL (Extract, Transform, Load — 'извлечение, преобразование, загрузка'), использующим SQL и визуальные интерфейсы».

Data Integrator for Big Data расширяет возможности Oracle ODI в части управления источниками Больших Данных.

ODI обеспечивает организациям возможность извлекать данные, представленные в различных форматах и в разных источниках, в частности в реляционных СУБД IBM и Microsoft или в хранилищах данных Teradata. С этой точки зрения подключение репозиториев Больших Данных к ODI представляется вполне естественным.

Благодаря новому расширению компаниям не придется направлять администраторов баз данных на переобучение, чтобы овладеть инструментами вроде Hive for Hadoop. Им предлагается уже знакомый набор инструментов. Администратор получает привычную концепцию сущностей и отношений, а также средства отображения потоков данных 4GL. «Data Integrator for Big Data автоматически генерирует необходимый для выполнения поставленных задач код на нужном языке», – пояснил Поллок.

Новый инструментарий может работать в любой среде Hadoop или Spark, не требуя установки каких-либо дополнительных средств на узлах данных. Опираясь на мощь распределенных вычислительных сред, Data Integrator for Big Data обращается к узлам, где хранятся данные, и выполняет там все требуемые операции.

Системы сбора данных в реальном времени, такие как Oracle GoldenGate 12c, могут перемещать транзакционные данные в кластер Hadoop, где будет проходить подготовка к последующему анализу их с помощью ODI.

В своих попытках объединить новые инструменты Больших Данных с традиционным программным обеспечением анализа данных Oracle не одинока. Недавно компания Hewlett-Packard выпустила программный пакет, позволяющий клиентам интегрировать аналитическую СУБД HP Vertica с платформой HP Autonomy IDOL (Intelligent Data Operating Layer), тем самым организации обретают возможность ускорить анализ больших объемов неструктурированных данных.

То, что развитие любой отрасли невозможно без внедрения информационных технологий, давно уже общее место. Как обстоит дело с внедрением ИТ в российском агропроме, комментирует Елена Семеновская, директор по исследованиям IDC в России и СНГ.

- Заметен ли рост интереса к информационным технологиям в аграрном секторе и пищевой промышленности?

Да, заметен, без сомнения, и в области оборудования, и в области программного обеспечения. В аграрном секторе уровень автоматизации пока что низкий, и этот факт плюс тенденция к сокращению импорта продукции сельского хозяйства делают данный сектор экономики очень привлекательным для поставщиков. Одновременно с этим в самой отрасли намечается тенденция к более комплексному производству, которое включает в себя и переработку сельскохозяйственной продукции. Развитие отрасли поддерживается еще и тем, что некоторые крупные ретейлеры начали принимать участие в производственных процессах, развивать собственное производство сельхозпродукции.

- На какой стадии «в среднем» находятся предприятия этих отраслей по части информатизации?

Мы оцениваем степень автоматизации в этом секторе как не очень высокую. По данным отчета Russia Vertical Market IT Spending 2013-2018, доля инвестиций в ИТ со стороны этого сектора составляет около 1%. Для сравнения, в финансовом секторе она достигает 10%, в в производстве в среднем — 8%.

- Какие решения и технологии будут востребованы ими в наибольшей степени? Есть ли у них какие-то специфические потребности в области ИТ?

Сельское хозяйство относится к тем отраслям экономики, которые традиционно не являются зависимыми от ИТ, как, например, банки или телеком, но которые могут значительно улучшить свои бизнес-показатели при использовании информационных технологий. Среди востребованных решений будут системы управления предприятием, помогающие автоматизировать не только само производство, но и отношения с поставщиками и каналы сбыта. На сегодняшний день уже есть индустриальные решения в этой области, учитывающие специфику сельского хозяйства. Следующим очень интересным этапом автоматизации компаний этого сегмента станет использование технологии Больших Данных для производства сельскохозяйственной продукции, Smart Agriculture, что позволит отслеживать весь процесс производства и оптимизировать его в зависимости от многих показателей, например погодных условий или изменения рыночных цен.

Директор дивизиона EMC Isilon в России и странах СНГ Святослав Сухов рассказал о преимуществах горизонтально масштабируемой сетевой системы хранения EMC Isilon, которая является одним из главных элементов новой платформы Federation Business Data Lake для работы с Большими Данными.

Isilon действует на основе операционной системы OneFS, объединяющей три типа классических архитектур систем хранения — файловую систему, диспетчер томов и решение для защиты данных — в одном унифицированном блоке программного обеспечения. Такая комплексная интеллектуальная файловая система охватывает все узлы в кластере, которые можно построить на базе Isilon. В OneFS также реализована интегрированная поддержка стандартных отраслевых протоколов, встроенная поддержка Hadoop и интеграция с VMware для упрощения администрирования функций хранения в виртуализованной среде.

По словам Сухова, сейчас Isilon – одно из наиболее интересных решений для российских предприятий, осваивающих технологии Больших Данных. Создав масштабируемый кластер на базе Isilon, заказчик получает единый пул высокоэффективных ресурсов хранения, а это позволяет значительно сэкономить пространство в ЦОД, необходимое для размещения систем хранения, и за счет этого снизить капитальные и операционные затраты.

Старший системный инженер компании Infinera Дмитрий Шемякин представил платформенное решение для коммуникационного обеспечения инфраструктуры ЦОД и задач обработки Больших Данных.

Он утверждает, что и сейчас, и в обозримой перспективе оптические сети будут основой и наиболее эффективным инструментом для формирования сетевой инфраструктуры дата-центров.

Решение Infinera базируется на концепции «оптической интеграции». Ее ключевым элементом является интегральная схема Photonic Integrated Circuit, на которой совмещены десятки сложных оптических компонентов.

«Такой подход позволяет решить сразу несколько проблем — повысить надежность системы, уменьшить ее габариты и снизить энергопотребление», — пояснил Шемякин.

Технология оптической интеграции разработана более 10 лет назад, но она настолько эффективна, что может и сейчас обеспечить снижение операционных издержек ЦОД на 60% (в части коммуникационного обеспечения), утверждают в Infinera. На базе средств оптической интеграции можно очень быстро развертывать «оптические суперканалы», которые в одном оптоволокне обеспечивают терабитную емкость, что очень важно при организации обмена большими объемами данных при их распределенной обработке.

Николай Местер, директор по развитию корпоративных проектов Intel, рассказал о процессорных продуктах корпорации для создания платформ, ориентированных на задачи обработки Больших Данных. Он отметил, что сейчас развитие таких платформ происходит в двух направлениях, и для каждого из них Intel предлагает собственную элементную базу.

Первое направление предусматривает создание в ЦОД вертикально масштабируемых решений, аккумулирующих данные в одном месте. Такие решения относятся к классу in-memory — они постоянно хранят данные в оперативной памяти. А их развитие осуществляется просто — по мере роста объема данных увеличивается мощность и количество процессоров, памяти, наращивается канальная емкость передающих систем. Для таких платформ Intel предлагает использовать процессоры Xeon, прежде всего их старшую версию E7. В каждом из таких процессоров содержится 15 ядер, и они поддерживают до 12 Тбайт памяти.

Второе направление связано в распределенными, по сути, облачными вычислениями. Под соответствующие платформы у Intel тоже есть специализированные решения, например анонсированный недавно процессор Xeon D.

«Этот процессор объединяет в себе функции вычисления, коммуникаций и ввода-вывода. На его основе можно строить высокоэффективные и недорогие горизонтально масштабируемые платформы для распределенной обработки Больших Данных», — утверждает Местер.

Иван Косяков, архитектор аналитических систем Microsoft, представил на форуме Azure Learning – облачный сервис машинного обучения, на базе которого можно легко создавать и разворачивать решения для анализа Больших Данных.

«Этот сервис имеет библиотеку ‘образцов экспериментов’ и преднастроенных алгоритмов Microsoft, позволяющих значительно сократить время развертывания прогнозных моделей развития бизнеса», — сообщил Косяков.

На простом примере он показал, как компания, обслуживающая сеть торговых автоматов, может повысить эффективность бизнес-операций за счет обработки данных с сенсоров, установленных в этих автоматах. Загрузив накопленные данные в облачный сервис Microsoft, можно в сжатые сроки построить прогноз спроса на товары в автоматах и предсказать возникновение в них неисправностей.

Эксперты определились с терминологией, затем пришло время обсуждения применимости тех или иных технологий для решения бизнес-задач. Взгляды компаний становятся все более взвешенными, и тема направлений развития технологий Больших Данных приобретает все большую актуальность.

«Сейчас данные в большинстве случаев молчат, но хотелось бы, чтобы они сами говорили», — заявил Алексей Благирев, директор по развитию систем аналитики и отчетности банка «Открытие», в рамках форума Big Data 2015. Нынешние подходы к работе с данными по-прежнему подразумевают «озарение» аналитика, позволяющее перейти к конкретным действиям.

Сейчас основными пользователями Больших Данных являются представители профессии data scientist, которая еще не успела обзавестись устойчивым русскоязычным названием, однако смысл ее определился. Главное качество таких специалистов – умение задавать правильные вопросы к данным. Они должны обладать сбалансированными знаниями сразу в трех областях – математике, программировании и отраслевой бизнес-проблематике, а также иметь развитое воображение и способности к визуализации получаемых результатов. Очевидно, что дефицит таких людей и их дороговизна являются вполне естественными. По выражению Григория Каневского, архитектора решений Teradata Aster, компаниям нужна «аналитика с человеческим лицом» — решения, направленные на широкий круг пользователей, позволяющие максимально интегрировать аналитические системы в бизнес-процессы.

Павел Миронов, директор департамента по работе с предприятиями энергетического сектора компании «Эр-Стайл», уверен: громадный объем информации можно переработать, только обладая способностью к ассоциативному мышлению, проведению аналогий. Именно благодаря технологиям Больших Данных есть возможность двигаться к автоматическому управлению производственными процессами. При этом можно обходиться без участия человека, особенно если речь идет о тяжелых и вредных условиях. Главное – достичь необходимого качества данных.

Желоб разочарований

По мнению Сергея Карелова, председателя совета Лиги независимых экспертов, на рынке Больших Данных произошла кардинальная смена повестки: наблюдается определенный скепсис относительно технологий, возникший из-за несовпадения ожиданий и реальности. На кривой зрелости технологий, предложенной Gartner, Большие Данные уже прошли «пик завышенных ожиданий» и сейчас постепенно скатываются по «желобу разочарований».

«Только поняв и осознав причины наших заблуждений, мы сможем остановить скатывание по этому желобу, которое будет продолжаться еще пару лет», — подчеркнул Карелов, согласно прогнозам которого 60% проектов Больших Данных не пойдут дальше пилотной стадии.

По словам Рината Гимранова, начальника управления ИТ «Сургутнефтегаза», вопрос не в том, как не попасть в 60% проектов-неудачников, а как вообще в ближайшее время «избежать» Больших Данных. Он уверен, что сейчас для предприятий гораздо важнее — добиться актуальности используемой информации и «свертывания», то есть максимального упрощения ИТ-архитектур. В решении этих двух задач помогут технологии обработки данных в оперативной памяти (in-memory).

«У нас функционируют 29 систем, и мы хотим, чтобы они работали на базе максимум двух СУБД. Например, хранилище данных и ERP будут являться частью единой системы», — заявил Гимранов.

Сергей Золотарев, глава Pivotal в России и СНГ, согласился, что технологии, работающие в памяти, становятся новой парадигмой построения информационных систем – от реализации отдельных баз данных до полного использования in-memory в качестве платформы для всех приложений. Их применение поможет сократить разрыв между ожиданиями бизнеса и возможностями ИТ.

«Детсткие болезни» Больших Данных

Как отметил Святослав Сухов, директор дивизиона EMC Isilon в России и СНГ, ажиотаж, возникший вокруг Больших Данных, постепенно спадает. Так или иначе, по данным Gartner, лишь 13% компаний заявляют о реализации связанных с ними проектов. Треть компаний находятся на этапе разработки стратегии и сбора информации и еще примерно столько же проводят пилотные проекты.

Для сферы Больших Данных характерны «детские болезни», обусловленные незрелостью технологий. «Существует достаточно много инструментов, но проверенных на практике, стандартизованных методик пока не хватает», — признал Евгений Степанов, менеджер по продажам решений HP Big Data в России. Чтобы понять, какому именно подходу следовать, надо уяснить, какими данными компания обладает, сколько денег тратит на поддержку существующих систем, насколько эффективно решает поставленные задачи.

Илья Гершанов, руководитель направления Больших Данных компании Informatica, подчеркнул, что многие заказчики уже нащупали круг задач, которые можно решать с помощью Больших Данных, определился и спектр доступных технологий. По его мнению, сократить достаточно высокие риски и сроки проектов поможет использование поставщиками заготовок – «типовых» проектов Больших Данных для поддержки бизнес-инициатив.

Самым наглядным примером использования Больших Данных становится клиентская аналитика. Люди — один из самых ценных источников Больших Данных. Как признал Николай Кацан, руководитель направления IBM по решениям в области управления информацией, анонимность в Сети иллюзорна, и всесторонний анализ данных о клиентах позволяет узнать о них многое – возможно, даже больше, чем те хотели бы.

«Большие Данные начинаются тогда, когда к внутренним данным компании добавляются внешние источники. Так данные превращаются в стратегический актив», — заявил Анджей Аршавский, директор Центра компетенции супермассивов данных «Сбертеха». От применения технологий Больших Данных напрямую зависит прибыль банков, поэтому необходимость их использования уже не обсуждается. При этом, по словам Аршавского, 70% работ в аналитических проектах связано с приведением данных в порядок — их очисткой и интеграцией. Кроме того, для удобства анализа данные зачастую требуют реинжиниринга и переформатирования. Все это отнимает много времени и является одной из причин разочарования в Больших Данных.

«За хранилищем данных нужно следить, иначе оно превратится в помойку», — согласился Егор Осипов, эксперт направления «Хранилища данных, аналитика и Big Data» компании «Крок». Миграция отлично помогает санации данных. Хорошим поводом для этого становится начало проектов Больших Данных.

Не теряет актуальности и проблема масштабирования. Как отметил Дмитрий Толпеко, руководитель направления «Хранилища данных и Big Data» компании EPAM Systems, зачастую в хранилища поступает так много данных, что обрабатывать их в разумные сроки не представляется возможным. В этом случае кластеры Hadoop становятся не заменой традиционных хранилищ, а скорее их дополнением, в отдельных ситуациях – даже спасением.

«Hadoop – не панацея, классические аналитические задачи следует решать другими способами. Hadoop силен в анализе неструктурированных данных, тогда как обычные задачи лучше доверить традиционным хранилищам», — предупреждает вместе с тем Сергей Сотниченко, руководитель управления хранилищ данных и отчетности банка «Тинькофф Кредитные Системы».

Облака для Интернета вещей

«Уже в недалеком будущем основной поток информации будет поступать не от людей, а от устройств, встроенных в бытовые приборы», — высказал мнение Николай Местер, директор по развитию корпоративных проектов Intel. По его словам, это и будут «настоящие» Большие Данные. Организациям придется понимать, как из них извлекать пользу, создавая принципиально новые сервисы: по прогнозам Gartner, к 2020 году около 80% своей прибыли компании будут получать от услуг на основе анализа данных. Однако, если информацию не получится обрабатывать в режиме реального времени, ее ценность, равно как и построенных на ней сервисов, будет резко падать, ломая экономику бизнеса. Таким образом, жизнеспособность многих будущих бизнес-моделей окажется в зависимости от производительности построенных ИТ-решений.

На рынке побеждают продукты, которые дешевле и проще. В случае с Большими Данными это облачные системы.

«Компании будут вынуждены учиться анализировать собираемую информацию, и облако сильно упрощает этот путь», — уверен Дмитрий Марченко, директор департамента Microsoft Cloud Enterprise. Операторы облачных решений быстро наращивают свои вычислительные мощности, а их ЦОД покрывают все большую площадь, становясь все ближе к заказчикам. Как считает Дмитрий Шемякин, старший системный инженер Infinera, для дальнейшего развития возможностей облачных систем очень важно обеспечить необходимую емкость каналов между площадками – транспортной сети для связи между ЦОД.

Сегодня еще одна тенденция стремительно охватывает программное обеспечение для бизнеса, и о ней тоже можно сказать, что она «пожирает мир». Судите сами: только за последние несколько недель компании SAP, Salesforce.com, Tibco Software и Oracle объявили об оснащении своих программных продуктов новыми аналитическими возможностями. А в IBM в феврале сообщили, что вложат 4 млрд долл. в активно развивающиеся направления, в том числе в аналитику. И это лишь немногие из примеров.

Простые в использовании средства бизнес-анализа становятся все более распространенными и дают беспрецедентные возможности все более широкому кругу пользователей.

«В прошлом методы аналитики применялись лишь ограниченно, позволяя принимать более обоснованные решения по узкому кругу бизнес-задач», — отмечает Брэд Питерс, сооснователь, директор по продуктам компании Birst (этот провайдер облачных сервисов бизнес-анализа недавно объявил о получении нового раунда финансирования в размере 65 млн долл.).

Сегодня в организациях понимают, что чем больше данных, тем лучше, поэтому средства аналитики предлагаются практически каждому пользователю. Аналитика — это «демократизирующая сила», которая помогает принимать более умные, быстрые и действенные решения, полагает Питерс.

Демократизации аналитики помогают дефицит специалистов в области исследования данных (data scientist) и стремление организаций не отставать от всеобщей «моды» на аналитику, отмечает Керк Борн, профессор Университета Джорджа Мэйсона.

В результате инструменты анализа данных сегодня используются практически везде, где установлено корпоративное ПО. Но хорошо это или не очень, пока еще неясно.

«Передавая данные в руки тех, кто с ними умеет обращаться лучше, отделы ИТ могут сосредоточиться на управлении информацией, ее защите и инфраструктуре, а также на получении данных, сопровождении и предоставлении ресурсов, вместо того чтобы заниматься составлением запросов и отчетов, — отмечает Франсуа Аженста, вице-президент по управлению продуктами Tableau Software. — Лучшие аналитические умозаключения делаются с помощью созданных самими пользователями информационных панелей, которые работают поверх инфраструктуры, контролируемой отделом ИТ».

С другой стороны, многие бизнес-приложения имеют весьма сложные аналитические функции, которыми не всегда могут эффективно воспользоваться сотрудники без специальной подготовки.

«Конечно, меня беспокоит вероятность возникнования проблем в связи с попаданием мощного инструмента не в те руки, — отметил Борн. — В лучшем случае можно получить результаты, бессмысленные или трудные в интерпретации, в худшем — совершенно неправильные». К примеру, незнание того, что некоторые аналитические методы требуют определенных типов данных или преобразований, может привести к бесполезным результатам и впустую потраченным усилиям, добавил он.

Питерс подтверждает важность обучения пользователей и наличия мер контроля, обеспечивающих использование инструментов по назначению.

Возможно, конечно, что риски нецелевого применения новых средств не выше, чем связанные с любыми инструментами бизнес-анализа, отмечает Аженста: «Всегда есть вероятность, что кто-то примет решение исходя из неверных данных или предположений».

И все же вряд ли «готовые к применению» системы аналитики будут действенными, если конечный пользователь не прошел необходимго обучения и не знает лучших практик, полагает Борн: «Человек без формального образования в области аналитики, но с хорошими математическими способностями наверное справится, но только после обучения и практических занятий».

Со временем аналитические инструменты распространятся еще шире. Интерфейсы программирования аналитических сервисов и готовые к применению инструментарии будут «раскупаться как горячие пирожки» предпринимателями эпохи Интернета вещей, стартапами и новаторами, а также крупными компаниями — старожилами, которые «видят ценность корпоративных решений в сравнении с дорогостоящими специализированными системами собственной разработки», добавил Борн.

Со временем, по его мнению, на предприятиях будут автоматизировать все больше высокоуровневых аналитических функций, и людям с ними придется работать все меньше.

Похожая точка зрения у Грегори Пилатецки-Шапиро, редактора сайта об аналитике KDnuggets.com. Автоматизированные и встроенные аналитические механизмы начнут приживаться, а в конечном итоге за этим последует рост применения искусственного интеллекта и машинного обучения, полагает он. В результате некоторые профессии окажутся под угрозой исчезновения, среди них адвокат, бухгалтер, маркетолог и финансовый консультант.

К этому списку Пилатецки-Шапиро причислил и журналистов, но добавил: «Компьютеры, пользуясь доступными им данными, смогут сами генерировать статьи. Но что-то подобное этой — пока нет».

Помочь может наглядная визуализация данных, полагает Андрей Скворцов, директор группы компаний «Меркатор», специализирующейся в области инфографики. На форуме Big Data 2015, организованном 24 марта издательством «Открытые системы», он предложил три простых правила представления данных в наглядном виде. Визуализированные данные должны вызывать удивление, показывать контрасты; кроме того, необходимо представлять все данные — иначе они будут не столь убедительны.

Первым «визуализатором», по его словам, стал математик и астроном Урбен Леверье, наиболее известный своим «открытием Нептуна на кончике пера». После того как шторм в ноябре 1854 года изрядно потрепал англо-французский флот под Севастополем, французский император Наполеон III обратился к ученому с вопросом относительно предсказуемости такого рода явлений. Леверье изучил траекторию урагана и предложил основать сеть метеорологических станций для заблаговременного отслеживания природных катаклизмов. Император, удивленный невиданными доселе картинками движения атмосферных фронтов, дал добро.

Качественная иллюстрация лучше тысячи слов расскажет о том, в каких странах энергетики «ставят» на ветер и воду, а в каких — на уголь и мирный атом Источник: «Меркатор»

С этих карт Леверье, считает Скворцов, и началась визуализация данных. Она позволяет сделать данные более наглядными — отобразить ход застройки центра Москвы по годам, представить транзакции Сбербанка в реальном времени или показать, в каких странах Европы предпочитают маленькие ветровые электростанции, в каких — большие атомные и тепловые. А порой она дает возможность вскрыть некоторые прчинно-следственные связи, особенно при работе с малоформализуемой информацией. Например, графически отобразив взаимоотношения в коллективе, можно найти в нем отчетливые группы друзей. Или понять, как реально повлиял на динамику продаж приход нового руководителя.

Самый поучительный пример формально касался степени совпадения динамики бюджета США с прогнозами относительно этой динамики. Прогнозы, как отметил Скворцов, были двух типов: «Все хорошо» и «Сейчас не очень, но скоро все будет хорошо». Реальность несколько отличалась, и, по словам директора «Меркатора», такая ситуация характерна для госучреждений отнюдь не только нашего заокеанского партнера.