«Hitachi обладает нужной инфраструктурой, а у нас есть платформа для интеграции и анализа данных и технологии, позволяющие извлекать новые ценности из Больших Данных», – указал в своем блоге генеральный директор Pentaho Квентин Галливан.

HDS — подразделение глобального конгломерата Hitachi, специализирущееся на выпуске ИТ-решений,  поддержке и интеграции информационных систем и дата-центров. В HDS намерена расширять свою деятельность на рынке Интернета вещей, совокупный оборот которого, по оценкам аналитиков Goldman Sachs, к 2020 году достигнет 2 трлн долл.

Hitachi выпускает широкий спектр промышленного оборудования, которое могло бы подключаться к Интернету: лифты, системы распределения энергии, строительную технику. На HDS же возложена задача построения в интересах клиентов крупных систем Интернета вещей на основе промышленных продуктов Hitachi.

В HDS уже приступили к развертыванию систем для вертикальных отраслей, которые ориентированы на данные и сетевые технологии. С помощью таких систем, в частности, можно осуществлять сбор и передачу операционной и диагностической информации производителям и пользователям. ЫК примеру, совместно с властями Великобритании HDS ведет работы по оснащению пригородных поездов датчиками, собирающими дополнительную информацию о движении электричек.

В программном обеспечении Pentaho имеются аналитические функции, благодаря которым клиенты получают дополнительную информацию о системах на основе данных, генерируемых этими системами. Программные средства Pentaho могут работать с данными, поступающими из самых разных источников, в том числе из репозиториев Больших Данных, таких как Hadoop. Программные модули, распространяемые с открытым кодом, легко встраиваются в самые разные сервисы и предназначены для удовлетворения потребностей широкого круга пользователей различных специальностей, в том числе разработчиков, исследователей данных и бизнес-клиентов.

Программы Pentaho могут работать с продуктами Hitachi, например с системой хранения данных Hitachi Content Platform. Компании уже сотрудничают в рамках OEM-соглашений, а программные средства Pentaho присутствуют в системах HDS.

«Предложение о приобретении Pentaho свидетельствует о том, что крупные интеграторы, к которым относится и HDS, нуждаются в соответствующем связующем программном обеспечении и средствах анализа, – указал Киаран Дайнс, вице-президент конкурирующей с Pentaho компании Talend по продуктам. – Готовность крупных игроков к таким приобретениям говорит о востребованности технологий подобного рода со стороны клиентов».

Pentaho продолжит работу в рамках существующей бизнес-модели. Ее генеральный директор, Квентин Галливан, будет подчиняться старшему вице-президенту HDS по социальным инновациям и глобальным отраслям Кевину Эгглстону.

Клиентами компании HDS, в которой сегодня работае т 6 тыс. сотрудников, являются BMW, НАСА, испанский телекоммуникационный оператор Telefonica и China Mobile Communications Corporation. К числу клиентов Pentaho относятся Lufthansa, Halliburton и Nasdaq.

Сделку в HDS рассчитывают завершить к июню при условии соблюдения обычных условий закрытия, в том числе, получения согласия регулирующих органов. Ее финансовые условия не разглашаются.

«В отрасли выработана твердая позиция относительно дальнейшего развития Spark», – отметил глава аналитической фирмы Monash Research Курт Монаш.

«В наступившем году вы увидите много сценариев, выходящих за пределы нынешних возможностей Hadoop», – отметил генеральный директор и один из основателей компании Databricks Али Годси. Эта компания была образована при участии ряда разработчиков Spark, они предложили клиентам хостинговый сервис Spark и предоставили техническую поддержку дистрибьюторам программного обеспечения, продающим пакеты Spark.

Spark – это платформа для анализа данных, хранящихся в кластере. Как и Hadoop, Spark можно использовать для изучения наборов данных, которые слишком велики и не вписываются в стандарты традиционных хранилищ данных или реляционных СУБД. Подобно Hadoop, Spark может обрабатывать неструктурированные данные (например, журналы событий), которые нельзя представить в виде таблиц баз данных.

Однако по своим возможностям Spark превосходит потенциал Hadoop и позволяет анализировать потоковые данные непосредственно в процессе их поступления.

Таким образом, эта технология может стать более быстрой заменой Hadoop MapReduce для анализа данных. В ежегодном тесте Daytona Gray Sort Challenge, оценивающем производительность систем анализа данных, программное обеспечение Spark без труда обошло Hadoop MapReduce, сумев обработать 100 Тбайт записей за 23 минуты. Hadoop для выполнения той же задачи понадобилось почти в три раза больше времени – около 72 минут.

Поначалу может показаться, что обработка в реальном времени не имеет каких-то существенных отличий, но появление таких возможностей позволяет создавать совершенно новые направления бизнеса.

«Мы, со своей стороны, старались выстраивать нашу интеллектуальную собственность вокруг Spark», – пояснила основатель и генеральный директор компании ClearStory Data Шармила Шахани-Миллиган. ClearStory Data предлагает новый сервис бизнес-анализа, с помощью которого можно создавать последовательности элементов визуализации данных, как если бы речь шла о презентации PowerPoint. При этом данные могут поступать из множества источников и обновляются при поступлении новой информации.

«Людям нужно, чтобы реакция системы была быстрой, – подчеркнул Годси. – Они не хотят ждать ответа целый день. Рекламодатели, например, могли бы, задействуя Spark, решать, какую рекламу показывать пользователям исходя из последних их действий, а не на основе сайтов, которые они посетили несколько дней или недель назад. Скорость обработки данных имеет очень важное значение, потому что объемы собранных данных растут быстрее, чем происходит увеличение вычислительной мощности компьютеров».

«Spark предлагает также более разнообразные способы анализа данных, – указал Монаш. – Технология анализа данных MapReduce, применяемая в Hadoop по умолчанию, фильтрует, сортирует и распределяет данные между отдельными серверами (часть map) и обобщает полученные результаты (часть reduce). Технология же Spark проектировалась для выполнения более сложных запросов и включает в себя элементы машинного обучения и прогнозного моделирования. В тех областях, где Hadoop MapReduce действительно хороша, Spark потенциально ее превосходит».

Одним из первых клиентов Spark стал сервис потоковой музыки Spotify, где эта технология была применена для составления, на основе алгоритмов машинного обучения, музыкальных плей-листов, отвечающих вкусам пользователей.

Даже пользователи Hadoop стали присматриваться к новым возможностям Spark. У компании Cloudera, являющейся дистрибьютором Hadoop и распространяющей Spark, насчитывается уже около 60 корпоративных клиентов, которые в той или иной форме используют Spark. Другие дистрибьюторы Hadoop – Hortonworks и MapR – тоже предлагают Spark своим клиентам.

Реализация проекта Spark началась в 2008 году в лаборатории AMPLab Калифорнийского университета в Беркли. Сейчас, под крылом Apache Software Foundation, этот проект развивается активнее любого другого программного проекта Apache. К основным его участникам примкнули инженеры и разработчики из компаний Intel, Yahoo, Groupon, Alibaba и Mint.

Платформа Spark может использоваться как совместно с Hadoop для анализа данных в Hadoop File System (HDFS), так и автономно. Приложения Spark разработчики создают на языках программирования Python, Java и Scala.

«Привлекательности Spark добавляет хороший интерфейс API, упрощающий доступ к этой платформе со стороны инженеров и разработчиков», – отметил один из основателей Databricks Рейнольд Ксин.

«В 2015 году мы увидим гораздо больше продуктов и сервисов на основе Spark, – прогнозирует Годси. – Программистам сегодня все чаще задают вопросы о навыках разработки на платформе Spark. И у нас было много кандидатов, заявлявших, что не раз видели очень интересные проекты Spark».

«В 2015 году сценарии использования Больших Данных будут расширяться, – отметил Джон Шредер, основатель и генеральный директор компании MapR, выпускающей коммерческие дистрибутивы Hadoop. – В этом году организации начнут переходить от пакетной обработки Больших Данных к их использованию в реальном времени. Нынешние лидеры отрасли и люди, претендующие на роль лидеров в ближайшем будущем, добились существенных успехов в деле интеграции новых платформ Больших данных в аналитические системы, которые смогут обрабатывать информацию 'на лету' и оперативно реагировать на изменения в бизнесе».

По мнению Шредера, в 2015 году будут доминировать пять основных тенденций.

1. Быстрая актуализация данных

Потребность в быстрой актуализации данных является одним из главных источников развития технологий Больших Данных. Процессы в унаследованных СУБД и хранилищах данных выполняются слишком медленно, они недостаточно гибкие и не устраивают бизнес. В 2015 году быстроте актуализации данных в организациях будет уделяться еще больше внимания, а акценты начнут смещаться от сбора информации и управления данными к более активному их использованию.

«Унаследованные СУБД и хранилища данных обходятся дорого, а решать задачи обобщения и структуризации данных приходится с привлечением квалифицированных администраторов баз данных, – отметил Шредер. – Необходимость привлекать администраторов баз данных приводит к задержкам в доступе к новым источникам данных и созданию жестких структур, которые с трудом поддаются изменению. Унаследованные базы данных не обладают достаточной гибкостью, чтобы удовлетворить потребности большинства современных организаций. Первоначальные проекты Больших Данных были ориентированы на создание хранилищ для определенных информационных источников. Вместо наращивания объемов данных, находящихся в их распоряжении, предприятия начнут больше заниматься оценкой их актуальности и повышением оперативности получения требуемой информации. Какими возможностями анализа данных и выполнения операций, связанных с их обработкой, располагает организация? Насколько быстро обновляется информация при изменении предпочтений клиентов, рыночных условий, конкурентных действий и особенностей операций? От ответов на эти вопросы будут зависеть объемы инвестиций и масштабы проектов Больших Данных в 2015 году».

2. Переход от озер данных к платформам обработки данных

В определенной степени 2014 год можно считать годом концентраторов, или озер данных (data lake) – репозиториев, где необработанные данные хранятся в исходном формате: структурированном, неструктурированном или полуструктурированном, в готовности к использованию. Ценность озер данных определяется наличием масштабируемой инфраструктуры, весьма эффективной с экономической точки зрения благодаря низкой стоимости хранения терабайта данных, и возможностью оперативно реагировать на изменение ситуации.

В 2015 году озера данных продолжат развиваться. Появятся новые технологии, которые ускорят обработку хранящихся там данных и выполнение различных операций над ними. Это не только будет способствовать повышению эффективности, но и создаст единую точку управления и единую точку безопасности.

«В 2015 году озера данных будут совершенствоваться по мере перехода от пакетной обработки к обработке в режиме реального времени и интеграции файловых ресурсов, Hadoop и баз данных в платформы масштабной обработки, – указал Шредер. – Другими словами, речь идет не о создании в озерах данных крупномасштабных хранилищ, поддерживающих сложные запросы и большие отчеты, а об обеспечении непрерывного доступа к обработке событий и данных в реальном времени с целью оперативного получения самой свежей информации и мгновенного принятия необходимых мер».

3. Самообслуживание

Постоянное совершенствование инструментов и сервисов Больших Данных означает, что в 2015 году технические средства перестанут быть узким местом при организации доступа бизнес-пользователей и аналитиков к нужной им информации.

«В 2015 году начнут внедряться технологии, позволяющие бизнес-пользователям самостоятельно обращаться к интересующим их данным, – отметил Шредер. – Системы самообслуживания помогут разработчикам и аналитикам изучать данные напрямую. Прежде создание централизованных структур данных считалось возможным лишь при участии ИТ-служб. Это был очень долгий и дорогостоящий процесс. Платформа Hadoop позволила предприятиям в некоторых сценариях получать удобный доступ к структурам данных при выполнении операций чтения. Передовые организации будут осуществлять привязку данных в процессе своей деятельности и смогут получать информацию не только из централизованной структуры. Самообслуживание такого рода поможет им использовать новые источники данных и своевременно реагировать на появляющиеся возможности и возникающие угрозы».

4. Консолидация поставщиков Hadoop и новые бизнес-модели

В начале 2013 года в Intel представили собственный дистрибутив Hadoop, отличающийся от всех остальных тем, что он поддерживался непосредственно аппаратными средствами Intel. Но уже через год в корпорации отказались от этой затеи и стали поддерживать дистрибутив Cloudera.

Одновременно в Intel отметили, что клиенты предпочитают занимать выжидательную позицию, наблюдая за тем, как будет развиваться рынок Hadoop. Множество различных вариантов, предлагаемых поставщиками, приводило пользователей в замешательство. Шредер убежден в том, что в 2015 году консолидация поставщиков Hadoop продолжится. Многие откажутся от собственных дистрибутивов и попытаются сосредоточиться на чем-то другом.

«Вот уже 20 лет мы используем свободное программное обеспечение с открытым кодом, которое сегодня представляет для рынка огромную ценность, – подчеркнул он. – Технологии совершенствуются поэтапно. Технологический жизненный цикл начинается с появления инновационной идеи и создания продуктов, принципиально отличающихся от других, а заканчивается, когда эти продукты окончательно утрачивают свою индивидуальность. Эдгар Кодд придумал концепцию реляционных баз данных в 1969 году. В 1986 году развитие этой инновационной идеи превратило Oracle в публичную компанию, а превращением в массовую продукцию можно считать выпуск первой версии MySQL в 1995 году. Для технологии баз данных путь от инновационной идеи до массового продукта занял 26 лет. Hadoop только-только вступает в период технологической зрелости. С момента публикации Google первых материалов по MapReduce прошло десять лет. С глобальным распространением Hadoop мы столкнулись уже через 10 лет после появления первоначальной концепции. Но Hadoop по-прежнему находится в инновационной фазе, и предложения вендоров, опрометчиво принявших стратегии Red Hat for Hadoop, постепенно уходят с рынка. Так уже произошло с Intel, а вскоре ее примеру последует Pivotal».

Шредер уверен, что в 2015 году мы увидим эволюцию новой, дополненной новыми нюансами модели программного обеспечения с открытым кодом, в которой глубокие инновации будут сочетаться с разработкой силами сообщества.

«Именно сообществу разработчиков программного обеспечения с открытым кодом отводится главная роль в формировании стандартов и поиске консенсуса, – добавил он. – Конкуренция ускорила превращение Hadoop из процессора пакетного анализа в полнофункциональную платформу обработки данных».

5. От Большой Рекламы к Большим Данным

В 2015 году архитекторы корпоративных систем от улучшения понимания технологического стека Hadoop начнут переходить к более четкому и конкретному определению требований к приложениям Больших Данных, включая требования к готовности и непрерывности ведения бизнеса.

«Если организация намерена как можно быстрее перейти от экспериментов к серьезному внедрению в ЦОД, то необходимо, чтобы архитекторы корпоративных систем шли в авангарде движения к Большим Данным, – пояснил Шредер. – ИТ-лидерам отводится важнейшая роль в определении базовых архитектур, учитывающих требования, которые предъявляются к соглашениям об уровне обслуживания, необходимость обеспечения высокой готовности, непрерывности ведения бизнеса и удовлетворения критически важных потребностей предприятия. В 2014 году бум экосистемы Hadoop ознаменовался распространением новых приложений, инструментов и компонентов. В 2015 году рынок сконцентрируется на различиях между платформами и на архитектуре, которая нужна для интеграции Hadoop в ЦОД и достижения желаемых результатов для бизнеса».

«Мы имеем возможность объединять пространственные данные с очень сложной структурой, трудные в обработке, — заявил Дейн Коер, генеральный директор SpaceCurve. — Наше программное обеспечение способно непрерывно принимать большие объемы геопространственной информации, предоставляя пользователям возможность следить за нею и опрашивать ее».

По оценке аналитиков Gartner, сейчас около 80% всех данных имеют какие-либо геопространственные элементы. Но, по сведениям Коера, на сегодня практически нет программных средств уровня предприятия, способных извлекать из таких данных максимум пользы.

Традиционные СУБД и даже более новые системы Больших Данных не оптимизированы для быстрого анализа геопространственной информации, хотя почти все подобные решения имеют какой-то уровень поддержки работы с нею. И, хотя недостатка в географических информационных системах сейчас нет, они не рассчитаны на обработку колоссальных объемов показаний датчиков, объединенных в сенсорные сети в стиле Интернета вещей.

Специалисты SpaceCurve разработали семейство алгоритмов, упрощающих разбор географических данных, и реализовали с нуля движок базы данных, оптимизированный для распараллеленного выполнения на группе серверов.

По словам Коера, результатом стала система, которая, в отличие от Hadoop и подобных, может опрашивать потоки данных, поступающие в режиме реального времени, причем обходится она в разы дешевле, чем решения для анализа данных в оперативной памяти вроде Oracle TimesTen.

По убеждению Коера, у системы SpaceCurve — широкий круг потенциальных применений. Операторы связи, к примеру, смогут пользоваться ею для мониторинга перемещений абонентов в режиме реального времени. Систему также можно применять для обработки «цунами» информации, поступающей от удаленных сенсорных сетей.

В качестве примера Коер показал, как SpaceCurve наглядно отображает информацию о движении транспортных средств в Сиэтле одновременно со сводками демографических сведений по всем, кто в них едет, — для этого данные из журналов операций базовых станций сотовой связи сопоставлялись со статистикой бюро переписи населения.

SpaceCurve позволяет получать данные из источников, поддерживающих REST-запросы, и может работать с форматами JSON и ArcGIS.

«Для любой технологии, предоставляющей возможность использования геоданных с целью оптимизации процессов и повышения результативности, можно предложить массу сценариев применения, обеспечивающих отличную окупаемость», — полагает Том Петрочелли, аналитик компании Neuralytix по социальным, мобильным и облачным приложениям для предприятий.

Способность обрабатывать огромные объемы данных в реальном времени обещает SpaceCurve рыночные преимущества. Система подобного рода позволит, к примеру, организовывать крупномасштабные маркетинговые кампании, в ходе которых покупатели будут узнавать о распродажах, просто проходя мимо магазинов, отметил Петрочелли.

Геоинформационных систем и СУБД с поддержкой геопространственных данных существует немало. В частности, система IBM InfoSphere Streams тоже предлагается в качестве решения для анализа огромных объемов геопространственных данных «на лету». Но поскольку подобные технологии отличаются новизной, пока еще рано говорить о том, какой из подходов работает лучше, считает Петрочелли.

У SpaceCurve уже есть ряд заказчиков в различных отраслях, в том числе компания Socrata, разрабатывающая ПО для госструктур; Dyn, разработчик ПО управления производительностью ИТ-систем; Via Informatics, провайдер сервисов анализа геопространственной информации.

Компания SpaceCurve, основанная в 2009 году, с тех пор получила значительный объем инвестиций от целого ряда фондов, в их числе Reed Elsevier Ventures и Divergent Ventures. Она заключила партнерские договоры с несколькими компаниями, работающими в сфере геоинформационных систем, такими как AirSage, предоставляющая услуги анализа данных из сотовых сетей, системный интегратор L3 и Esri, ведущий разработчик ГИС.

SpaceCurve работает под Linux и может выполняться в облачных инфраструктурных сервисах, например в облаке Amazon.

Корпорация продемонстрировала также предварительную версию портала, упрощающего клиентам управление операциями в облаке.

Совместно с Dell корпорация планирует представить аппаратно-программный комплекс Azure, открывающий перед организациями возможность создавать гибридные облака, в которых легко можно будет перемещать выполнение операций между облаком Microsoft Azure и их собственными системами.

Объяснение в любви к Linux отражает растущий рост использования в Microsoft программного обеспечения, которое не было создано ею своими силами, и свидетельствует по крайней мере о стремлении компании распространить сферу влияния облачной платформы Azure как можно дальше.

На протяжении десятилетий в Microsoft привязывали большинство своих новых продуктов и инновационных решений к платформе Windows, воспринимая все иные операционные системы, в том числе и Linux, как угрозу. Бывший генеральный директор Microsoft Стив Балмер однажды сравнил Linux с раковой опухолью.

Неприязнь Microsoft объяснялась тем, что клиенты хотят получать облачные сервисы, в которых использовалось бы и программное обеспечение, не имеющее отношения к Microsoft. Наделла признал, что примерно 20% рабочей нагрузки Azure создается на базе Linux.

«В последние два года мы старались проявлять максимальную открытость и интегрировать свои продукты с самыми разными источниками», – подчеркнул в интервью после презентации исполнительный вице-президент Microsoft Скотт Гатри, курирующий направление Azure.

В настоящее время своими новыми конкурентами в Microsoft считают облачные сервисы, предлагаемые Amazon и Google.

По словам Наделлы, в начале 2015 года Azure будет использоваться в 19 регионах мира и охватит более широкое пространство, чем облачные платформы Google и Amazon.

Компания инвестировала в ЦОД более 4,5 млрд долл., что, по оценкам Microsoft, в два раза превышает соответствующие инвестиции Amazon и в шесть раз — инвестиции Google.

Чтобы сохранить конкурентоспособность, Microsoft активно использует вместе с Azure и программное обеспечение независимых разработчиков. По словам Наделлы, в настоящее время Azure поддерживает все основные стеки интеграции данных – как предлагаемые корпорациями Oracle и IBM, так и разработанные новыми крупными участниками, например MongoDB и Hadoop.

Похоже, результаты не заставили себя долго ждать. Сегодня Azure приносит Microsoft 4,48 млрд долл. годового дохода, причем все это происходит лишь на начальном этапе развития облачных технологий.

Еженедельно сервис привлекает около 10 тыс. новых клиентов. Примерно 2 млн разработчиков уже оформили подписку на Visual Studio Online. Под управлением сервиса находится около 1,2 млн баз данных SQL.

«Программное обеспечение независимых разработчиков помогает нам привлекать новые стартапы, на которые приходится уже около 40% бизнеса Azure, – указал Гатри. – Мы осуществляем поставки не только предприятиям и не ограничиваемся продажей Windows Server. Наше облако поддерживает все и везде. Мы не только говорим об открытости, но и постоянно подтверждаем это своими действиями».

Дистрибутив CoreOS стал уже пятым дистрибутивом Linux, поддерживаемым Azure, присоединившись к Ubuntu, CentOS, OpenSuse и Oracle Linux (один из диалектов Red Hat Enterprise Linux). Клиенты имеют возможность развертывать в среде Azure и свои собственные дистрибутивы Linux.

Дистрибутив CoreOS разрабатывался как облегченная версия Linux, предназначенная для использования главным образом в облачных средах. Представленный официально в декабре дистрибутив CoreOS уже предлагается в качестве сервиса Google, Rackspace, DigitalOcean и другими игроками.

Вторым дистрибутивом Hadoop, предлагаемым в Azure, вслед за Hortonworks стал дистрибутив Cloudera. В ходе веб-конференции генеральный директор компании Cloudera Майк Олсон присоединился на сцене к представителям Microsoft, чтобы продемонстрировать, как просто использовать программное обеспечение Cloudera Hadoop в среде Azure.

Используя новый портал, Олсон показал, как запустить экземпляр Cloudera на 90 узлах всего несколькими щелчками мыши. Развернутую систему можно было подключать к электронной таблице Excel, предоставляя пользователю возможность обращения к набору данных с выдачей запросов на естественном языке.

Microsoft анонсировала также ряд других продуктов и сервисов.

В среде Azure появится новый тип виртуальной машины G Family. Виртуальные машины такого рода могут объединять до 32 процессорных ядер, до 450 Гбайт оперативной памяти и до 6,5 Тбайт пространства хранения. Все это, по словам Гатри, делает G Family самой мощной виртуальной машиной в облаке.

В Microsoft полагают, что семейство виртуальных машин способно справиться со значительно большей рабочей нагрузкой, чем может потребоваться клиентам. А объем пространства хранения, доступный одной виртуальной машине, вырос до 32 Тбайт.

Программно-аппаратные комплексы, которые появятся в ноябре и будут построены на новой облачной платформе, позволят клиентам развернуть сервисы Azure на своей территории и наладить связь между операциями, выполняемыми у себя и у поставщика облачных сервисов. Одним из первых пользователей этой технологии станет интегратор General Dynamics, который с ее помощью намерен помочь госструктурам в США осуществить переход в облако.

«Любой желающий сможет создать среду с заранее прогнозируемой производительностью, причем проделать это очень быстро, – отметил Гатри. – Буквально через день-другой у вас появится свое собственное работоспособное частное облако, и вам не придется несколько недель или месяцев заниматься его тестированием, настройкой и подгонкой процессов».

Новая интернет-платформа создана на базе результатов тех работ, которые компания Microsoft проводила с апреля в рамках модернизации портала Azure. Теперь пользователи имеют возможность легко управлять всеми облачными системами, а не только отдельными компонентами, которые образуют эти системы. Платформа позволит независимым поставщикам запускать свое программное обеспечение на виртуальных машинах.

«Все это открывает множество возможностей для монетизации», – подчеркнул Гатри.

В последние несколько лет технология Hadoop и большие данные стремительно ворвались в технологическое пространство, сумев привлечь самое пристальное внимание поставщиков облачных и мобильных сервисов. Но, по словам Майка Олсона, основателя и председателя совета директоров компании Cloudera, занимающейся распространением Hadoop, все может измениться.

«Я полагаю, уже в нынешнем году мы увидим, что Hadoop исчезает из нашего поля зрения, – заявил он на открытии конференции O'Reilly Strata Conference + Hadoop World в Нью-Йорке. – Наверное, в нынешней обстановке такое утверждение многим покажется нелепым».

В 2009 году конференция Hadoop World (в 2012 году это мероприятие решили объединить с O'Reilly Strata Conference) собрала около 400 участников. Теперь, шесть лет спустя, Олсон выступал перед аудиторией в 5 тыс. человек, причем многие наблюдали за его речью в Интернете. Возникает вопрос, каким же образом Hadoop – технология, находящаяся в самом центре экосистемы, которая помогла организациям трансформировать свои данные, – будет развиваться и исчезать одновременно?

«Когда я впервые поднялся на сцену Hadoop World, об этом очаровательном желтом слонике никто еще не слышал, – заметил Олсон, указав на логотип Apache Hadoop. – За прошедшие годы мы переключились на иные темы. Речь пошла о технических проектах, суть которых нам приходилось разъяснять. И теперь мы рассказываем, какие задачи решаются с их помощью».

Вот что имел в виду Олсон, говоря об «исчезновении» Hadoop в нынешнем году. Эта технология превратится в основополагающий слой инфраструктуры данных, на базе которых создаются приложения, помогающие нам лучше понять происходящее вокруг.

«В большинстве случаев бизнес-пользователей не интересует, находятся ли нужные им данные в корпоративном хранилище Teradata или в базе данных Oracle, – пояснил Олсон. – То же самое справедливо и в отношении Hadoop. Системы Teradata, EMC, Oracle и прочих производителей уже исчезли из нашего поля зрения. И Hadoop предстоит пройти тем же путем».

Но несмотря на исчезновение Hadoop из виду рыночные возможности этой технологии расширяются стремительными темпами. Исследования Gartner показывают, что сегодня 73% предприятий уже используют или планируют использовать приложения на платформе Hadoop.

«В общем и целом у них нет желания разрабатывать приложения своими силами, – подчеркнул Олсон. – И я убежден в том, что сегодня мы участвуем в создании рынка объемом в 1 трлн долл. Существующий рынок реляционных баз данных и приложений на их основе оценивается сейчас в 100 млрд долл. Многие клиенты Cloudera наверняка заметили, что объем доступных им данных за последние годы вырос в тысячу раз. Поэтому к уже имеющимся цифрам смело можно добавлять еще один нолик. Сегодня мы разрабатываем на платформе Hadoop решения, которые может позволить себе каждый. И клиенты тоже готовы перейти на нее. А значит, вам нужно создавать такие приложения, точнее, нам всем нужно создавать их».

По словам Криса Тугуда, команда Thing Big накопила значительно количество интересных проектов. Источник: Teradata

Teradata покупает уже третью короткий срок компанию, специализирующуюся на Больших Данных. На этот раз в область ее интересов попала консультационная фирма Think Big Analytics.

Поглощение Think Big укрепит мощь консультационного подразделения Teradata, насчитывающего уже 5 тыс. человек, и объединит его с командой инженеров, архитекторов и специалистов по данным, которые сегодня занимаются многочисленными дистрибутивами Hadoop, базами данных NoSQL и непосредственно связанными с Hadoop проектами с открытым кодом, такими как Hive и Spark.

«Компания Think Big была образована примерно четыре года назад и сегодня имеет достаточное число проектов», – сообщил вице-президент Teradata по маркетингу продуктов и сервисов Крис Тугуд.

Сделка между Teradata и Think Big была закрыта 29 августа, сумма ее не разглашается. По словам основателя и президента Think Big Рика Фарнелла, который сохранит свою должность и в Teradata, в компании сейчас насчитывается около ста сотрудников.

«Все торговые марки, принадлежавшие Think Big, будут сохранены, – отметил Тугуд. – Мы намерены поддерживать и развивать этот бренд».

Помимо высококвалифицированного персонала компанию Teradata привлекла операционная модель Think Big. Консультанты Think Big выезжают непосредственно к клиентам и там вместе с местными специалистами продумывают идеи для своих проектов.

Написанием программного кода сотрудники Think Big занимаются в своем офисе в Солт-Лейк-Сити. Его удобное местоположение позволяет сократить продолжительность полетов к клиентам, которые находятся главным образом в США.

Think Big придерживается методологии скорой (agile) разработки, разбивая большие проекты на отдельные итерации. Продолжительность цикла проектирования составляет шесть недель. Такой срок выбран не случайно. «Разработка длится больше месяца, поэтому у вас есть возможность сделать нечто достаточно значительное, – пояснил Фарнелл. – При этом цикл оказывается короче квартала. Это очень важно, потому что руководство, финансирующее инновации, имеет возможность оценить результаты до завершения отчетного периода».

В настоящее время Teradata ограничивает сферу бизнеса Think Big масштабами Северной и Южной Америки, но в дальнейшем планируется более широкая международная экспансия. Для этого консультанты Teradata будут направляться на обучение во внутреннюю академию Think Big.

Нынешняя сделка стала уже третьей для Teradata за последние несколько месяцев: в июле были приобретены компании Revelytix и Hadapt. Специалисты Revelytix разрабатывают для Hadoop среду управления метаданными, а Hadapt предлагает инструменты, которые позволяют программистам, знающим SQL, применять этот широко распространенный язык и при работе с Hadoop.

Сравнивать коммерческие системы обработки Больших Данных на основе Hadoop теперь станет несколько проще благодаря появлению нового теста от Transaction Processing Performance Council.

Тест получил название TPCx-HS, он позволяет оценивать быстродействие систем на базе Hadoop.

Рожденный в Yahoo, Hadoop сегодня — самая популярный из инструментов обработки Больших Данных. Источник: Yahoo

«Наши заказчики активно требовали стандарта, позволяющего объективно измерять быстродействие и соотношение цена-производительность для систем обработки Больших Данных», — отметил Рагунат Намбиар, председатель комитета TPCx-HS и заслуженный инженер Cisco.

Hadoop на сегодня — самая популярная из систем обработки Больших Данных, осваиваемых предприятиями. Заранее интегрированные дистрибутивы Hadoop предлагают IBM, HP и другие компании.

Обычно они приводят показатели производительности для своих систем, но каждый из поставщиков применяет собственную систему тестирования, поэтому заказчикам трудно сравнивать дистрибутивы.

В TPC надеются, что поставщики Hadoop будут пользоваться новым тестом для оценки своих систем, что поможет потенциальным покупателям сравнивать соотношение цена-производительность для различных решений.

«TPCx-HS выравнивает игровое поле, — убежден Намбиар. — Результат, который указывает для своего решения компания X, можно будет напрямую сопоставлять с результатом, который приводит компания Y».

Новый тестовый комплект можно загрузить на сайте TPC. В него входят спецификации и руководство пользователя, а также скрипты для выполнения кода теста и Java-приложение, имитирующее рабочую нагрузку.

Сам тест определяет, насколько быстро система на базе Apache Hadoop перестраивает данные с помощью широко используемого алгоритма сортировки. Производители могут оптимизировать свои системы программным способом либо указывать результаты тестирования на максимально быстром оборудовании.

Для тестирования можно выбрать один из искусственно сгенерированных срезов данных размером от терабайта до 10 тыс. терабайт.

По результатам тестирования выдается число, указывающее общее быстродействие, и показатель соотношения цена-производительность. Предусмотрен также необязательный тест, оценивающий энергоэффективность системы.

Согласно правилам TPC, т ест необходимо выполнить дважды, указав в качестве результата меньший из полученных показателей. Другие стороны могут оспорить опубликованные результаты в течение 60 дней.

Как и в случае с остальными своими тестами, в TPC требуют, чтобы официальное тестирование проводилось третьей стороной. Это может быть независимый аудит или партнерская проверка, которая, вероятно, обойдется дешевле.

TPC — основанная в 1988 году некоммерческая корпорация, предоставляющая независимые от производителей тесты для проверки быстродействия систем обработки транзакций и управления базами данных.

Изначально TPC создали для тестирования транзакционных СУБД, но в последние годы организация расширила сферу деятельности. В 2012 году, например, был опубликован тест для оценки ПО виртуализации.

Участниками TPC являются Dell, Cisco, IBM, Hewlett-Packard, Oracle, Unisys, Intel и Microsoft, а также поставщики дистрибутивов Hadoop — Cloudera, Pivotal и Red Hat.