В последние несколько лет технология Hadoop и большие данные стремительно ворвались в технологическое пространство, сумев привлечь самое пристальное внимание поставщиков облачных и мобильных сервисов. Но, по словам Майка Олсона, основателя и председателя совета директоров компании Cloudera, занимающейся распространением Hadoop, все может измениться.

«Я полагаю, уже в нынешнем году мы увидим, что Hadoop исчезает из нашего поля зрения, – заявил он на открытии конференции O'Reilly Strata Conference + Hadoop World в Нью-Йорке. – Наверное, в нынешней обстановке такое утверждение многим покажется нелепым».

В 2009 году конференция Hadoop World (в 2012 году это мероприятие решили объединить с O'Reilly Strata Conference) собрала около 400 участников. Теперь, шесть лет спустя, Олсон выступал перед аудиторией в 5 тыс. человек, причем многие наблюдали за его речью в Интернете. Возникает вопрос, каким же образом Hadoop – технология, находящаяся в самом центре экосистемы, которая помогла организациям трансформировать свои данные, – будет развиваться и исчезать одновременно?

«Когда я впервые поднялся на сцену Hadoop World, об этом очаровательном желтом слонике никто еще не слышал, – заметил Олсон, указав на логотип Apache Hadoop. – За прошедшие годы мы переключились на иные темы. Речь пошла о технических проектах, суть которых нам приходилось разъяснять. И теперь мы рассказываем, какие задачи решаются с их помощью».

Вот что имел в виду Олсон, говоря об «исчезновении» Hadoop в нынешнем году. Эта технология превратится в основополагающий слой инфраструктуры данных, на базе которых создаются приложения, помогающие нам лучше понять происходящее вокруг.

«В большинстве случаев бизнес-пользователей не интересует, находятся ли нужные им данные в корпоративном хранилище Teradata или в базе данных Oracle, – пояснил Олсон. – То же самое справедливо и в отношении Hadoop. Системы Teradata, EMC, Oracle и прочих производителей уже исчезли из нашего поля зрения. И Hadoop предстоит пройти тем же путем».

Но несмотря на исчезновение Hadoop из виду рыночные возможности этой технологии расширяются стремительными темпами. Исследования Gartner показывают, что сегодня 73% предприятий уже используют или планируют использовать приложения на платформе Hadoop.

«В общем и целом у них нет желания разрабатывать приложения своими силами, – подчеркнул Олсон. – И я убежден в том, что сегодня мы участвуем в создании рынка объемом в 1 трлн долл. Существующий рынок реляционных баз данных и приложений на их основе оценивается сейчас в 100 млрд долл. Многие клиенты Cloudera наверняка заметили, что объем доступных им данных за последние годы вырос в тысячу раз. Поэтому к уже имеющимся цифрам смело можно добавлять еще один нолик. Сегодня мы разрабатываем на платформе Hadoop решения, которые может позволить себе каждый. И клиенты тоже готовы перейти на нее. А значит, вам нужно создавать такие приложения, точнее, нам всем нужно создавать их».

Как отметил на конференции Dreamforce директор компании Salesforce по автомобильному направлению Патрик Пелата, Google, Apple и другие известные технологические компании громко заявили о себе на автомобильном рынке. Однако директор компании Renault по цифровым технологиям Патрик Хоффстеттер считает, что новая цифровая стратегия компании позволит ей отстоять место четвертого по величине производителя автомобилей в мире.

Обработка Больших Данных играет важную роль в стратегии Renault, сказал Хоффстеттер. Именно производители автомобилей могут получать максимальное количество информации об автомобиле, клиенте и окружающей их среде, подчеркнул он. Renault заключает партнерские соглашения и с Google, и с Apple. Мобильные приложения, разработанные Renault, продаются в магазине Google Play. При поддержке Salesforce работает портал My Renault. В нем зарегистрировалось порядка 2 млн владельцев автомобилей Renault. В будущем году компания планирует запустить новую версию своего официального сайта.

Директор агентства Studio Orange в подразделении Salesforce ExactTarget Джилл Ройс призвала производителей автомобилей не мешкать с внедрением технологий анализа данных. Иначе Google отнимет у них прибыли, считает Ройс.

Количество и разнообразие данных, получаемых в процессе исследования микробиомы, делают невозможным применение для их обработки классических счетных методов. Источник: nih.gov

Далеко не каждому известно слово «микробиома» — так с подачи американского молекулярного биолога Джошуа Ледерберга, ставшего в 1958 году лауреатом Нобелевской премии в возрасте 33 лет, называют экологическое сообщество микроорганизмов в теле человека. В то же время многим наверняка приходилось сталкиваться с дисбактериозом, на первый взгляд не слишком опасным нарушением микрофлоры кишечника, и c банальными рекомендациями, как его лечить. На самом деле ситуация гораздо сложнее. Реальное понимание места и роли микробиомы вырисовывается благодаря исследованиям, которые стали возможными в самые последние годы, когда появилось необходимое лабораторное оборудование и компьютерные технологии, способные обработать гигантские объемы генерируемых данных.

Стало ясно, что глубоко ошибочно представлять микрофлору кишечника как нечто такое, что только лишь способствует перевариванию пищи. Это гигантская среда; при общей массе около 200 граммов в ней содержится в 10 раз больше клеток, чем в самом человеческом организме, и нарушения микрофлоры могут быть причиной ряда самых тяжелых аутоиммунных заболеваний. Осознание особой роли микробиомы пришло совсем недавно, но уже сейчас понятно, что ухудшение природной среды, неумеренное использование антибиотиков, пищевых консервантов и других плодов современной цивилизации является главной причиной искажений естественного состава микробиомы и, как следствие, новых эпидемических заболеваний, например специфического американского ожирения, а также, возможно, массового распространения астмы и аллергических заболеваний. Плюс к этим факторам микробиома различными способами передается от человека к человеку и таким образом происходит распространение нарушений на глобальном уровне. Не случайно во многих странах законодательно запрещено бесконтрольное использование антибиотиков; об этом следовало бы задуматься и в России, где антибиотики продаются свободно в любой аптеке.

Количество и разнообразие данных, получаемых в процессе исследования микробиомы, делают невозможным применение для их обработки классических счетных методов, в данном случае мы имеет дело с тем, что Джим Грей, выдающийся специалист в области баз данных и обработки транзакций, назвал «четвертой парадигмой науки» (под тремя предыдущими он понимал экспериментальную, теоретическую и вычислительную); иногда еще используют термин e-Science. Отличительная особенность этой парадигмы состоит в переходе к методам анализа Больших Данных, теперь в исследованиях должны сотрудничать ученые из той или иной предметной области и специалисты по анализу данных, такое сотрудничество иногда называют Data Science.

В США наряду с известным проектом по исследованию генома Human Genome Project реализуется аналогичный проект Human Microbiome Project, в Национальном институте здоровья создан специальный центр Data Analysis and Coordination Center. Есть совместный китайско-европейский проект MetaHit. И в России тоже есть несколько мест, где ведутся исследования в этом направлении. EMC участвует в некоторых из них, и об этой деятельности было рассказано на специально организованной встрече; перед собравшимися выступили директор недавно созданного центра исследований и разработок EMC Камиль Исаев и заведующий лабораторией биоинформатики НИИ физико-химической медицины Дмитрий Алексеев.

Исаев остановился на трансляционной медицине (translational medicine), ставящей своей основной целью применение достижений фундаментальных медико-биологических наук для поиска эффективных методов диагностики и лечения. По его мнению, можно говорить о новой глобальной тенденции, которая меняет деятельность таких ИТ-гигантов, как EMC. Традиционные решения – например, платформы хранения данных – не подходят для узкоспециализированных областей, к которым, в частности, относится медицина. Это приводит к необходимости разработки принципиально новых решений, предназначенных для использования в определенных вертикалях.

Алексеев рассказал о работе российских ученых и о возможности создания «платформы будущего» для анализа микробиомы и разработки новых подходов к лечению заболеваний. В идеале материалы, полученные у пациента, передаются в лабораторию, а затем в центры обработки данных, которые могут анализировать большие объемы информации, а затем и выдавать результат. На его основе врач составляет рекомендации пациентам. Понятно, что успех возможен только при условии сотрудничества крупных ИТ-компаний, обладающих ресурсами для анализа больших объемов данных, и специалистов, которые могут верно интерпретировать полученные результаты. Исследование микробиомы позволит уже в ближайшем будущем создать эффективные способы диагностики и лечения заболеваний, в частности хронической обструктивной болезни легких и астмы.

Себастьян Краузе: «Заказчикам необходимы решения для более быстрого и надежного доступа к растущим массивам данных»

18 сентября в Москве прошел форум IBM Fast Data Forum 2014, в ходе которого корпорация представила текущую стратегию в области хранения данных. Эффективность этой стратегии была проиллюстрирована информацией о нескольких проектах, выполненных IBM в интересах крупного российского бизнеса.

Стратегия

Как пояснил Себастьян Краузе, вице-президент IBM по продажам систем хранения, заказчикам сейчас необходимы решения для более быстрого и надежного доступа к растущим массивам данных, поэтому акцент в названии форума и сделан на «переходе от Больших Данных к Быстрым Данным».

Чтобы осуществить этот переход, инженеры корпорации ведут разработки в трех ключевых направлениях: развитие программно-конфигурируемых систем хранения Software-Defined Storage Platforms (SDS-P), совершенствование систем хранения за счет применения твердотельных накопителей, а также повышение эффективности технологий виртуализации для оптимального расходования ресурсов ЦОД.

IBM предлагает несколько готовых решений для построения инфраструктуры SDS-P. Это независимые от аппаратного обеспечения программные технологии, такие как файловая система Elastic Storage, осуществляющая автоматическое управление данными на локальном и глобальном уровнях. Также IBM предлагает программное обеспечение для виртуализации систем хранения – SAN Volume Controller, позволяющее клиентам виртуализовать инфраструктуру для быстрой и надежной передачи данных по гетерогенным системам хранения.

В продуктах IBM активно используется флэш-память. По словам Краузе, отрасль практически достигла той точки, когда твердотельные накопители начинают вытеснять обычные жесткие диски в корпоративных системах хранения. Одновременно корпорация ведет разработки перспективных систем Storage Class Memory (SCM).

Как пояснил вице-президент по объектно-конфигурируемым и файловым системам хранения IBM Systems&Technology Group Кришна Натан, SCM — даже не технология, а совершенно новый класс устройств хранения. По сути, это новый тип энергонезависимой памяти, по надежности сопоставимой с обычной оперативной памятью DRAM. По скорости доступа к данным системы SCM занимают промежуточное положение между памятью DRAM и NAND, а их энергоэффективность в десять раз выше, чем у обычных жестких дисков.

«Первые такие устройства уже представлены на рынке, но они пока не стали мэйнстримом. Зато через три-пять лет продукты SCM будут ключевыми элементами при построении инфраструктуры хранения», — предрекает Натан.

Проекты

На форуме были представлены два крупных проекта, выполненные при участии IBM: завершение второго этапа работ по оптимизации ИТ-инфраструктуры «МДМ Банка», а также завершение первой стадии работ по оптимизации систем автоматизированного управления предприятием компании «Северсталь».

Как сообщил Эллиот Гойхман, директор по информационным технологиям «МДМ Банка», первый этап проекта с использованием технологий IBM, реализованный в феврале 2014 года, обеспечил банку катастрофоустойчивость ключевых автоматизированных банковских систем. На второй стадии, об окончании которой было объявлено в ходе форума, банку требовалось создать надежную и экономичную платформу для ряда критически важных приложений, таких как система выдачи кредитов, процессинговые системы и CRM. Задача была выполнена с применением комплексного решения IBM на базе систем хранения IBM Storwize и IBM FlashSystem, полностью построенной на флэш-памяти.

В результате емкость системы хранения увеличилась в 1,7 раза, что позволило банку отложить закупку нового оборудования хранения на два ближайших года. Одновременно значительно выросла производительность системы – до семи раз, в зависимости от типа решаемых задач. В пять раз сократилась площадь, занимаемая стойками с оборудованием системы хранения в корпоративном дата-центре банка.

В «Северстали» технологии IBM использовались для совершенствования систем управления предприятием. С 2012 года компания внедряет новое поколение бизнес-приложений на основе платформы SAP HANA. По мере развития этого проекта увеличивались объемы хранимых и обрабатываемых данных и число одновременно работающих пользователей бизнес-систем. В определенный момент обнаружилось, что прежние дисковые массивы перестали отвечать нужному уровню производительности, пояснил Юрий Шеховцов, директор по информационным технологиям компании «Северсталь».

Модернизация массивов стала одной из главных составляющих ИТ-стратегии «Северстали» на период до 2017 года. В сентябре 2014 года завершена первая стадия этого проекта с использованием оборудования IBM. Предложенное ее специалистами решение основывалось на использовании усовершенствованных методов управления ИТ-инфраструктурой и применении современных технологий хранения, в том числе системы IBM FlashSystem, а также средств виртуализации дисковых массивов IBM SAN Volume Controller. В развитие проекта «Северсталь» планирует, усовершенствовав системы мониторинга, управления и анализа инфраструктуры, добиться высокоэффективной работы всего комплекса бизнес-приложений и в дальнейшем сформировать качественно новую среду программно-конфигурируемого хранения.