На новые технологии и инструменты для манипулирования Большими Данными предприятия тратят миллиарды долларов, но одно небольшое препятствие по-прежнему оказывается для них непреодолимым: они просто не знают, что делать со всей этой информацией.

«У Больших Данных есть одна неприятная особенность: практически никто не знает, что с ними делать, – отметил вице-президент и генеральный менеджер группы облачных платформ Intel Джейсон Ваксман. – Людям кажется, что они поступают правильно. Понятно, что данные необходимо собирать, а у компании должна быть стратегия работы с Большими Данными. Но ведь конечная цель заключается в том, чтобы делать на основе Больших Данных какие-то выводы. А это уже сложнее».

Большие Данные возникают в результате консолидации разнообразных сведений, в том числе поступающих от датчиков и от других потоков входной информации. Многим предприятиям их грамотный анализ помог бы лучше понять поведение клиентов и найти способы повышения операционной эффективности.

В Intel непосредственно заинтересованы в дальнейшем развитии данного рынка, поскольку системы Больших Данных требуют огромного количества процессоров — основной продукции корпорации.

На сегодняшний день на Большие Данные ежегодно приходится около 13 млрд долл. затрат в сфере ИТ. По оценкам Intel, к 2018 году эта сумма вырастет до 41 млрд долл., причем по крайней мере 2 млрд долл. из этих денег будет приходиться на оборудование.

«Чтобы научиться извлекать ценности из Больших Данных, предприятиям необходимо преодолеть ряд препятствий», – указал Ваксман.

Intel предпринимает попытки обсудить накопленный опыт нынешнего применения Больших Данных, а также перспективы их предполагаемого использования в дальнейшем. Выяснилось, что основная трудность связана с поискам путей извлечения ценностей из данных.

Это действительно сложная задача. Организациям нужны специалисты, умеющие собрать систему Больших Данных и наладить управление ею. Помимо обычных навыков программирования и системного администрирования они должны обладать знанием статистических и аналитических методов.

«А люди, которые могут похвастаться всеми этими качествами, встречаются довольно редко», – подчеркнул Ваксман.

Со своей стороны, Intel реализует ряд инициатив, которые должны помочь организациям извлекать ценности из накопленных ими данных.

Одна из них состоит в поиске успешных сценариев работы с Большими Данными и соответствующем их выделении. Когда, к примеру, в розничной сети находят способ стать более привлекательными для клиентов благодаря Большим Данным, Intel стремится распространить этот опыт, чтобы им могли с выгодой для себя воспользоваться и другие.

Другая серьезная задача заключается в том, чтобы упростить развертывание систем Больших Данных. В настоящее время организации собирают системы поэтапно. При этом на их интеграцию и настройку конфигурации уходит очень много времени.

«Сегодня по-прежнему приходится выполнять множество операций, для того чтобы состыковать компьютеры, обрабатывающие Большие Данные, – пояснил Ваксман. – Необходимо найти способ упрощения этого процесса».

Intel финансово поддерживает целый ряд разработчиков программного обеспечения Больших Данных. В прошлом году корпорация инвестировала 740 млн долл. в компанию Cloudera, которая предлагает коммерческий дистрибутив платформы Hadoop. Был разработан специальный план развития программного обеспечения Cloudera на основе использования преимуществ процессорных архитектур Intel.

Несмотря на сегодняшнюю популярность облачных сервисов, Ваксман полагает, что в близкой перспективе большинство предприятий предпочтут не выпускать из своих рук Большие Данные и будут самостоятельно выполнять их обработку, не доверяя соответствующие операции независимым провайдерам услуг.

В качестве иллюстрации он привел свою беседу с руководителем одной из консалтинговых фирм, работающей на финансовом рынке, который рассказал о недавней встрече с представителями IBM, предложившими ему свои когнитивные сервисы Watson. Технология достаточно интересна, но у потенциального заказчика возникли сомнения в целесообразности использования проприетарных сервисов и передачи данных компании, которая в определенном смысле могла бы стать его конкурентом.

«Люди хотят держать свои данные у себя, – сделал вывод Ваксман. – Раздавая их направо и налево, они рискуют лишиться важных активов».

Компания EnterpriseDB намерена приблизить свой диалект, реляционную СУБД PostgreSQL с открытым кодом, к миру NoSQL и добавить туда функции автоматического сегментирования (autosharding).

Выступая на конференции NoSQL Now, проходившей в Сан-Хосе, главный архитектор баз данных EnterpriseDB Брюс Момджан рассказал о планах компании в отношении своей СУБД. «В ближайшие год-два мы намерены реализовать там функции автоматического сегментирования, благодаря которым десятки серверов Postgres будут работать унифицированным образом, разделяя друг с другом транзакции и рабочую нагрузку, – сообщил он. – Таким образом, Postgres сможет справляться с нагрузками, которые ранее были под силу только продуктам NoSQL, поддерживающим многоузловые конфигурации. В настоящее время соответствующие возможности Postgres ограничены».

Затем Момджан более подробно остановился на намерениях EnterpriseDB, указав, что поддержка Postgres больших наборов данных приобретает все большую актуальность. «Мы подошли к той черте, за которой избежать роста нагрузки уже не удастся, – подчеркнул он. – Решать этот вопрос сообщество собирается за счет автоматического сегментирования. Один центральный сервер Postgres будет принимать запросы, определять, какие сегменты лучше подходят для их обработки, и перенаправлять запросы туда. В настоящее время EnterpriseDB и NTT совместно работают над решением этой задачи».

Возможность автоматического сегментирования - уже не первое движение Postgres в сторону NoSQL. В 2012 году в СУБД были добавлены функции для работы с типом JSON, а в прошлом году программное обеспечение Postgres Extended Datatype Developer Kit позволило разработчикам использовать PostgreSQL в приложениях, которым ранее требовались только решения NoSQL.

Момджан отводит Postgres на предприятиях роль центрального брокера данных. Трудно сказать, сможет ли Postgres сравниться по скорости с системой Apache Cassandra, объединяющей 100 узлов, но по функционалу СУБД, предлагаемая EnterpriseDB, явно превосходит Cassandra. «Здесь как всегда приходится искать определенные компромиссы, – пояснил Момджан. – Какая нужна производительность, какой функционал и какое решение лучше всего подходит в данном конкретном случае?»

Поддержка внешних источников данных позволяет, оставив данные в Cassandra, обращаться к ним из Postgres, получая преимущества реляционных СУБД и аналитических средств. Postgres поддерживает и другие внешние источники данных, включая Oracle, MySQL и MongoDB.

Большие Данные стали в последние годы одной из самых обсуждаемых тем. В 2015 году оборот рынка Больших Данных достигнет 16,9 млрд долл. По оценкам IDC, его рост в шесть раз опережает рост рынка ИТ в целом.

За несколько лет экспериментов и активного проникновения Больших Данных в нашу деловую жизнь мы многому научились. И теперь нам предстоит найти ответ на вопрос, как наилучшим образом задействовать мощь Больших Данных для поддержки общей стратегии бизнеса.

Ценность данных во многом зависит от того, как именно их использовать при принятии решений. Критически важную информацию, помогающую пониманию бизнес-задач, нужно держать под постоянным контролем. Данные можно использовать снова и снова для проверки полученных оценок и изменения принятых решений в случае возникновения такой необходимости. Речь идет о возможности вносить коррективы в ранее составленные заключения, придающей организациям дополнительную гибкость и мощь. Благодаря анализу Больших Данных организации по многим параметрам могут опередить конкурентов, улучшить каналы поставок, усовершенствовать свои продукты и услуги, регулировать цены, повысить эффективность продвижения товаров и улучшить стратегии удержания клиентов.

Большие Данные выходят на передний план там, где они открывают перед предприятиями возможность решать задачи, с которыми прежде удавалось справляться с трудом, когда реальная ценность данных становится особенно заметной.

Данные играют определяющую роль фактически в любой отрасли, а их структура со временем усложняется. Для организаций, оперирующих все усложняющимися сценариями (в частности, для операторов систем электронной коммерции) снижение сложности имеет очень серьезное значение. На туристических сайтах, к примеру, клиентам, чтобы получить информацию о ценах, приходится выполнять длинную последовательность операций. Число различных комбинаций, будь то гостиницы, авиарейсы, аренда автомобилей, варианты страховки, трансферы, дополнительные опции и т. д., только для одного заказа может измеряться миллионами.

На пятки туристическим компаниям наступают прямые и непрямые конкуренты, готовые обслужить клиентов, которые желают сэкономить. Чтобы ускорить процесс и помочь клиентам принять решение, некоторые туристические компании начинают использовать технологии Больших Данных, пытаясь путем упрощения взаимосвязей организовать динамическое ценообразование и выдачу рекомендаций с формированием ответов на запросы за доли секунды. Это помогает им повысить свою операционную прибыль.

Производителям следует использовать Большие Данные для лучшего понимания своих клиентов. На каждого отдельно взятого клиента приходится огромный объем данных, описывающих его поведение и историю покупок с учетом самых разных аспектов. Чтобы определить мотивы, движущие клиентами, продавцам необходимо анализировать эту информацию. Но вместе с расширением спектра собранной информации усложняется и ее анализ. Более того, растут ожидания клиентов, желающих получать продукты и услуги отличного качества, отвечающие их потребностям. Давление постоянно ужесточается.

Анализ Больших Данных

Анализ Больших Данных является краеугольным камнем будущих успехов. В сентябре 2011 года Филип Картер из IDC представил доклад «Анализ Больших Данных: архитектуры, навыки и планы развития, которые понадобятся ИТ-директору» ("Big Data Analytics: Future Architectures, Skills and Roadmaps for the CIO"). В нем он показал, что ключевые отличия традиционного анализа от анализа в эпоху Больших Данных — это потребность в иной стратегии построения инфраструктуры и ином наборе навыков.

Но и сегодня один из наиболее серьезных вопросов, с которыми приходится сталкиваться организациям, по-прежнему связан с адекватным планированием, позволяющим извлечь из Больших Данных максимум пользы. Сейчас необходимо объединять функции бизнеса и ИТ-функции с целью совместной разработки архитектуры и создания планов, позволяющих расширить возможности, которые помогут компании как сегодня, так и в будущем.

Расширение возможностей бизнеса должно стать главной задачей при формировании стратегии развития ИТ и выработке согласованной между бизнесом и ИТ-службой политики. В 2011 году в IDC провели опрос ИТ-директоров, призванный выяснить, какие технологии, по их мнению, являются наиболее полезными для совершенствования конкурентных преимуществ. Самым популярным ответом стал «бизнес-анализ и аналитика».

Эффективно использовать данные при определении бизнес-стратегии непросто. Традиционные решения бизнес-анализа терпят неудачу из-за того, что вопросы, на которые потребуется получить ответ, заранее неизвестны. Хранилища данных приходится создавать, не зная, каким образом будет происходить выборка данных. Назовите это озером данных, резервуаром или предприятием по очистке. ИТ-директор должен понимать, что все данные имеют потенциальную ценность (если не для вас, то для возможных партнеров), а своевременное помещение данных в контейнер позволит аналитикам впоследствии заняться их изучением.

Аналитикам необходимо поддерживать тесную связь с бизнесом, чтобы лучше понимать вопросы, которые позволяют осветить данные (тогда будет легче выявить тенденции и общие принципы, формирующие стратегию бизнеса). После этого соответствующим образом адаптируется структура ИТ-систем, а затем процесс повторяется. Каждый цикл охватывает все больше данных, улучшаются возможности бизнеса в части принятия стратегических решений, технологии обработки данных приводятся в соответствие с их постоянно растущими объемами и сложностью. В настоящее время именно в этом заключается главный вопрос, связанный с Большими Данными.

Бизнесу следует создать структуру, которая обеспечила бы ему успех и помогла провести необходимые изменения. Повысив техническую оснащенность, можно будет принимать более грамотные решения, основанные на анализе данных и рассчитанные на долгосрочную перспективу. Организация сможет лучше понять своих клиентов и реагировать на их потребности.

Необходимо решить два вопроса. Во-первых, выделить время для анализа имеющихся данных и выявления тех преимуществ, которые они способны принести бизнесу. И, во-вторых, разработать план, закладывающий основы поддержки бизнеса посредством эффективного использования данных в ближайшие пять лет и на более долгосрочную перспективу. Тем самым будут созданы условия для интеграции Больших Данных в ядро бизнес-процессов.

Джон Сидху – партнер консультационной компании Glue Reply, специализирующейся на разработке ИТ-стратегий в интересах бизнеса.

Посмотрите, кто входит в число топ-менеджеров любой современной крупной компании, и вы наверняка увидите должности, которых еще несколько лет назад здесь не было: директор по данным (chief data officer), главный специалист по данным (chief data scientist), директор по аналитике (chief analytics officer) и т. д.

Данные присутствуют сегодня повсеместно и оказывают влияние не только на деятельность руководства компаний.

Вечная гонка в мире бизнеса заставляет компании собирать как можно больше данных как можно быстрее. При этом вопрос, как превратить эти огромные объемы в практическую ценность, оставляется на потом. Но сегодня это «потом» уже наступило, а в организациях ощущается острая нехватка специалистов по данным. К тому же планы по «выращиванию» таких специалистов имеются лишь в очень немногих компаниях.

Фактически на любом уровне организации сотрудники вынуждены иметь дело с растущими объемами данных, из которых необходимо извлекать полезную информацию. И сегодня требования к кандидатам на замещение вакантной должности – любой должности серьезно изменились.

«Современные работники должны хорошо ориентироваться в данных, – указал профессор бизнес-анализа Университета Цинциннати Джеффри Камм. – Быть ученым по данным требуется не от каждого, но каждый должен учиться использовать данные для принятия более обоснованных решений».

Легко сказать, однако реализовать такое на деле весьма непросто. Разрабочики корпоративного программного обеспечения уже начали внедрять в свои продукты новые, более простые инструменты, но в большинстве случаев задачи адаптации рабочей силы к меняющимся требованиям все равно ложатся на плечи компаний и вузов.

«Насколько я вижу, на практике сотрудников сегодня нужно готовить к двум основным ролям — аналитика данных и потребителя данных, – отметил Камм. – Уже сейчас предлагается более 100 программ подготовки аналитиков и исследователей данных с выдачей диплома магистра – гораздо больше, чем было всего несколько лет назад. Университеты прислушиваются к пожеланиям отрасли и разрабатывают очень хорошие программы в области анализа. Более сложной задачей мне представляется поиск наилучшего способа обучения оставшейся части персонала, начиная от администраторов торговых залов и операторов контакт-центров и заканчивая представителями высшего руководства. Независимо от их роли фундаментальный вопрос заключается в следующем: какими навыками анализа данных должен обладать человек для более качественного выполнения своей работы?»

К примеру, Университет Цинциннати предлагает различные курсы профессиональной подготовки в области обработки и анализа данных: «Современные методы добычи данных», «Анализ в Excel», «Предписывающий анализ: постановка и решение задач оптимизации» и целый ряд других.

Однако подобные программы пока остаются редкостью. «В целом университеты традиционно не преуспевают в обучении будущих менеджеров математическим и статистическим методам, – указал Том Дэвенпорт, профессор Колледжа Бэбсона, один из авторов курса количественного анализа. – Студенты не особо любят количественный анализ. А дополнительная неделя, выделяемая на эту дисциплину, посвящена скорее факторному анализу, чем количественному анализу в целом. И это большая проблема».

Ее решением занялся стартап DataCamp. Компания, основанная полтора года назад, предлагает студентам и профессионалам в области информационной экономики доступные интерактивные интернет-курсы, посвященные анализу данных.

В программе курсов рассматриваются темы визуализации данных, динамических отчетов, программирования на языке R и Больших Данных. Однако ее авторы не придерживаются традиционных академических форматов. При изучении материала используются короткие видеоуроки и интерактивные задачи по программированию. Доступ к ним осуществляется через браузер. Некоторые занятия проводятся бесплатно, а желающие получать материалы в полном объеме могут оформить подписку стоимостью 25 долл. в месяц или 250 долл. в год. Стандартных дипломов DataCamp не выдает, но студенты получают значки и сертификаты о прохождении определенных курсов обучения.

«В течение первого года у нас прошли обучение 100 тыс. человек, – сообщил один из основателей и генеральный директор DataCamp Джонатан Корнелиссен. – Это показывает, что в мире существует реальная потребность в изучении анализа данных. Мы же видим свою миссию в поиске новых подходов к обучению по соответствующей тематике. Около 70% студентов DataCamp являются профессионалами, работающими в мире бизнеса. В своей деятельности им приходится постоянно сталкиваться с данными, которые требуют визуализации и понимания».

Будущие планы интернет-школы предусматривают создание курсов по очистке данных, манипулированию ими и моделированию.

Образовательные программы – лишь один из подходов, помогающий сотрудникам воспринимать данные по-новому, но далеко не единственный. Некоторые организации отдают предпочтение другим – гораздо более необычным направлениям.

Центр эпигеномики Медицинского университета им. Альберта Эйнштейна в Нью-Йорке поддерживает контакты с художником Дэниелом Коном, который помогает по-новому взглянуть на генетические данные.

«Мне интересен сам процесс создания смысловой нагрузки, – заметил Кон, проработавший в течение десяти лет художником в Институте Броуда, где занимаются расшифровкой генома. – Люди полагают, что все, что мы видим, существует на самом деле, и нам всего лишь нужно это усвоить».

Родившийся в Индии и выросший во Франции, Кон впитал в себя множество различных культур, а художественное образование помогает ему придерживаться необычных подходов. «Согласно общепринятому мнению, любую ситуацию можно рассматривать с разных точек зрения, – говорит он. – На полотне мы изображаем предмет не таким, какой он есть на самом деле, мы рисуем его с учетом определенных традиций».

Аналогичным образом, при взгляде на научные данные очень важно иметь точное представление о научных традициях, положенных в основу избранного подхода, а также понимать, что традиции эти являются не единственным возможным вариантом.

Распространено мнение, что для оперирования Большими Данными нужны лишь более мощные машины и улучшенные алгоритмы. «На мой же взгляд, для понимания окружающей нас реальности нужны новые метафоры, – считает Кон. – Истории, закладывающие новый смысл. Для мира, который меняется вокруг нас, нужны новые, соответствующие ему правила».

«Подход Кона может быть полезен, – признал директор Центра эпигеномики Джон Грейли. – Его сила заключается в его наивности и оторванности от темы. После показов он задает вопросы. Почему эта диаграмма представлена в синих и красных тонах? Что если после щелчка по точке откроется новое измерение? У него отличное визуальное восприятие, и это заставляет нас искать что-то новое. Есть надежда, что, побуждая ученых выходить за рамки традиционного для них мышления, он зародит искры понимания, имеющие самые неожиданные источники».

«Многие открытия совершались благодаря счастливому случаю, – указал Кон. – Ученые испытывали озарение, не имеющее рационального объяснения».

«Таким образом, нам нужны новые инструменты визуализации, позволяющие выносить интуитивные суждения о данных и не требующие полного представления о функционировании систем, – сделал вывод Грейли. – Партнерство наше продолжается всего полтора года, и оценивать все его преимущества еще слишком рано. Пока же можно сказать, что выбираемые нами сейчас формы визуального представления сложнее, чем традиционно используемые стандартные температурные карты и диаграммы разброса».

«Аналитики принимали косвенное участие в принятии бизнес-решений в прошлом, но сегодня в этом процессе им отводится фактически центральная роль», – заметил Кирк Борн, ученый по данным и профессор Университета Джорджа Мейсона.

А это в свою очередь требует новых подходов, основанных на множестве различных дисциплин. Компаниям же нужен достаточно широкий круг сотрудников, обладающих навыками анализа данных.

Оркестр, все музыканты которого владеют инструментом одного типа, не добьется больших успехов. Команда должна состоять из исследователей данных, которые дополняют друг друга и способны вместе выдать отличную музыку.

Группа исследователей из Швейцарской высшей технической школы объявила об открытии возможности сохранения информации в ДНК на срок не меньше двух тысяч лет; идет работа над файловой системой, которая позволит выполнять поиск по данным в столь необычном хранилище.

По словам ученых, в ДНК можно было бы сохранять целые библиотеки исторических текстов и правительственных документов или полные архивы коммерческих компаний, и все это в объеме капли жидкости.

Представляя свою разработку на конференции Американского химического общества, исследователи отметили, что у ДНК есть два важных преимущества перед жесткими дисками и другими электронными носителями: малые размеры и огромная долговечность.

В ходе презентации исследователи указали на недостатки современных электронных средств хранения. К примеру, внешний жесткий диск размером с книгу карманного формата может сохранить 5 Тбайт данных на срок примерно до 50 лет.

«В средние века в Европе монахи записывали сведения для потомков в книгах, и часть из них дошла до наших дней, — напомнил Роберт Грасс, профессор Швейцарской высшей технической школы. — Теперь же мы сохраняем информацию на жесткие диски, которые изнашиваются всего за несколько десятков лет».

В ничтожном фрагменте ДНК теоретически можно сохранить больше 300 тыс. Тбайт. Как отметили исследователи, археологические находки показали, что расшифровке поддается ДНК возрастом даже в сотни тысяч лет.

«Уже вскоре после открытия структуры ДНК стало понятно, что язык ее кодирования очень похож на двоичный код, используемый в компьютерах, — продолжил Грасс. — На жестком диске данные представлены нулями и единицами, а в ДНК это четыре нуклеотида — А, Г, Ц, Т».

Команда под руководством Грасса закодировала в ДНК 83 Кбайт текста: Федеративную хартию Швейцарии и трактат Архимеда «Метод теорем механики». Исследователи заключили ДНК в кварцевые шарики и нагревали их до 70 °C в течение недели, что, по их словам, соответствует хранению в течение 2000 лет при температуре +10 °C. Когда данные раскодировали, ошибок в них не было.

В 2012 году группа исследователей из Европейского института биоинформатики закодировала в ДНК речь Мартина Лютера Кинга в формате MP3 вместе со снимком JPEG и несколькими текстовыми файлами.

Ученые опубликовали доклад в Nature, сообщив, что с помощью их метода данные в ДНК можно сохранить на десятки тысяч лет. Было показано, что в ДНК в объеме примерно чашки можно записать по меньшей мере 100 млн часов видео высокой четкости.

Считывание из ДНК — относительно простая процедура, а вот процесс записи сопряжен с трудностями. Проблемы две: во-первых, с помощью доступных на сегодня методов можно синтезировать лишь короткие нити ДНК; во-вторых, и считывание, и запись чреваты ошибками, особенно при повторении одной и той же буквы основания в последовательности.

Швейцарские ученые предложили способ, с помощью которого ДНК можно сохранять в течение длительных периодов времени, а теперь пытаются создать файловую систему, которая позволит избегать ошибок чтения и записи.

«Вот что такое ДНК-память: это капля жидкости с плавающими в ней молекулами, на которых закодирована информация, — пояснил Грасс. — Сейчас у нас есть только возможность считать сразу все, что есть в этой капле. Но я не могу выбрать конкретное место капли и получить только один файл».

Исследователи работают над способами маркировки фрагментов информации в нитях ДНК, чтобы по ним можно было выполнять поиск.

Как и многие технологии на начальной стадии развития, ДНК-хранение будет обходиться недешево. По словам Грасса, кодирование и сохранение всего нескольких мегабайтов стоит несколько тысяч долларов, так что у потребителей пока не будет возможности купить себе домашний ДНК-накопитель.

1. Концепция совершенно новая. Термин «озеро данных», предложенный техническим директором компании Pentaho Джеймсом Диксоном, обсуждается уже несколько лет. Но, по словам аналитика IDC Ашиша Надкарни, идея использования озер данных в качестве ресурсов корпоративного уровня все еще находится в зачаточном состоянии. Озеро данных определяется как большое – и относительно дешевое – хранилище данных, построенное по образу Hadoop, в котором размещаются все типы необработанных данных. Впоследствии они могут понадобиться для бизнес-анализа или добычи данных. В озере данных все элементы хранятся в своей первоначальной форме, необработанной и неуправляемой.

2. Купить готовое к использованию озеро данных невозможно. В своей рекламе поставщики утверждают, что озера данных станут для проектов Больших Данных панацеей, но это не так. «Как и в случае с хранилищами данных, озера данных – это концепция, а не технология, – указал аналитик Gartner Ник Хойдекер. – Для создания озера данных вы можете использовать различные технологии. По сути, озеро данных – это стратегия хранения».

3. Озера придуманы для накопления Большие Данных. Озера предназначены для приема данных – процедуры, которая включает в себя сбор, импорт и обработку данных для хранения и последующего их использования. «Там, где организация хранилища данных оказывается слишком громоздкой для масштабного приема, вступают в действие озера данных, – пояснил Хойдекер. – Озеро данных не требует предварительного создания схемы. Данные просто заносятся туда, а схема создается и применяется уже в процессе их извлечения».

4. В проектировании должны участвовать самые разные специалисты. Озера данных представляют собой ресурсы для всей организации, а не только для ИТ-службы. Поэтому к планированию проектов озер данных следует привлекать все заинтересованные стороны. «Речь идет о центральном компоненте архитектуры Больших Данных всего предприятия, который невозможно реализовать в отрыве от всего остального, – отметил Надкарни. – Помимо ИТ-менеджеров в проект озера данных необходимо вовлекать руководителей бизнеса и пользователей. И ключевую роль здесь должны сыграть эксперты по системам хранения. В конечном итоге дело сводится к построению платформы хранения, а ее проектирование и реализация невозможны без участия специалистов по хранению».

5. Основные выгоды определяются не технологией. «Ценность озер данных для бизнеса мало зависит от выбранной технологии, – утверждает Хойдекер. – Ценность для бизнеса определяется накопленным опытом управления данными, который можно применить к озеру. Озера данных не являются заменой существующим аналитическим платформам или инфраструктуре. Они дополняют собой ваши усилия и помогают поднимать новые вопросы. После того как эти вопросы сформулированы, они 'оптимизируются' для получения ответов. Оптимизация может заключаться в том числе и в отходе от озера в сторону киосков или хранилищ данных».