В недавней аналитической записке Gartner перечислен ряд распространенных среди ИТ-руководителей мифов относительно Больших Данных и приводятся их опровержения.

1. Все внедряют системы обработки Больших Данных быстрее нас

Интерес к технологиям Больших Данных рекордно высок: в 73% организаций, опрошенных аналитиками Gartner в этом году, уже инвестируют в соответствующие проекты или собираются. Но большинство таких инициатив пока еще на самых ранних стадиях, и только 13% опрошенных уже внедрили подобные решения. Сложнее всего — определить, как извлекать доход из Больших Данных, решить, с чего начать. Во многих организациях застревают на пилотной стадии, поскольку не могут привязать новую технологию к конкретным бизнес-процессам.

2. У нас так много данных, что нет нужды беспокоиться о мелких ошибках в них

Некоторые ИТ-руководители считают, что мелкие огрехи в данных не влияют на общие результаты анализа огромных объемов.

Когда данных много, каждая ошибка в отдельности действительно меньше влияет на результат, отмечают аналитики, но и самих ошибок становится больше. Кроме того, большая часть анализируемых данных — внешние, неизвестной структуры или происхождения, поэтому вероятность ошибок растет. Таким образом, в мире Больших Данных качество на самом деле гораздо важнее.

3. Технологии Больших Данных отменят нужду в интеграции данных

Большие Данные обещают возможность обработки данных в оригинальном формате с автоматическим формированием схемы по мере считывания. Считается, что это позволит анализировать информацию из одних и тех же источников с помощью нескольких моделей данных. Многие полагают, что это также даст возможность конечным пользователям самим интерпретировать любой набор данных по своему усмотрению.

В реальности большинству пользователей часто нужен традиционный способ с готовой схемой, когда данные форматируются соответствующим образом, и имеются соглашения об уровне целостности информации и о том, как она должна соотноситься со сценарием использования.

4. Хранилища данных нет смысла использовать для сложной аналитики

Многие администраторы систем управления информацией считают, что нет смысла тратить время на создание хранилища данных, принимая во внимание, что сложные аналитические системы пользуются новыми типами данных.

На самом деле во многих системах сложной аналитики используется информация из хранилища данных. В других случаях новые типы данных нужно дополнительно готовить к анализу в системах обработки Больших Данных; приходится принимать решения о пригодности данных, принципах агрегации и необходимом уровне качества — такая подготовка может происходить вне хранилища.

5. На смену хранилищам данных придут озера данных

В реальности поставщики вводят заказчиков в заблуждение, позиционируя озера данных (data lake) как замену хранилищам или как критически важные элементы аналитической инфраструктуры. Основополагающим технологиям озер данных не хватает зрелости и широты функциональности, присущей хранилищам. Поэтому руководителям, отвечающим за управление данными, стоит подождать, пока озера достигнут того же уровня развития, считают в Gartner.

Опрос, в котором приняли участие 302 члена группы Gartner Research Circle из разных стран, показал, что теперь уже 73% организаций (по сравнению с 64% в прошлом году) вкладывают средства в технологии Больших Данных или планируют сделать это в ближайшие два года. Доля организаций, не собирающихся инвестировать в это направление, упала с 31% до 24%.

Среди регионов по-прежнему лидирует Северная Америка, где 47% опрошенных сообщили об уже сделанных инвестициях. В 2013 году их доля составляла 37,8%. Но и в остальных регионах инвестиции растут. Тем не менее, рост инвестиций не отражается на уровне внедрения технологий. Как и в прошлом году, основная часть работы приходится на разработку стратегии и пилотные и экспериментальные проекты. В 2013 году только 8% опрошенных рассказали о промышленной реализации проектов Больших Данных. В 2014 году их доля выросла до 13%. При этом аналитики отмечают улучшение понимания технологий и повышение готовности к исследованию их возможностей.

Вместе с тем, подчеркивают в Gartner, организации пока не знают точно, какие данные собираются анализировать. Почти все виды источников, перечисленные в опросе, в том числе чрезвычайно сложные в обработке аудио и видео, получили примерно равные доли ответов — от 30% до 40%.

К концу 2016 года на рынке средств инфраструктуры центров обработки данных произойдут значительные перемены. Давление рынка вынуждает поставщиков сменить поведение, что, наряду с четырьмя дезорганизующими факторами, создает на рынке условия для дестабилизации.

Первый фактор — способность нынешних лидеров рынка подорвать бизнес-модель бывших партнеров на смежном рынке. Лидеры заинтересованы в сохранении существующего положения, при котором они получают высокую норму прибыли. Однако провайдеры, переходящие на программы с открытым кодом и встраиваемые средства управления, уже не пользуются серийными коммерческими продуктами с высокой ценой и нормой прибыли. Лидеры, защищающие свою долю рынка, или предпочитающие постепенные перемены, могут решить нанести удар первыми. Для этого могут быть использованы технологии программно-конфигурируемых сетей (SDN) и систем хранения, виртуализации сетевых функций (NVF), а также процессоры со сниженным потреблением энергии и интегрированная инфраструктура, способная к масштабированию веб-уровня.

Второй фактор — доминирование крупных облачных провайдеров. Рост рынка инфраструктурного оборудования в основном связан с архитектурами, поддерживающими масштабирование веб-уровня. Традиционные поставщики управляемых сервисов и инфраструктуры не могут предложить достойной альтернативы платформам в виде сервисов Amazon, Google, IBM, Microsoft и Baidu. Доминирование крупных облачных провайдеров вскоре сильно скажется на ценах инфраструктурного оборудования.

Третий фактор — экономическая война за контроль над рынком между западом и востоком. Страны БРИКС недавно объявили о создании банка развития с капиталом в 100 млрд долл. и резервного фонда. Китай активно инвестирует средства в развитие высоких технологий, сокращая разрыв с западом. В Gartner считают, что Китай, благодаря глубинным ресурсам, компаниям со штаб-квартирами в Тайване и производством на материке, выпускающим оборудование собственной разработки, а также росту антиамериканских настроений, к концу 2017 года увеличит долю на рынке на 2% за счет западных компаний.

Наконец, четвертым фактором нестабильности является потеря доверия к крупным многонациональным компаниям в свете публикаций документов о деятельности Агентства национальной безопасности США. В сегменте программного обеспечения идет переход на коммерчески поддерживаемые версии программ с открытым кодом, а в сегменте оборудования начинается рост мелких местных сборочных компаний. Хотя они не в состоянии заменить крупные компании в области разработки, развитие экосистем с открытым кодом отчасти решает эту проблему. Это ведет к фрагментации рынка. Intel, AMD, Western Digital и Seagate смогут удерживать позиции еще несколько лет, но распространение процессоров ARM и других архитектур уже затрудняет положение Intel и AMD. Рынок систем хранения переходит на флеш-память.

Сотрудники продолжают загружать и использовать мобильные приложения, которые могут получать доступ к корпоративным данным или выполнять бизнес-функции, и при этом не имеют практически никаких гарантий безопасности, подчеркивают аналитики Gartner. Большинство компаний не имеет опыта в области безопасности мобильных приложений, и даже когда тестирование проводится, им часто занимаются разработчики, которых больше волнует функциональность приложения.

Разработчики средств статического и динамического тестирования безопасности вскоре создадут варианты своих технологий для мобильных приложений. Кроме того, в тестировании мобильных приложений появится новый метод — поведенческое тестирование. В этом методе стараются выявить подозрительное поведение непосредственно во время работы приложения.

Тестировать необходимо не только клиентскую, но и серверную часть мобильных приложений. Взлом серверной части грозит хищением данных не одного, а многих тысяч пользователей из корпоративной базы.

Через три года основным объектом атак станут планшеты и смартфоны, полагают в Gartner. При этом 75% взломов будет совершаться из-за элементарных ошибок в конфигурации приложений.

Аналитики Gartner указывают на растущую популярность продукции разработчиков серверов-«белых коробок», специализирующихся на контрактах прямых поставок (Original Design Manufacturer, ODM): в последнее время такие компании наращивают продажи систем, спроектированных на заказ для гиперскалярных дата-центров. В Gartner прогнозируют, что к 2018 году доля прямых продаж серверов x86-архитектуры ODM-компаниями достигнет 16% от общего объема сбыта таких серверов во всем мире, а соответствующая выручка — 4,6 млрд долл.

По информации Gartner, операторам ЦОД нужны системы новых конструкций, расширяющие возможности масштабирования и позволяющие существенно уменьшить общую стоимость владения (включая затраты на питание и охлаждение) по сравнению с серверами общего назначения. По прогнозу аналитиков, в этом году продажи серверов для гиперскалярных ЦОД принесут ODM-компаниям 82% их общего дохода.

В Gartner уверены, что в дальнейшем тенденция прямых поставок систем, разработанных на заказ, распространится и на другие элементы инфраструктуры ЦОД, в том числе на хранение. По сведениям аналитиков, ODM-компании уже осваивают поставки решений для хранения данных, основанных на открытых технологиях, создавая угроза бизнесу производителей традиционных систем хранения с внешними контроллерами.

По информации Gartner, в ODM-компаниях также рассматривают возможность предлагать свои продукты крупным предприятиям, не являющимся операторами огромных ЦОД. Аналитики полагают, что рост осведомленности об Open Compute Project — инициативе по созданию открытых конструкций оборудования для дата-центров — будет подталкивать предприятия к партнерству с ODM-компаниями.

Но на сегодня сегмент крупных предприятий остается во власти традиционных производителей компьютерных систем общего назначения, которым, по данным Gartner, принадлежит 60% мирового серверного рынка. В числе недостатков, препятствующих сотрудничеству ODM-компаний с предприятиями, аналитики называют неразвитость экосистем клиентской поддержки.

Управление работой с поставщиками в области ИТ становится отдельной и все более важной дисциплиной, потому что новые модели облачной доставки и узкопрофильные поставщики представляют, с одной стороны, высокую ценность для бизнеса, а с другой — высокий уровень риска, который необходимо контролировать, отмечают в аналитической фирме Gartner. Этой теме будут посвящены сентябрьские конференции Gartner IT Financial, Procurement & Asset Management Summit 2014 в Орландо и Лондоне.

В Gartner выделяют четыре направления развития методов управления работой с поставщиками. Первое — организация управления. В рамках этого направления устанавливаются субординация, роли и зоны ответственности сотрудников. Направление работы с людьми и организациями включает в себя новые методы аналитики, управления риском и финансами, а также организации совместной работы на всех уровнях бизнеса. Далее аналитики выделяют процессы и различные средства управления работой с поставщиками, предназначенные для автоматизации процессов, упрощения контроля и отчетности и управления рисками. Наконец, методы анализа и отслеживания тенденций будут учитывать не только внутренние данные, но и внешние источники. Они позволят не только принимать текущие решения, но и предсказывать развитие отношений с поставщиком, например, на основе анализа его финансовых показателей.

По убеждению аналитиков Gartner, традиционные методы составления требований к настольным приложениям и их разработки не годятся для мобильных в связи с разнообразием устройств, необходимостью учитывать постоянное соединение с сетью и другими факторами. Для мобильных приложений, считают в Gartner, нужны функциональное, нагрузочное тестирование, контроль производительности и учет впечатлений пользователя, а также «скорые» (agile) методы разработки.

В Gartner отмечают, что пользователям сложнее описать то, что должно делать мобильное приложение, поэтому привычная практика встреч бизнес-аналитика с пользователями для составления требований обычно проваливается.

Причины неудач традиционных методов в основном связаны с принципиальными отличиями мобильных приложений от настольных: малый размер экрана, более короткие сеансы работы пользователя и т.д.

В Gartner советуют начинать разработку с пользовательского интерфейса, дорабатывая его с учетом пожеланий самих пользователей — в результате те уже с выходом первой сборки будут знакомы с приложением.

Сильно отличается от настольных приложений и процесс тестирования. Мобильные приложения могут вести себя по-разному в зависимости от операционной системы и типа беспроводной сети, поэтому тестировать надо на различных сочетаниях устройств и ОС. Как минимум, нужен двухэтапный подход — тестирование на эмуляторах, а затем на реальных устройствах, относящихся к числу самых новых и популярных. Для приложений B2C рекомендуется практическое тестирование с участием реальных пользователей и устройств.

После выпуска приложения важно знать, как оно используется, для чего нужны соответствующие механизмы и средства анализа, которые помогут выяснить, какие факторы ведут к успеху или провалу. Готовые аналитические механизмы предлагаются рядом разработчиков.

В связи с высокой частотой обновления мобильных ОС и появления новых устройств обязательно применение agile-практики итеративного совершенствования приложений с учетом результатов упомянутого анализа.

По сведениям Gartner, на разработку внутрикорпоративного настольного приложения обычно уходит около 18 месяцев, и после внедрения оно сопровождается до пяти лет. Кроме того, настольные обычно не обновляются больше одного раза и являются относительно стабильными. Мобильные же приложения нуждаются в частых ревизиях, чтобы выполнять меняющиеся требования конечных пользователей, поэтому нужны соответствующие механизмы рассылки и установки обновлений, указывают аналитики.

В 2014 году продажи «хромбуков» — мобильных компьютеров с операционной системой Google Chrome OS и преимущественно облачным хранением данных — вырастут на 79% по сравнению с 2013 годом и достигнут 5,2 млн штук, считают аналитики Gartner. К 2017 году продажи «хромбуков» вырастут втрое — до 14,4 млн штук в год.

Конкуренция среди производителей «хромбуков» растет. В 2014 году на рынок выходит восемь моделей. Основной спрос они находят в образовательных учреждениях США. По оценкам аналитиков, в 2013 году на долю образовательных учреждений приходилось почти 85% мирового объема продаж, а на долю Северной Америки в целом — 82%. В корпоративной среде «хромбуки» до сих пор были не очень популярны.

Первые модели «хромбуков» выпустили в 2011 году Samsung и Acer. Они же остались лидерами в 2013 году. На долю Samsung пришлось 64,9% продаж «хромбуков», а на долю Acer — 21,4%. За ними следуют HP (6,8%), Lenovo (6,7%) и Dell (0,3%).

«Хромбуки» Samsung доминируют в образовательном секторе. Acer, в отличие от Samsung, выпускает «хромбуки» с процессорами Intel, а не ARM и стремится достичь наилучшего соотношения цена-качество. HP ориентируется на деловой сектор и единственная из всех выпустила «хромбук» с 14-дюймовым экраном.

Хотя официальная поддержка операционной системы Windows 7 будет прекращена только в январе 2020 года, уже сейчас организациям следует начать готовить планы действий, в противном случае не избежать повторения истории с Windows XP, считает вице-президент по исследованиям аналитической фирмы Gartner Стивен Клейнханс.

На момент прекращения поддержки Windows XP почти четверть компьютеров в организациях все еще работали с ней, напоминает аналитик. К счастью, Microsoft стала гибче относиться к выпуску и обновлениям Windows. Для системы Windows 8 за полтора года вышло уже два существенных пакета обновления, а в будущем году ожидается выход новых. К тому времени, когда организации подготовятся к массовому переходу на новую версию, на рынке уже должна появиться Windows 8.1 Update 2, считает аналитик.

Впрочем, это решит не все проблемы. В частности, переходить на Windows 8 будет труднее организациям, вынужденным соблюдать требования сертификации приложений. Многим требуется официальная поддержка разработчика. А самую большую проблему с точки зрения совместимости представляют приложения, зависящие от конкретной версии Internet Explorer.

Аналитики Gartner отмечают, что растущая шумиха вокруг «озер данных» (data lakes), неупорядоченных хранилищ информации, поступающей из различных источников и содержащейся в исходном формате, создает путаницу: ряд поставщиков рекламируют озера данных как важнейший элемент инфраструктур обработки Больших Данных, но на сегодня нет ни универсального определения озер данных, ни единого представления о том, какую пользу они приносят.

В Gartner поясняют, что обычно «озеро» преподносится как возможность исключить затраты на трансформацию данных перед помещением в хранилище и предоставить доступ к ним для анализа всем в организации. Однако учитывая, что информация в озере лишена консистентности и не сопровождается метаданными, ее анализ в реальности доступен лишь опытным экспертам, полагают в Gartner.

Кроме того, нет возможностей определить качество данных в таком неуправляемом хранилище и проследить происхождение выводов, сделанных с использованием данных из озера кем-то до вас. В результате, как отмечают в Gartner, без механизмов руководства озера угрожают превратиться в «болота». А учитывая, что информация «сливается» в озеро без проверки содержания, возможны также риски, связанные с экспозицией данных, подлежащих защите согласно нормативным требованиям, — по сведениям аналитиков, средства безопасности в системах организации озер данных на сегодня находятся в зачаточном состоянии.

Кроме того, возможны проблемы с быстродействием, полагают в Gartner: инструменты конечных пользователей попросту не способны обрабатывать данные с такой же скоростью, с какой это могут делать высокооптимизированные СУБД.

В конечном счете, полагают аналитики, в каждой организации должны выбрать для себя, что нужнее — доступность разнородных данных в озере для изучения экспертами по мере необходимости или анализ информации из заранее структурированного хранилища по стандартным алгоритмам.