Объединенные данные для цифровой трансформации

Сегодня цифровая трансформация находится в центре внимания многих компаний, где стремятся выполнить проекты цифровизации, одновременно снижая ИТ-затраты. Этому способствует виртуализация данных, обеспечивающая гибкий подход к интеграции данных в реальном времени без их физической репликации. Виртуализация, создавая слой абстракции, отделяющий источники данных от потребителей, оставляет данные в исходных системах; защищает аналитиков и бизнес-пользователей от изменений в базовых системах; позволяет ИТ-специалистам модернизировать базовые системы, не прерывая бизнес-операции. Представители компании Denodo Technologies рассказали о некоторых возможностях технологии виртуализации данных и перспективах ее применения в России.

Алексей Сидоров, главный евангелист и директор по управлению данными Denodo:

Алексей Сидоров: «Данные должны стать продуктом, который ИТ-организация предоставляет другим подразделениям, качественным и своевременным продуктом, необходимым бизнесу для цифровой трансформации»

Интеграция данных из разрозненных источников является традиционной задачей для управления данными. В последнее десятилетие наблюдаются серьезные изменения как в задачах, которые решаются при помощи такой интеграции, так и в самих источниках, в которых хранится необходимая информация.

Мы видим, что все больше данных необходимо для различных задач в рамках таких приложений цифровой трансформации, как машинное обучение, искусственный интеллект, предсказательная аналитика, магазины данных и ряд других.

Кроме того, появляется целый класс систем хранения данных, которые более не опираются на реляционные принципы. Обобщенно их принято называть NoSQL (not only SQL) — базы данных не только SQL. За этим термином скрывается множество различных подходов и методологий, в том числе базы данных «ключ-значение» (Key-Value store), документоориентированные, объектные и графовые базы данных.

Наряду с этим огромное количество данных, необходимых для принятия бизнес-решений, приходит в потоковом виде в режиме, близком к реальному времени.

Все это заставляет по-новому взглянуть на задачу интеграции данных. Мы больше не можем полагаться на идею физической консолидации всех данных в едином монолитном репозитории, хранилище или озере данных. Нужен кардинально иной подход, позволяющий бизнесу практически моментально получать необходимую информацию из всей этой лавины данных. Бизнесу неважно, откуда берутся данные для отчетов и информационных панелей. Главное, чтобы информация была надежной и оперативной.

Традиционные инструменты интеграции не справляются с этой задачей, поскольку предоставляют данные в пакетном режиме по расписанию и не поддерживают современные сложные типы и форматы данных.

Виртуализация данных — это передовой метод интеграции данных, который предоставляет всем приложениям общий источник данных, исключает возможность появления противоречивых результатов, отвечает современным требованиям и формирует основу для решений будущего.

— Где виртуализация данных наиболее эффективна?

Виртуализация данных позволяет эффективно решать большинство задач, возникающих в области управления данными, — от интеграции данных и построения логических хранилищ до таких сложных проектов, как управление мастер-данными в реальном времени.

Многие организации используют нашу платформу как основу для реализации централизованной ролевой модели доступа к данным с применением динамического маскирования.

Задачи построения платформ сервисов данных или магазинов данных так же быстро и эффективно решаются при использовании концепции виртуализации.

— В каких случаях очевидны преимущества виртуализации данных перед традиционными ETL-решениями? Используются ли сочетания этих технологий с учетом уже сложившейся технологической предыстории?

Инструменты ETL возникли как часть концепции хранилищ данных в конце прошлого века. Уже в тот момент было понятно, что подход физического перемещения данных в единый реляционный репозиторий имеет свои преимущества и недостатки. Копируя данные в централизованное монолитное хранилище, мы решали задачу абстрагирования источников данных от их потребителей и разгружали операционные приложения, ограничивая чтение данных только в строго определенные временные интервалы, зачастую по ночам. При этом мы сознательно отказывались от анализа данных в реальном времени и шли на то, чтобы данные копировались несколько раз внутри хранилища.

В тех же случаях, когда необходимо интегрировать данные для принятия решений в реальном времени, подход виртуализации данных становится единственно возможным. Однако это не означает, что в новых ландшафтах нет места для инструментов ETL, ELT и репликации данных.

Зачастую наши заказчики предпочитают модернизировать существующее традиционное хранилище путем замены слоя физических витрин данных на виртуальные. Данный подход позволяет сочетать преимущества ETL и виртуализации, кардинально ускоряя процесс создания новых отчетов для бизнеса.

— Насколько важна виртуализация данных в облачных средах, а также при использовании территориально, административно и технологически разделенных источников информации?

В последнее время мы все чаще сталкиваемся с географически распределенными ландшафтами данных. Гибридные среды, где большинство источников данных остается в организациях, а какая-то их часть перемещается в облако, сменяются более сложными многооблачными архитектурами, в которых задействовано несколько облачных провайдеров.

Применение виртуализации данных в этих архитектурах является, вероятно, единственным решением, которое способно обеспечить своевременную интеграцию.

В нашем портфеле имеются интересные примеры построения целых виртуальных паутин, связывающих наборы данных, географически распределенные по всему миру, в единое унифицированное представление.

— Существует мнение о необходимости революционных сдвигов в сознании ИТ-персонала, работающего с данными, для их виртуализации. Каковы требования к компетенциям таких специалистов в составе команд цифровой трансформации?

Думаю, что тема революционных сдвигов несколько преувеличена. Тем не менее людям, которые, скажем, четверть века работали с реляционными СУБД, бывает сложно осознать, для чего вообще нужны среды хранения данных, в которых используются другие принципы. Не сразу происходит и принятие концепции виртуализации данных, если человек всю жизнь создавал ETL-процессы для наполнения хранилища.

Революционный сдвиг необходим в отношении к данным и управлении ими. Мы должны перестать думать о данных в терминах серверов, хранилищ, петабайтов и т. п.

Данные должны стать продуктом, который ИТ-организация предоставляет другим подразделениям, качественным и своевременным продуктом, необходимым бизнесу для цифровой трансформации.

— Что дает конечным пользователям работа с виртуализированными данными?

Бизнес-пользователи получают в одном месте всю необходимую информацию в виде сервиса или продукта. Для них значительно ускоряются организационные и технологические процессы поиска и предоставления данных, отпадает необходимость в их подготовке и очистке. Заметно сокращается время создания новых отчетов и аналитических представлений.

В одной из крупнейших биотехнологических компаний, к примеру, с помощью виртуализации данных ежедневно интегрируют сведения о продажах, поступающие от почти сотни дистрибьюторов из разных государств. Теперь отчеты о продажах формируются за пару десятков минут, а не за несколько часов, как раньше, когда они создавались вручную. Кроме того, данные стали более точными и содержат меньше ошибок, устранение которых на последующих этапах обработки обходится весьма недешево.

— Может ли виртуализация данных снижать затраты при выполнении проектов цифровой трансформации?

Безусловно. Так, в одной из ведущих финансовых компаний на основе виртуализации данных создан отдельный уровень сервисов данных для всех внутренних команд разработчиков. Экономия достигнута за счет сокращения трудозатрат на тысячи часов. Программным инженерам уже не нужно тратить время на поиск данных и получение доступа к ним: специальные сервисы предоставляют разработчикам необходимые данные. В результате годовая экономия оценивается в несколько сотен тысяч долларов.

Виртуализация данных позволяет сформировать уровень абстракции, который скрывает от пользователей форматы данных, их местонахождение, протоколы доступа и особенности хранения. Такой подход значительно упрощает внедрение новых технологий. Платформа Denodo обеспечивает доступ к первичным данным в режиме реального времени, без копирования и репликации. За счет этого интеграция и предоставление данных происходят почти в два раза быстрее, чем при использовании других решений, и требуют меньших трудозатрат.

Александр Прохоров, директор по продажам Denodo в России:

Александр Прохоров: «Развитие канала и сертификация партнеров — важнейшие первоочередные задачи Denodo в России»

Коммерческая эффективность внедрения виртуализации данных и сроки окупаемости зависят от используемых решений и конкретных проектов. Для оценки таких параметров применяются различные методики. Один из возможных вариантов — сравнение затрат на создание единого хранилища, куда должны перемещаться данные из разрозненных источников, со стоимостью внедрения решения виртуализации. Можно оценить экономию при оптимизации уже имеющихся аппаратных хранилищ, когда часть их данных может быть перемещена в более дешевые хранилища. Можно также оценить увеличение скорости создания витрин данных на основе платформы виртуализации по сравнению с традиционными методами. В каждом проекте подход индивидуален.

— Насколько российские организации готовы к внедрению виртуализации данных?

В результате общения с российскими заказчиками, обсуждения с ними текущих проблем мы видим, что многие понимают преимущества и выгоды виртуализации данных и готовы развернуть пилотные проекты, чтобы убедиться в работоспособности решения. Однако разные заказчики находятся на различных этапах построения информационных систем, включая хранилища данных. Если одни уже вплотную столкнулись с проблемой объединения данных из разных хранилищ и источников, то другие только подходят к таким проблемам или имеют лишь одно хранилище.

— Что и для каких отраслей вы намерены продвигать в первую очередь в нашей стране?

В первую очередь мы намерены продвигать нашу платформу виртуализации данных Denodo Platform. Она уже используется заказчиками из различных отраслей в разных странах мира. В России финансовый сектор традиционно выступает лидером применения новейших решений. Слияния и поглощения в этой области открывают возможности для внедрения виртуализации данных, маскирования данных и для других решений. Не менее перспективными для виртуализации данных являются информационные системы телекоммуникационных операторов. Интеграция нашей платформы с решениями SAP, которые широко используются в нефтегазовой отрасли, формирует фундамент для работы с отечественными компаниями этой отрасли.

Мы традиционно делаем ставку на своих партнеров, через которых идут все продажи и осуществляется первая линия поддержки заказчиков. Развитие канала и сертификация партнеров — важнейшие первоочередные задачи Denodo в России.