«Управление данными — 2021»: куда движутся платформы

Форум «Управление данными — 2021», организованный издательством «Открытые системы», помимо традиционно сильной бизнес-части, своей программой охватил основных игроков этого рынка. Многие выступления вызвали заметный интерес слушателей. И одной из ключевых тем, затронутой практически всеми экспертами, были изменения в потребностях заказчиков и, как следствие, модернизация предлагаемых решений. (См. также статью «'Управление данными — 2021': больше практики!», CIO.RU, 4 октября 2021).

«Мы находимся лишь в начале информационной революции. Еще шесть лет назад термин big data воспринимался чуть ли не как ругательство. Три года назад он был хайпом. Сегодня эти технологии начинают массово использоваться, принося пользу», — считает Роман Гоц, директор департамента больших данных и безопасности компании Atos. По оценкам Gartner, сейчас лишь 5% данных анализируются и имеют шанс превратиться в бизнес-идеи. В ближайшие годы эта ситуация существенно изменится. При этом наблюдается явное движение в сторону распределенной архитектуры: к 2025 году 90% данных будут обрабатываться вне ЦОДов — все усилия по централизации инфраструктуры окажутся потраченными зря.

Роман Гоц: «Компаниям важно не просто видеть, что происходит, а мгновенно реагировать на возникающие изменения»

Компаниям важно не просто видеть, что происходит, а мгновенно реагировать на возникающие изменения — именно поэтому растет популярность граничных вычислений (edge computing). Например, переход от видеонаблюдения к персонализованной видеоаналитике обеспечивает рост технологии граничных вычислений на 32% ежегодно.

Сегодня данные стали критически важны. Однако управление ими создает для компаний большие трудности: цифровая трансформация невозможна без надежной архитектуры работы с данными.

Рельсы для данных

«Мы живем в эпоху, когда меняется подход к управлению данными», — отметил Алексей Сидоров, директор по управлению данными Denodo. Он выделил явные тенденции к децентрализации корпоративных архитектур. Раньше часто приходилось слышать о «гравитации данных»: большие объемы данных «притягивали» к себе мелкие. В результате доминировал подход с созданием централизованных хранилищ и озер данных, подразумевавший физическое перемещение данных. Сейчас все мощнее работает «антигравитация», вызванная появлением гибридных архитектур. Она заставляет данные «разбегаться» из единого центра — например, по географическим и технологическим признакам, а также по принадлежности разным владельцам данных. Технология виртуализации данных, продвигаемая Denodo, призвана справиться с этой проблемой.

Роман Шемпель: «Никакие алгоритмы искусственного интеллекта не преодолеют недостатки в архитектуре данных. Если не подготовить рельсы, ваш паровоз никуда не поедет»

«Никакие алгоритмы искусственного интеллекта не преодолеют недостатки в архитектуре данных. Если не подготовить рельсы, ваш паровоз никуда не поедет», — уверен Роман Шемпель, эксперт по управлению данными IBM Russia. Выстраивание работы с данными в организации — это процесс, на разных стадиях которого решается множество задач, от методологии до формирования культуры работы с данными. В своем выступлении Шемпель уделил основное внимание выбору инструментария, включающего в себя элементы методологии DataOps, позволяющей ускорить процессы подготовки данных.

Как напомнил Михаил Александров, технический директор по продукту Polymatica ML, все компании когда-то начинали с хранилищ данных и перед ними стояла задача автоматизировать управленческую и регламентную отчетность. Тогда основной проблемой с точки зрения управления данными была их интеграция. Позже появилась задача управления качеством данных — с ростом числа источников делать это вручную стало невозможно. Затем, с развитием средств самообслуживания, стало актуально управление метаданными — создание каталогов и карт потоков данных. Сейчас все больше распространяются модели машинного обучения, которые обладают иными особенностями по сравнению с традиционными бизнес-приложениями: они расширяют требования к качеству и каталогу данных, а также обладают специфическими потребностями в подготовке данных для моделирования.

Руслан Трачук: справиться с "заболачиванием" озер данных помогает система управления метаданными

Руслан Трачук, технический директор компании «Юнидата», рассказал о системе очистки озера данных. По его словам, комплексного решения известной проблемы «заболачивания» озер данных пока нет. Помогает в этом система управления метаданными — своеобразное «озеро под озером» данных.

Представители компания Ataccama провели мастер-класс по внедрению Data Governance

Компания Ataccama провела мастер-класс по внедрению Data Governance. Кирилл Евдокимов и Алексей Ильин на практических примерах разобрали варианты использования каталога данных, способы получения ценности профилирования данных и подходы к оценке бизнес-кейсов по управлению данными.

Путь к дата-центричности

«Важно 'оживлять' данные, визуализируя их и наполняя смыслом», — подчеркнул Сергей Шестаков, генеральный директор Luxms. В крупных проектах задача аналитики больших данных, поступающих из множества внешних и внутренних источников, усложняется из-за необходимости визуализировать их в реальном времени для тысяч одновременно работающих пользователей. В результате многие масштабные системы страдают от резкого снижения быстродействия. Одним из выходов может стать многоуровневая оптимизация: во-первых, оптимизация ETL-алгоритмов и создание «горячего» слоя хранения; во-вторых, оптимизация исполнения бизнес-логики за счет дата-центрической архитектуры сервера визуализации. Шестаков рассказал о возможностях аналитической платформы для быстрой работы с большими данными, представив дата-центрическую архитектуру в качестве основы высокой производительности платформы.

В рамках дата-центрической архитектуры данные принимаются за основной актив, а бизнес-приложения выстраиваются вокруг них. Сергей Горшков, директор компании «ТриниДата», представил подход, позволяющий перейти от традиционной модели, в основе которой лежат приложения, к дата-центрической парадигме.

Большинству компаний приходится выбирать между эволюционным и революционным путями развития платформ. Эволюционный путь длиннее, но менее рискованный и позволяет извлекать пользу из данных даже в процессе трансформации. Александр Скоробогатов, архитектор решений Vertica компании Micro Focus, рассказал об унифицированном хранилище данных, сочетающем сильные стороны традиционных хранилищ и современные подходы к анализу данных.

Максим Шляпнев, директор по развитию BI-направления компании Navicon, описал построение системы Management Information System, позволяющей создать единую модель данных, частью которой являются все бизнес-методики и управленческие решения. Именно такой подход позволяет сделать данные стратегическим активом компании.

Сергей Самоукин: «Наша миссия — построить МФЦ в сфере ИТ, обеспечив получение различных услуг в одном месте»

«Наша миссия — построить МФЦ в сфере ИТ, обеспечив получение различных услуг в одном месте», — заявил Сергей Самоукин, директор по работе с корпоративными клиентами Mail.ru Cloud Solutions. Бизнес традиционно не интересуют технические вопросы, ему важна работоспособность бизнес-систем и доступность данных для принятия решений, причем все проблемы желательно решать через единое окно. Именно поэтому растет популярность облачных аналитических платформ.

Интересно и то, что на рынке платформ управления данными тоже работают общерыночные тенденции, связанные с формированием экосистем. Сергей Золотарев, генеральный директор Arenadata, рассказал о пути от собственного дистрибутива Hadoop к высокотехнологическому сообществу. «Мы стали рассматривать себя не как производителя, а как часть экосистемы, в которой предстоит жить», — сообщил он. В современном мире невозможно решать все проблемы в одиночку, и те компании, которые не понимают этого, очень быстро теряют свои позиции.

MDM становится основой цифровизации

На конференции целый блок был посвящен проблемам управления нормативно-справочной информацией (НСИ). По мнению Андрея Андриченко, советника генерального директора SDI Solution, системы класса Master Data Management (MDM) фактически выступают в качестве фундамента для цифровой трансформации бизнеса и госуправления. Без них многие цифровые инициативы просто не имеют смысла. Вместе с тем прямая польза от внедрения MDM тоже вполне осязаема. Часто в результате таких проектов выявляется около 30% неактуальных информационных объектов. Трудозатраты на ведение консолидированной отчетности сокращаются на 50%, а расходы на централизованные закупки — почти на 20%.

Андрей Андриченко: «Системы класса Master Data Management фактически выступают в качестве фундамента для трансформации бизнеса и госуправления. Без них многие цифровые инициативы просто не имеют смысла»

«Теперь мы можем делать ранее недоступные вещи. Не говоря уже о четком и правильном расчете себестоимости и оптимизации закупок, появилась возможность управлять межзаводской кооперацией и остатками на складах», — так Яна Соколова, заместитель руководителя департамента PLM и САПР «Объединенной двигателестроительной корпорации», охарактеризовала результаты почти десятилетнего опыта внедрения системы MDM. К решению на базе Semantic MDM подключено 12 заводов, входящих в ОДК, ее данные используют 26 систем. В результате проекта удалось полностью сменить инженерную парадигму: сейчас НСИ принадлежит всем сотрудникам, а не только конструкторам, технологам и отдельным бухгалтерам. Для этого потребовалось выстроить систему, одинаково удовлетворяющую потребности всех категорий пользователей.

Как считает Ольга Позднякова, директор по страховым проектам HFLabs, активно растущие компании непременно сталкиваются с проблемой достоверности данных о своих клиентах. В большой организации слишком много разнообразных источников данных, систем и сложных бизнес-процессов, и это часто приводит к ошибкам, дублированию и устареванию сведений о клиентах. В своем выступлении она ознакомила слушателей с опытом компании «Сбербанк страхование жизни» по созданию единой точки хранения клиентской информации, гарантирующей актуальность данных и отсутствие дублирования.

***

Управление предприятием на основе достоверных данных, а не субъективных мнений и эмоций — цель многих компаний. Они целенаправленно движутся к ней на протяжении уже довольно долгого времени и тратят на это внушительные средства. Практика показывает, что наведение порядка в работе с данными важнее инвестиций в любые технологии, о которых, впрочем, также нельзя забывать.