В работе форума «Управление данными — 2021», проведенного в сентябре издательством «Открытые системы», приняла участие компания Ataccama, разработчик ПО и комплексных решений управления корпоративными данными, которые формируют фундамент принятия эффективных управленческих решений. В компании предлагают унифицированную платформу Ataccama ONE для автоматизированного контроля качества данных, управления мастер-данными и руководства данными (Data Governance).

Компания, созданная в Чехии в 2007 году, в настоящее время имеет представительства в ряде стран, включая Канаду, США, Великобританию, Германию, Россию. Алексей Ильин, генеральный директор российского офиса Ataccama, рассказал о стратегии и технологиях компании, о ее работе в нашей стране.

- Каковы предпосылки появления компании Ataccama?

Ataccama начинала как вендор, специализирующийся на решении задачи качества данных, первоначально — клиентских данных. Наша головная компания Adastra предоставляет консалтинговые услуги и внедряет ИТ-решения на рынке Центральной Европы — в Чехии, Словакии, Германии. Здесь всех вполне устраивали традиционные системы и решения для бизнес-аналитики, включая BI, хранилища данных и другие. Но когда дело доходило до качества данных, было очень трудно использовать продукты ведущих международных производителей, которые первоначально разрабатывались для англоязычных данных. В Чехии и Словакии ничего не получалось, не хватало гибкости для их внедрения. Начались собственные разработки, и в 2007-м появилась Ataccama.

- Ataccama — небольшая по меркам глобального ИТ-рынка компания, которая, по мнению аналитиков, добилась значительных успехов в сегментах Data Quality, Master Data Management, Data Governance и конкурирует здесь с IBM, Informatica, Oracle, SAS. Как вам удалось достичь таких результатов?

Прежде всего — за счет технологий. «Монстры» вышли на рынок управления данных лет шесть-семь назад, в основном купив компании-стартапы. Чтобы соперничать с организациями с огромными маркетинговыми бюджетами и очень сильными продавцами, надо быть на голову выше технологически.

- В чем же основные отличия ваших подходов?

В первую очередь — в гибкости, в возможности адаптировать наши решения к самым различным ИТ-ландшафтам. Затем — в ориентации на горизонтальную масштабируемость и использование продуктов Ataccama в любых гибридных средах. Очень хороший пример — проект в «Яндекс.Маркете», представленный на этом форуме. Там мы смогли развернуться в облачной среде, которая существенно отличается от популярных облаков Amazon и Microsoft, сделали это с минимальными доработками на своей стороне, предоставили разработчикам «Яндекса» консультанта, поделились с ними «кусочками» исходных кодов. В основном они сами занимались адаптацией решения и интеграцией.

Крупные вендоры продают лицензии, проводят определенное обучение, а дальше — или сами, или с системным интегратором. Мы же вместе с лицензией всегда стараемся предоставить «играющего тренера». Это наиболее удобная для заказчиков модель, которая помогает повысить компетенции их специалистов, работающих в совместной команде. Систему управления качеством данных невозможно внедрять только силами «со стороны», ее нужно непрерывно поддерживать и развивать, привлекая собственных сотрудников. Ataccama всегда формирует такую команду и сначала развертывает небольшой тестовый проект. У нас много специалистов из различных отраслей с опытом успешных внедрений.

- Когда в компании перешли к облакам и насколько востребованы облачные версии платформы Ataccama ONE?

Я бы отметил два этапа облачного развития продуктов Ataccama. Сначала появилась их модификации для развертывания в публичных облаках Amazon и Microsoft. Тогда выполнялись проекты для тех заказчиков, которые использовали такие публичные облака. По сути дела, не было большой разницы между облачными решениями и инсталляциями on-premise на площадках заказчиков.

На втором этапе стали модернизировать «движок», чтобы адаптировать его к облачным платформам. Использовали контейнеры и такие инструменты, как Kubernetes, для управления контейнерными рабочими нагрузками и сервисами.

Текущая версия Ataccama ONE позволяет одинаково эффективно использовать платформу как в облаке, так и on-premise. В настоящее время на Западе в основном идут облачные продажи, там этого требует рынок, здесь — по-прежнему on-premise. Переход к облакам — вопрос времени и готовности рынка воспринимать облачные технологии.

В Москве есть центр компетенции компании, который работает над европейскими проектами. Здесь облачные реализации начались в 2017–2018 годах, в первую очередь для управления мастер-данными.

- Что наиболее важно в новейшей генерации Ataccama ONE?

На наш взгляд, в Ataccama ONE Gen2 полностью переосмыслена работа всех инструментов с точки зрения пользовательского опыта — удобства и массовости применения. Еще два-три года назад средства работы с корпоративными данными рассматривались как инструментарий ИТ-разработчиков. Однако, чтобы сделать проекты управления данными успешными, нужно со всеми этими сложными вещами дойти до бизнеса. Нужны инструменты, которыми могут пользоваться множество людей для поиска требующихся данных. Необходимо, чтобы качество данных стало прозрачным для всех.

Одна из главных идей такого реинжиниринга — объединить каталог данных с инструментом качества данных, создать своеобразную «википедию» с системой поиска, которая могла бы подсказать, где находятся нужные данные и какие проверки их качества существуют, а также предоставить возможность добавлять пользовательские проверки. Теперь, к примеру, если в компанию приходит новый аналитик, ему не нужно искать давно работающего в ней человека, который все знает про данные: где, что и как.

Выпуск Gen2 состоялся в марте. До этого новую платформу предоставили десятку опытных пользователей-первопроходцев в различных странах мира, генерирующих собственные идеи, учли их отзывы и предложения. Уже есть заказчики, использующие Gen2 в промышленном контуре. В нашей стране видим огромный интерес и первые успешные пилотные проекты.

- В начале года Ataccama приобрела стартап Tellstory. Что дает интеграция новой технологии в вашу платформу?

Это небольшая словацкая компания, где появилась идея создать социальную сеть для обсуждения данных. Такая функциональность встраивается в наш каталог данных. Если, к примеру, будут замечены какие-либо аномалии в данных, то появляется возможность совместно их анализировать, дискутировать о том, что в них необычного. В продукте Tellstory есть также инструменты визуализации данных. Мы их дополним и упростим конечным пользователям навигацию по каталогу Ataccama, создание отчетов. Такие инструменты помогут в проектах обеспечения качества данных. Новые релизы нашего ПО выходят каждые шесть-восемь недель. Tellstory, как ожидается, появится к концу года. С нетерпением ждем этого.

- Вы отметили интерес в России к обновленной платформе Ataccama ONE. Как вы оцениваете положение Ataccama в нашей стране и состояние российского рынка управления данными?

Ataccama в России — с 2012 года, где первоначально сотрудничала с международными банками, с которыми уже работала в других странах. Сейчас у нас здесь около 40 консультантов-внедренцев. Кажется, что это не очень много, но в России ни в одной компании нет такого числа специалистов в области практики Data Governance. Специфика российского рынка управления данными такова, что наши клиенты - это крупные организации: ведущие банки, розничные сети, телеком-операторы. У небольших компаний подобные решения пока не в фокусе. С самого начала Ataccama успешно решала в России задачи управления качеством клиентских данных, а у известных вендоров это отнюдь не всегда получалось. Сейчас в данной области у нас нет международных конкурентов, но есть локальные. Однако они, как правило, фокусируются только на узкой области клиентских данных, мы же предлагаем решения качества для произвольных данных

Что касается рынка в целом, то он активно развивается. Принимать управленченские решения только на основе опыта и интуиции становится все сложнее. Нужно ориентироваться на данные. Пандемия разрушила многие привычные коммуникации между людьми, для работы им требуется все больше данных. Характерно, что в течение последнего года увеличение зарплат специалистов по управлению данными существенно превысило среднерыночные показатели.

Кроме того, заметен рост культуры работы с данными. К финансовым организациям, телекому и ретейлу теперь присоединяются производственные компании. С промышленными предприятиями еще недавно было бессмысленно говорить о качестве данных, а сейчас они заинтересованы в цифровой трансформации и управлении на основе данных. Например, недавно нашим клиентом стала крупная металлургическая компания, где заинтересованы во внедрении каталога данных и решения по управлению качеством данных.

- Что можно сказать о дальнейших планах Ataccama в нашей стране?

Будем сохранять и наращивать темпы органического роста, которые с самого начала составляют здесь от 30 до 60% в год. Наш потенциальный рынок в России — сотня крупных компаний.

Видим хорошие возможности в сегменте управления данными о товарах, готовой продукции, материалах, где наметился существенный разрыв между доступными отечественными продуктами с ограниченной, к сожалению, функциональностью и безумно дорогими предложениями грандов. Планируем вывести на российский рынок решения нашего партнера — немецкой компании Viamedici, специализирующейся на ПО управления продуктами и маркетингом продуктов, применение которого способно изменить сложившуюся ситуацию.

Для нас очень важно развивать партнерские связи. Мы работаем с такими компаниями, как IBS, T1 (ранее «Техносерв») и рядом других, и рассчитываем на сотрудничество с новыми организациями. На форуме «Управление данными — 2021» было несколько встреч, очень перспективных в этом направлении.

В информационную эпоху и государство, и бизнес должны уметь быстро собирать актуальную информацию о своих гражданах и клиентах, оперативно предлагая им актуальные персональные сервисы. Однако, несмотря на декларации о том, что данные превратились в ключевой драйвер цифрового развития бизнеса, существующие аппаратно-программные инфраструктуры построены на унаследованной централизованной архитектуре, часто неспособной в реальном времени решить главную задачу бизнеса — стать клиентоцентричным. Участники форума BIG DATA 2021 имели возможность из первых рук получить информацию о современных архитектурах и решениях обработки больших данных.

Алексей Сидоров, директор по управлению данными компании Denodo в странах Европы, Ближнего Востока и Африки (регион EMEA), рассказал о проекте по управлению мастер-данными министерства социального страхования неназванной страны. За два месяца на основе архитектуры Virtual Data Fabric была развернута крупномасштабная система мониторинга сведений о гражданах страны, позволяющая в реальном времени получать актуальную консолидированную информацию из всех министерств. Данные не перемещаются и хранятся в исходном виде в точках их генерации. Это существенно сокращает время на их очистку, консолидацию и визуализацию для предоставления по запросу с целью формирования «на лету» полного актуального портрета гражданина, построенного по его цифровым следам. Такая возможность позволяет исключить ошибки, дублирование или потерю сведений при назначении социальных страховок и различных выплат, а также при оценке покупательной способности граждан и реализации других функций институтов государственной власти.

Алексей Коваленя из компании Atos в своем выступлении «Эволюция инфраструктуры для работы с большими данными» рассказал о различных подходах к построению инфраструктуры поддержки обработки больших данных, включающую оборудование, сетевое и системное ПО. Сегодня компания предлагает не только высокопроизводительные серверы, но и, в альянсе с Cloudera, решения Atos Datalake Appliance по управлению данными на основе адаптированных для конкретного заказчика распределенных аппаратно-программных систем. Такие решения включают серверы, сеть, ПО, прикладные сервисы. Среди отмеченных докладчиком преимуществ представленных продуктов — сертификация от Cloudera, единое окно для управления инфраструктурой, готовая к использованию и протестированная конфигурация с гарантированным уровнем производительности. Наличие одного поставщика, отвечающего за решение, позволяет безболезненно выполнять масштабирование, сокращать время на ввод системы в эксплуатацию и использовать различные формы оплаты: аренду, рассрочку или Datalake-as-a-Service.

Тему эффективности инфраструктуры продолжил на форуме Александр Кузьмин, главный консультант по технологиям Pure Storage, рассказавший об организации систем хранения для решения задач аналитики реального времени. Доля таких задач к 2025 году составит уже более 30% от общего объема аналитических приложений, и, как следствие, по мнению Кузьмина, сократится потребность в статичных озерах данных. От современных систем хранения требуется поддержка быстрых изменений и быстрого накопления разнородных данных, однако традиционные системы оптимизированы для пакетной обработки, а не для режима реального времени. Для раскрытия потенциала больших объемов консолидированных данных компания предлагает, в частности, платформу хранения Pure Storage Flashblade, обеспечивающую линейное масштабирование, развертывание конфигурации за минуты, упрощенное управление и обеспечение гарантированного времени отклика как при последовательном доступе к большим файлам, так и при произвольном доступе к множеству потоков небольших файлов. Кроме того, в систему изначально заложена поддержка протокола s3 объектного хранения, позволяющего просто и надежно хранить объемные объекты — почти так же, как с помощью файловой системы, но без разбиения их на папки.

Проблему обеспечения надежной и безопасной работы с интернет-ресурсами поднял Александр Брыль, инженер по разработке алгоритмов машинного обучения в компании DDOS Guard. Применение машинного обучения при анализе больших массивов данных позволяет с точностью до 85% обеспечить защиту от различных ботов: ботнетов для DDoS-атак, шпионов для сбора данных, зомби-ботов для поиска уязвимостей, ботов — скупщиков билетов, ботов, выполняющих скликивание (мошенническое нажатие кнопок на сайте), и пр. Конфигурационный и поведенческий анализ посетителей сайта позволяет выявить и идентифицировать бота, отделив его от реального человека, просматривающего сайт. Предлагаемые методы позволяют на 80% сжать трафик за счет унификации запросов, защититься от перегрузок сервера, отфильтровать спам, предотвратить взлом аккаунтов и кражи данных банковских карт.

Как показал форум, многие российские предприятия уже получают эффект от цифровой трансформации. Например, по словам Александра Мотузова, начальника управления методологии и разработки математических моделей НЛМК, в 2020 году предприятие сэкономило 1 млрд руб. благодаря, в частности, собственной DSMLp-платформе анализа данных и моделирования, ставшей очередным шагом к умному производству. Платформа представляет собой инструмент, позволяющий специалистам по данным передавать знания, полученные из данных, инженерам, создающим производственные системы, но не в виде модели для каждого конкретного применения, а в виде конвейера создания и постоянного обучения модели на новых данных. При этом у системы нет «черных ящиков», а эксплуатация моделей не прекращается при уходе подрядчика, сотрудника или разработчика готового решения с моделью. Такую платформу, по мнению Мотузова, нельзя купить: процессы для каждого предприятия уникальны и генерируют уникальные данные; модели машинного обучения строятся на собственных данных; технологические процессы и сырье для металлургического производства постоянно меняются, что требует смены методов обучения; интерпретация моделей машинного обучения позволяет открывать новые физические свойства процессов и получать новые знания.

Тему работы с моделями продолжил Станислав Ляховецкий, директор по управлению портфелем проектов банка ВТБ, сосредоточивший свое выступление на вопросах управления модельным риском — риском потерь в результате ошибочных решений, основанных на результатах работы моделей. Ясно, что игнорирование таких рисков может дорого обойтись как компании, так и государству и его гражданам — например, в результате неверно поставленного медицинского диагноза, основанного на рекомендациях искусственной нейронной сети. Сегодня нет качественного решения корпоративного уровня по оценке модельных рисков: большинство зарубежных систем (AWS, MLflow SAS, Seldon и др.) предназначены лишь для ускорения разработки модели, а не для налаживания конвейера от бизнес-идеи, подготовки данных, валидации и до мониторинга работы модели с учетом всех онтологий. В России, по мнению Ляховецкого, подобные решения имеются у компании Loginom, хотя потребность в таких инструментах давно назрела, в частности, для того, чтобы бизнес сам без программирования строил и проверял модели.

Данные и люди

Специальный тематический блок был посвящен вопросам подготовки кадров и организации образовательного процесса на основе анализа больших данных. Андрей Комиссаров, директор направления «Развитие человека на основе данных» Университета 20.35, рассказал о цифровизации в области управления кадрами, которая значительно обогатилась инструментами искусственного интеллекта, позволяющими строить модель данных о человеке в развитии. Поиск персонала, анализ предпочтений человека и другие задачи решают сегодня в Университете 20.35 путем анализа множества данных (вакансии, резюме, конференции, различные опросы и пр.). Комиссаров рассказал об опыте автоматизированного построения моделей компетенций и профстандартов по заказу Министерства труда РФ, о комплексном анализе уровня корпоративной культуры и диагностике soft skills с помощью оценки неструктурированных данных, об инструментарии подбора проектных команд для решения разных типов задач на основе онтологий профессиональных областей, построенных с помощью системы PolyAnalyst российской компании «Мегапьютер Интеллидженс».

Так, на основе модели о человеке в развитии можно предсказать, сможет ли он дорасти для работы на конкретной вакансии, — иначе говоря, найти еще не сформировавшегося (а значит, дорогого), но потенциально перспективного сотрудника. Другой пример — построение профиля цифровой компетенции для создания карты востребованности конкретных навыков специалистов в различных регионах России. Такая карта позволит, например, убедиться в том, что учебные заведения выпускают нужных рынку специалистов, а студенты с ее помощью смогут наметить наиболее перспективную траекторию своего развития, чтобы больше зарабатывать. На основе анализа и интерпретации цифрового следа сотрудников можно также оценить их вовлеченность в работу, роль в команде, степень участия в общей системе взаимоотношений, а также общую культуру команды. Подобные сервисы сегодня востребованы инвесторами стартапов, чиновниками, стремящимися быть в тренде, HR-подразделениями предприятий и пр.

Тему оценки эффективности работы сотрудника на основе анализа его цифрового следа продолжил Иван Исаев, директор направления анализа данных в МТС, уверенный в том, что полученные сведения могут быть использованы для повышения эффективности управления кадрами. Анализ позволит строить прогноз «выгорания» сотрудника, обеспечивать сокращение трудоемкости операций, переводить работников на удаленную работу или частичную занятость вне пиковых периодов, формировать эффективные кросс-функциональные команды и пр. Применяя комплексную методологию BCG BioTag, телеком-операторы сегодня анализируют статистику коммуникационных потоков между специалистами и степень использования рабочего времени, а также задействуют информацию еще из пяти различных баз данных и из пула неструктурированных данных (тексты, записи звонков и пр.). Это позволяет построить карту «спроса-предложения». Система учета и анализа цифрового следа дает возможность выполнять мониторинг эффективности труда подразделения и сотрудников; прозрачно ранжировать сотрудников по производительности труда и утилизации их рабочего времени, анализировать их загруженность. Система позволяет операторам на 20% сократить время на выполнение 100 элементов бизнес-операций, снизить отток сотрудников и получить общий прирост эффективности подразделений от 5% до 15%. Кроме того, анализ цифрового следа дает возможностьоптимизировать бизнес-процессы: идентифицировать самые автоматизируемые процессы; оценить затраты времени на процесс и текущий уровень его автоматизации; расставить приоритеты в автоматизации или оптимизации процессов.

***

Форумы Big Data проводятся с 2012 года, и доклады, представленные на нем в разное время, акцентировались на технологиях, что отражало существовавшие до недавнего момента тенденции и оставляло за кадром контент — главное предназначение ИТ. И только BIG DATA 2021 показал: оборудование, ПО и технологии не являются главным активом цифровой экономики. Главное — это сами данные, для работы с которыми уже непригодны традиционные системы передачи, хранения и обработки с жесткой, заранее запрограммированной логикой. Современные инфраструктуры для работы с большими данными должны давать возможность и коммерческим компаниям, и государственным организациям отвечать на вопросы, о которых они еще не знают.

Data Governance, руководство данными, управление данными как активом – все эти словосочетания сейчас на слуху и постоянно используются в мире информационных технологий. Но несмотря на то, что Data Governance действительно находится на пике технологий и является одним из главных трендов современного информационного общества, мало кто понимает саму суть этого направления. Давайте же разберемся, что это такое и с чем его едят. Итак – просто об усложненном.

Роль ИТ постоянно растет

Современный мир насквозь пронизан информационными технологиями. Большинство людей, живущих в городах, постоянно используют мобильные смартфоны для решения практически любых повседневных задач: работа, финансы, развлечения, навигация... Сейчас ситуация развивается еще более стремительно: пандемия COVID-19 вовлекла еще больше людей в использование современных продуктов ИТ-индустрии. Обмен информацией в рамках карантина заставляет менять привычное поведение и приобщаться к новым инструментам, таким как видеоконференции, вебинары, облачный документооборот. Все то, чем до недавнего времени пользовалась весьма незначительная часть ИТ-сообщества, на некоторое время стало настоящим стандартом общения.

И если в большинстве случаев это временные меры (например, онлайн-образование для детей), то видеосвязь с родственниками из разных городов (а в эпоху коронавируса – даже из разных районов одного и того же города) может стать неотъемлемой частью повседневной жизни навсегда.

Однако для работников отрасли ИТ в эпоху карантинных мер мало что поменялось, ведь обмен информацией – это часть повседневных обязанностей. По сути, в какой-то мере работники этой профессии работали удаленно уже очень давно по сравнению с другими департаментами: всегда приходится писать заявки, согласования, создавать учетные записи, решать проблемы с программным обеспечением и оборудованием.

Информация во главе угла

Быстрый и эффективный обмен информацией среди работников – неотъемлемая часть любого производственного процесса. Непосредственно сами люди превращают информацию в данные, которые в дальнейшем сохраняются, преобразовываются и передаются. Например, всем нам знаком процесс покупок в интернет-магазинах: покупатель находит нужный ему товар, оплачивает заказ, оформляет доставку. При этом он «проходит» через целый парк информационных систем — от каталога товаров с ценами и справочной информацией до ввода адреса доставки, которой зачастую занимается подрядная логистическая компания, а интернет-магазин задействует системы обслуживания клиентов, контроля складских позиций, интеграции со службой доставки. И это только основные части, непосредственно связанные с продажей, а ведь есть еще производство, техническое обслуживание и многие другие функции.

Со всем информационными системами работают люди, которые постоянно обмениваются данными – информацией в определенной форме. Компания развивается, совершенствуются и средства хранения и обработки данных. При этом смена даже одного компонента затрагивает всю ИТ-структуру.

Что же касается данных, то о них в большинстве случаев думают в последнюю очередь, в итоге зачастую складывается ситуация, когда на новейшие информационные системы тратятся большие средства, а работники продолжают пользоваться в повседневной работе бумажными справочниками, действуя «по старинке» и «как привычно». И, как следствие, обновленный ИТ-парк в результате будет заполнен до краев данными, ценность и важность которых неясны, а поэтому их и удалять нельзя, и пользоваться ими невозможно. Вот и получаются эдакие «вечные почтовые ящики» с тысячами непрочитанных писем.

Вся проблема заключается в том, что люди генерируют огромное количество данных, особенно когда взаимодействуют друг с другом. И если в таких прикладных областях, как ведение нормативно-справочной информации, проблема решаема, так как данные структурированы, а процесс регламентирован, то в отношении других направлений такой подход либо не разработан, либо до единых стандартов ведения, например, профиля покупателя еще очень и очень далеко.

Нет безвыходных ситуаций

Огромный холдинг может состоять из нескольких предприятий, причем каждое из них имеет собственную отчетность, информационную структуру и потоки данных, общую картину которых очень слабо представляют даже люди внутри отдела. Это приводит к серьезным проблемам, когда дело доходит до изменения любого процесса, связанного с данными, например, внедрение нового оборудования — от терминалов оплаты до частных облачных серверов.

Еще одним ярким примером является отслеживание расчета показателей в финансовых отчетах, которые предоставляют различные отделы. При том, что форма отчетности является единой, в каждом отделе расчет показателей ведется по-разному, а данные хранятся так, как удобно самому отделу. В такой ситуации важно четкое понимание построения отчетов до приведения рабочих процессов разных отделов к единому стандарту.

Тут напрашивается разумный подход – поставить отвечать за данные ИТ-сотрудника, который будет наблюдать всю картину в целом: что где хранится и как используется. Но кого выбрать на эту роль? Вроде бы директор ИТ-департамента подходит, но он постоянно занят и не может тратить на данные слишком много времени. В итоге все так и остается на своих местах, а проблемы все накапливаются. Что же делать?

Главный тренд в ИТ

Именно для решения подобных проблем в мире сложилась практика руководства данными (Data Governance), которая дает возможность внутри компании выстраивать стратегии в области управлении данными, опираясь на ее текущий уровень операций с ними. Data Governance выделяет конкретные роли, функции и инструменты именно для данных.

Использование практики и продуктов концепции руководства данными дает возможность четко планировать развитие ИТ-систем компании, исходя и ценности данных, которые, в свою очередь, проистекают из целей и задач всей компании. Инструменты концепции, в частности, словарь бизнес-терминов (Business Glossary), помогают выстроить понятную терминологию использования данных, которая будет создана непосредственно внутри компании, опираясь на уже имеющиеся структуры данных, которые находятся в разрозненных подразделениях и департаментах, а не на абстрактные модели идеальных концепций.

Таким образом, используя концепцию Data Governance, можно выстроить систему ведения единой модели данных и единых требований к предоставляемым данным из различных разрозненных систем для работы, а также обеспечения возможнстей дальнейшего развития этих систем, например при обеспечении качества данных и последующего предоставления данных для отчетов и бизнес-аналитики (Business intelligence).

Лучше всего здесь подходит такой пример из арсенала методик бережливого управления (Lean Management): опираясь на эти методики, можно практически отказаться от складских запасов на автомобильном производстве, если, анализируя сотни показателей с применением мощных инструментов анализа производственных процессов, четко понимать «скорость движения контейнера». С Data Governance аналогично: с помощью этой технологии можно увидеть всю картину движения данных целиком. Введение DG не повлияет на работу конкретных узких специалистов компании, но позволит ее руководству получить мощнейшие рычаги для стратегического управления.

Data Governance – это одна из самых современных, совершенных и востребованных технологий, объединяющих знания и практики из различных областей. Это новый этап эволюции управления компанией, без ее внедрения невозможно говорить об увеличении уровня зрелости предприятия, а, значит, и о его развитии и увеличении прибыли.

Заметим, что Data Governance не стоит путать с Data Provenance, но об этом – в другой раз.

«Движение целых отраслей к цифровизации вызвало взрывной рост интереса к решениям по эффективному управлению корпоративными данными, обеспечивающему их качество, полноту и актуальность — то, без чего невозможен успех цифровой трансформации», — отметил в своем выступлении на открытии форума «Данные — основа цифровой трансформации» Павeл Лихницкий, генеральный директор DIS Group. Уже сегодня компании собирают массу сведений о своих клиентах, однако часто не удается получить целостного представления о них, потому что данные раздроблены, распределены по разным подразделениям и представлены в разнообразных форматах. Решения класса Data Governance позволяют всегда работать с полной и актуальной информацией, поддерживая все процессы обработки данных в масштабе организации. Как показывает опыт DIS Group, именно это сегодня востребовано и новыми, и уже имеющимися клиентами компании, в числе которых — ВТБ, «ВымпелКом», банк «Уралсиб», Сбербанк, ассоциация аптек АСНА.

Стив Мерфи, вице-президент Informatica в странах Европы, Ближнего Востока и Африки, посвятил свое выступление особенностям так называемой третьей генерации данных, определяющей сегодня основу цифровой трансформации. В первой генерации данные использовались в специфических бизнес-приложениях, во второй – для поддержки корпоративных бизнес-процессов и, наконец, сегодня данные обусловили появление новых моделей бизнеса, бизнес-процессов и ролей, а также новых приложений и организационных структур компаний. Третья генерация сопровождается взрывным ростом объемов данных (15 зеттабайт в год), увеличением числа бизнеса-пользователей (более 300 млн по всему миру), появлением новых типов данных, получаемых от 20 млрд подключенных сегодня к сети устройств. При этом, по словам Мерфи, примерно 90% трафика идет из облаков, а обработка всего потока данных уже невозможна без машинного обучения. «Наше отличие – предоставление средств обработки всех корпоративных данных: «умный» каталог данных, высокоскоростная интеграция данных, управление качеством данных, анализ и минимизация рисков», — отметил Мерфи. Действительно, если в январе 2017 года решение для управления корпоративными данными Informatica Axon заинтересовало лишь четырех клиентов, то в декабре 2017-го уже для 277 компаний во всем мире стали важны такие функции Axon, как поиск и понимание активов данных, связь данных с бизнес-контекстом, контроль изменений.

О новых возможностях обработки данных и способах повышения эффективности интегральной работы с ними рассказал на форуме Джузеппе Мура, главный эксперт по Data Governance компании Informatica. Работа с разнообразными облаками — Microsoft Azure, Amazon Web Services и другими — осуществляется через новые инструменты, дающие возможность средствами машинного обучения анализировать множество структур данных и обогащать потоковые данные метриками «на лету». «Умная» платформа clAIre для работы с корпоративными данными позволяет формировать каталоги, проводить профилирование данных, распознавать их структуру, выполнять кластеризацию с подбором похожих данных, выдавать рекомендации в случае обнаружения аномалий и проч., чтобы в конечном счете через системы самообслуживания дать всем сотрудникам компании доступ к данным для проверки бизнес-идей. Поверх платформы размещаются такие продукты, как Big Data Management, Data Quality, Master Data Management, Data Security, Data Integration, а также решения для построения корпоративного озера данных, формирования портрета клиента, обеспечения безопасности.

«Для цифровой трансформации требуется соединить островки данных подразделений компании, каждое со своими отчетами, политиками, процессами — финансы, логистика, продажи, ИТ, юридическое сопровождение и так далее, обеспечив сквозное управление по ролям, функциям, знаниям и системам. Организации признали, что данные играют центральную роль в цифровой трансформации, а ключевым фактором успешной реализации корпоративной стратегии управления данными является наличие единого ответственного лица – Chief Data Officer», — отметил Мура.

Сегодня данные – это корпоративная функция, как и любая другая, будь то кадры, финансы, логистика, обратил внимание Александр Тарасов, управляющий партнер DIS Group: «На предприятиях за финансы отвечает финансовый директор, за кадры — директор по персоналу, за управления ИТ – CIO, а теперь пришла очередь CDO, отвечающего за корпоративные данные». По мнению Тарасова, директор по данным обязательно должен иметь свой бюджет на реализацию стратегических инициатив и подчиняться либо ИТ-директору, либо финансовому, либо входить в совет директоров. Ключевая задача CDO состоит в развитии инструментария демократизации данных – их свободного и гибкого использования всеми сотрудниками компании. Директор по данным – это лидер кроссфункциональных команд, корпоративный интегратор, драйвер повышения эффективности компании и ускорения принятия ключевых бизнес-решений в динамичной рыночной среде.

Максим Феопентов, начальник отдела разработки витрин данных Hadoop компании «Сбербанк-технологии», продемонстрировал, как средствами Informatica создавать витрины данных в Hadoop, стек которого состоит из двух десятков приложений поверх файловой системы HDFS и менеджера пакетов YARN. Здесь как раз помогла возможность продукта Informatica Big Data Management работать с разными источниками данных и автоматически генерировать код для таких подсистем Hadoop, как Hive Spark. Виталий Ананьев, начальник отдела развития систем интеграции данных Промсвязьбанка, в числе преимуществ продуктов Informatica отметил направленность на интеграцию данных, полученных из множества источников, их трансформацию и доставку для обработки без кодирования, благодаря чему можно, например, осуществлять централизованное администрирование, повторно использовать процессы и выполнить интеграцию с уже имеющимися в банке решениями SAP.