«Качество данных 2020»: нет «мусоровороту»!

Важность управления данными сегодня доказывать не надо — интерес к этой сфере давно уже не теоретический, а вполне утилитарный. С накоплением критической массы ошибок, в фокусе общего внимания закономерно оказалась проблема качества данных, избежать столкновения с которой не удалось никому. На конференции «Качество данных 2020», организованной издательством «Открытые системы», около 200 профессионалов в области управления данными собрались, чтобы рассмотреть эту тему со всех сторон, разложив «по полочкам» терминологию, варианты стратегии, удачный проектный опыт и актуальные инструменты.

Больше данных — меньше доверия?

В крупных информационных системах корпоративного уровня число источников данных может достигать нескольких сотен, а количество наборов данных — исчисляться десятками тысяч. «Три кита, на которых покоится «здание» качества данных,— полнота, актуальность и корректность, — напомнил Алексей Незнанов, доцент Департамента анализа данных и искусственного интеллекта НИУ ВШЭ. — И когда мы пытаемся разобраться с ними, то получаем огромное количество характеристик, метрик и стандартов».

Согласно исследованиям DIS Group, в 2019 году 33% крупных российских компаний внедряли Data Governance в надежде не только обеспечить прозрачность данных, удобный доступ к ним и возможность отслеживания взаимосвязей между ними, но и унифицировать терминологию, зафиксировать правила и метрики качества данных.

Сакраментальное изречение из мира ИТ «мусор на входе — мусор на выходе» в эпоху цифровизации заиграло новыми красками. «Мусороворот» напрямую влияет на исполнение операций в организации, уровень анализа и принимаемых решений, а также на качество публикаций в СМИ об организации. «Дешевле изначально обеспечивать нужное качество данных, чем потом разгребать последствия, которые возникают из-за дефектов данных»,— уверен Валерий Артемьев, консультант управления методологического и организационного обеспечения в департаменте статистики и управления данными Банка России. Из-за проблем такого рода, по некоторым оценкам, теряется до 15% прибыли компаний. Он также обозначил дилемму, названную им «принципом неопределенности Гейзенберга для управления качеством данных»: мы всегда можем получить либо достоверные, но не совсем актуальные данные, либо актуальные, но не очень достоверные.

Опрос, проведенный компанией Informatica в 2017 году, показал что главные проблемы для директоров по данным — непонимание данных и их качества, из чего следует невозможность доверять данным и основываться на них, принимая решения. Олег Гиацинтов, технический директор DIS Group, призвал подходить к управлению данными разумно. «Раньше мы делали много проектов по очистке клиентских или продуктовых данных, приведению их в порядок, — отметил он. — А сейчас активно занимаемся процессами понимания данных. Надо ли их вообще чистить? Бывают ситуации, когда вы не можете что-либо улучшить».

Такая разная зрелость

Уровни зрелости российских компаний в вопросах управления качеством данных сильно разнятся. С одной стороны, есть те, кто уже прошел длинный путь и может служить своего рода маяком для других. Например, в сбытовом блоке «Газпром нефти», где давно переросли уровень бизнес-аналитики и выстроили систему управления данными на платформе Informatica, специальная группа сотрудников сейчас занимается только качеством данных. «Без требований к качеству данных ни одна задача не принимается в работу», — подчеркнул Иван Черницын, руководитель центра аналитических решений Дирекции региональных продаж «Газпром нефти». За полтора года после запуска системы число бизнес-заказчиков дирекции, разрабатывающей аналитические приложения, удвоилось.

С другой стороны, зачастую бизнес по-прежнему несет потери из-за плохих справочников. В одних компаниях нет службы нормативно-справочной информации, в других — единого классификатора, в третьих управление данными ведется в ERP-системах. «Весь пул вопросов, которые мы решали 20 лет назад, остался», — констатировала Алла Токарева, руководитель направления НСИ группы консультирования в области закупок и цепочек поставок компании KPMG.

В то же время крупный бизнес все чаще подходит к решению проблем основательно, начиная со снабжения. На примере проекта в компании «Алроса» Токарева рассказала о роли качественной нормативно-справочной информации для материально-технического обеспечения бизнеса. В результате реализованных KPMG проектов по трансформации МТО фиксируется улучшение оборачиваемости или снижение запасов в среднем на 10-15% за два-три года. И реструктуризация НСИ вносит существенный вклад в этот эффект.

В компании Leroy Merlin проблему качества данных рассматривают в контексте обеспечения безопасности поставок. Совместно с технологическим партнером IDX ретейлер запустил автоматические проверки двух видов: проверка достоверности данных в документах водителей с целью обеспечить безопасность перевозок и проверка данных потенциальных сотрудников новых подразделений, чтобы исключить риски, связанные с их благонадежностью.

Это несравнимое качество

В отличие от корпоративных систем, в государственных информационных системах невозможно проверить качество всего массива данных, можно лишь оценить конкретные наборы данных, получаемые через Систему межведомственного электронного взаимодействия. «Сейчас объективная ситуация с качеством данных по стране неизвестна, нет никакой возможности его оценить и как-то на него повлиять», — отметил Сергей Сергиенко, руководитель направления «Национальная система управления данных (НСУД)» в НИИ «Восход». По его словам, НСУД, создание которой предусмотрено к 2021 году в программе «Цифровая экономика», позволит существенно упростить сопоставление данных в больших массивах.

Сравнивать данные об одних и тех же объектах, которые находятся в разных системах-источниках, — непростая задача. Как это делать с помощью инструментов контроля качества данных на основе технологий онтологического моделирования и правил логического вывода, рассказал Сергей Горшков, директор компании «ТриниДата». Сначала с помощью редактора онтологий создается модель предметной области. Редактор правил ввода-вывода встроен в платформу «Архиграф.СУЗ», где также содержатся инструменты поиска, извлечения объектов и сравнения их свойств. А основу для выполнения необходимых для этого алгоритмов предоставляет платформа «Архиграф.MDM», которая предоставляет программные интерфейсы для работы с данными, извлекаемыми из внешних систем, компонент для выполнения логических правил и универсальный API доступа к данным.

Руслан Трачук, технический директор компании «Юнидата», поделился выводами по итогам проектов создания прикладных высоконагруженных федеральных информационных систем. Один из таких проектов — разработка подсистемы обеспечения качества данных Росреестра. Задачей этой подсистемы является выявление ошибок в Едином государственном реестре недвижимости, который содержит 300 млн записей, проверяемых на соответствие 120 правилам. «Современный нагруженный прикладной проект требует совмещения в одном решении нескольких инструментов управления данными. Одного — недостаточно, — отметил Трачук. — И степень их интеграции существенно влияет на эффект синергии».

Также докладчики ознакомили участников конференции с тем, как заботятся о качестве данных в «Росатоме», МТС и других компаниях, оперирующих большими информационными массивами, а также рассказали о том, как применяют профилирование для управления качеством данных в Счетной палате и как удается использовать технологии искусственного интеллекта в условиях отсутствия качественных данных.

Ступень к аналитике

Без наведения порядка в используемых данных получать столь желанную для топ-менеджеров аналитику невозможно. «Перед тем как приступать к решению аналитической задачи, мы первым делом обязательно проводим аудит данных, начиная с простого профилирования, и оцениваем процессы», — подчеркнул Михаил Александров, руководитель практики платформных решений «SAS Россия/СНГ», представляя разработанные этой компанией инструменты управления качеством данных.

Выстроив систему управления данными, необходимо вовлекать бизнес-сотрудников в ее развитие. «Сегодня важны не озера данных, а четко работающий конвейер данных — процесс, который можно улучшать и дополнять, в том числе самому бизнесу», — полагает Максим Аннюк, отвечающий за развитие направления «Цифровой бизнес» в компании Hitachi Vantara. Он познакомил слушателей с методологией DataOps, помогающей повысить качество и сократить цикл подготовки аналитики, а также поделился опытом применения этой методологии внутри самой Hitachi Vantara.

Иван Черницын: «Без требований к качеству данных ни одна задача не принимается в работу» Настольная книга «Юнидата» презентовала на конференции «Качество данных 2020» руководство «DAMA-DMBOK: Свод знаний по управлению данными», подготовленное к изданию на русском языке при непосредственном участии компании. DMBOK позиционируется в качестве настольной книги для всех сотрудников, деятельность которых имеет отношение к управлению данными. Рекомендовал книгу участникам конференции и Иван Черницын из «Газпром нефти», чей доклад получил у слушателей самые высокие оценки.