После восьмичасового обсуждения с участием Европейского парламента, Совета ЕС и Европейской комиссии проект Закона ЕС о регулировании цифровых рынков был предварительно согласован и, возможно, будет принят и вступит в силу уже в октябре этого года.

Закон касается прежде всего крупных компаний (с капитализацией свыше 75 млрд евро или объемом продаж в Европе свыше 7,5 млрд евро и как минимум 45 млн пользователей в ЕС), которые предоставляют «базовые услуги цифровых платформ» — в частности, веб-браузеры, виртуальных помощников и социальные сети. Именно они чаще всего используют недобросовестные методы ведения бизнеса, считают законодатели. На включении в определение «базовых услуг» веб-браузеров и виртуальных помощников настаивали в парламенте, тогда как Совет ЕС понизил планку для «крупных» компаний, и теперь под действие закона попадет больше компаний.

Закон требует обеспечения совместимости цифровых сервисов, в том числе приложений для обмена сообщениями. Предусмотрено также право на удаление программ, контроль доступа к личным данным, повышение прозрачности рекламы, запрет для поставщиков оказывать предпочтение своим собственным услугам и отмену некоторых требований, выставляемых магазинами приложений разработчикам. К нарушителям закон позволяет принимать ряд мер, вплоть до штрафа в размере до 10% годового оборота компании и запрета на покупку других компаний.

Министр цифрового развития, связи и массовых коммуникаций Российской Федерации Максут Шадаев на встрече с представителями ИТ-отрасли по подготовке третьего пакета мер поддержки пообещал в несколько раз увеличить объем грантов, которые будут выделяться по линии министерства в рамках национальной программы «Цифровая экономика».

В мероприятии, которое прошло в координационном центре правительства, также приняли участие вице-премьер Дмитрий Чернышенко и замглавы Минцифры Максим Паршин.

«Мы планируем только в этом году выделить гранты на сумму 20 млрд рублей по двум основным линиям: первая — на замещение корпоративных решений через крупных якорных заказчиков, которые могут у себя внедрять инновационные российские решения и, естественно, те пользовательские продукты, которые не связаны с корпоративным сегментом, тоже будут нами финансироваться», – заявил Шадаев.

Также были озвучены предложения министерства по налоговым льготам: налог на прибыль до 2025 года – 0%, далее – 3% и тарифы страховых взносов – 7,6%. Предлагается распространить льготы на компании, получающие доходы от услуг: доработки, внедрения и поддержке любого российского ПО; продажи онлайн-рекламы на своих платформах; предоставления платного доступа к контенту, в том числе по подписке; оказания образовательных услуг с использованием онлайн-платформ; разработки и продажи российских программно-аппаратных комплексов.

По словам Шадаева, разработанный министерством проект постановления о предоставлении отсрочки от армии ИТ-специалистам находится в правительстве. Также рассматривается возможность предоставления льготной ипотеки ИТ-специалистам в возрасте от 22 до 40 лет.

Шадаев также предложил софинансировать до 80% расходов на онлайн-рекламу российских продуктов, создать отраслевые и региональные центры компетенций и проводить отраслевые мероприятия для презентации лучшей практики импортозамещения.

Как подчеркнул Чернышенко, необходимо поднять на достойный уровень имидж российских ИТ-продуктов. Вице-премьер отметил, что государство делает все возможное, чтобы можно было наращивать бизнес и создавать новые рабочие места. По его мнению, уже сейчас в России создаются проекты, которые не имеют аналогов в мире.

В рамках тематической сессии «Стратегии & инструменты» конференции ««Качество данных — 2022. Стратегия, инструменты, практики, перспективы»» (см. также ««Качество данных — 2022». данные для бизнеса») рассматривались используемые инструменты, внедренные решения. Была отмечена важность связи бизнес-процессов и управления данными. Управление данными должно приводить к достижению бизнес-результатов на основе объединения бизнес-целей, а также оценки результатов и стоимости с учетом измеряемых воздействий и рисков. По словам Александра Трекина, старшего регионального директора по продажам Precisely в России и странах СНГ, измеряемые бизнес-результаты позволяют развивать и совершенствовать программы работы с данными. Заказчикам Precisely, применявшим ориентированные на бизнес подходы, удалось, по данным компании, ускорить развертывание таких программ до 40%, повысить рентабельность инвестиций до 7 раз, а вероятность реинвестирования — более чем на 75%. Эрик Хуберт, старший инженер по продажам компании Precisely, продемонстрировал возможности инструментария Precisely Data360, который разработчики предлагают как решение со многими важными для корпоративных пользователей интегрированными функциями. Оно позволяет оптимизировать цепочки поставок данных — от сбора и обнаружения информации до ее анализа и получения результатов.

При развертывании программ работы с данными приходится делать выбор между внедрением промышленных решений качества данных и собственными разработками, учитывая требования технических заданий, размер бюджетов, сроки и ожидания рынка. В компании Tele2 сформировали набор критериев для такого решения, включающий в том числе ролевую модель, настройку шаблонов проверок, контроль версий, историю изменений, возможность самостоятельной доработки и ряд других. «Оценив имеющиеся ресурсы, собственные разработки и сформулированные требования, мы решили приобрести промышленную систему», — пояснила Екатерина Моисеева, старший менеджер по качеству данных Tele2. Выбор инструментария Ataccama позволил компании в течение трех месяцев создать фундамент управления качеством данных, осуществить интеграцию с корпоративными информационными системами и обеспечить полноценное участие команды специалистов Tele2 в выполнении проекта.

В компании «УралХим», одном из крупнейших игроков рынка минеральных удобрений нашей страны, где внедряют платформу данных и глубокой аналитики и используют Informatica DQ, именно низкое качество данных и отсутствие культуры работы с ними называют одной из причин, способных «свести на нет» эффективность цифровизации. К основным принципам управления качеством данных в «УралХиме» относят: сквозную организацию управления в рамках операционных процессов всей компании; разработку и внедрение соглашений о качестве данных совместно с ответственными представителями владельцев данных; интеграцию с другими процессами управления ИТ-ландшафтом. Для контроля качества данных используют алгоритмы искусственного интеллекта, которые, в частности, применяют для дедублирования и сопоставления справочника номенклатуры с внешними справочниками контрагентов, ранжирования весов значимости метрик, проверки физически допустимых диапазонов значений данных устройств промавтоматизации.

«Архитекторы и пользователи корпоративной системы управления качеством данных должны в первую очередь думать о пользователях, а не только о точности данных», — полагает Алексей Еремихин, архитектор решений работы с данными компании Badoo (Bumble), подчеркивая, что качественные данные должны соответствовать ожиданиям их потребителей. Для этого у каждого бизнеса есть свои возможности: от изучения ожиданий и помощи пользователям до обучения, формирования ожиданий и работы над ошибками.

Система управления мастер-данными Объединенной двигателестроительной корпорации, работа над которой ведется более 10 лет, охватывает более 4 млн объектов, 12 площадок и обслуживает 31 систему, являющуюся потребителем нормативно-справочной информации. Рост объемов данных из различных источников усложняет процесс контроля качества как собственно данных, так и метаданных. Для огромных массивов исторических данных номенклатурных справочников производственных площадок используются инструменты автоматизированной обработки заявок на нормализацию нормативно-справочной информации, а также интеллектуальная система согласования изменений и дашборд оценки качества данных. После цикла машинного обучения внедрен модуль искусственного интеллекта для приема заявок и новых «исторических» массивов. В настоящее время завершена интеграция решения MDM с единым номенклатурным справочником госкорпорации «Ростех».

Системы на основе алгоритмов машинного обучения предъявляют специальные требования к качеству данных, отмечают в компании «Лента». Такие данные, наряду с соответствием общепринятым параметрам качества, должны обладать в том числе причинно-следственной связью с моделируемыми событиями, характеризоваться отсутствием нежелательных искусственных смещений, иметь достаточный объем для обучения. Для абстрагирования данных от конкретных сценариев их использования в интеллектуальных системах управления качеством данных и решениях больших данных, в «Ленте» используют концепцию FeatureStore, позволяющую сформировать уровень управления данными для машинного обучения. На базе архитектуры FeatureStore в течение трех месяцев разработано собственное решение, максимально отвечающее требованиям компании. Теперь, в частности, релиз новой модели занимает часы, а не недели, как это было раньше.

Для машинного обучения в области обработки естественного языка в компании «ЭГО Транслейтинг» разработали решение для нормализации текстовых корпусов, которое применяется для сбора текстовых данных, их анализа, обработки и очистки для обучения нейросетей, в том числе для тренировки систем машинного перевода.

В пивоваренной компании «Балтика» ориентируются на процессный подход к управлению данных. «Данные и процессы следует рассматривать в совокупности, поскольку это не только позволяет лучше определить источники и потребителей данных, но и во многих случаях дает возможность найти точки приложения усилий для решения возникающих проблем и предотвращения дальнейших инцидентов качества данных», — утверждает Варвара Макарьина, менеджер по развитию аналитических систем. Для повышения качества данных в «Балтике» используют проверку, доработку и изменение процесса. В этой компании, к примеру, встроили обработку инцидентов в схему управления качеством данных. По словам Макарьиной, практическую помощь в работе с данными оказали советы, методы и рекомендации, которые обсуждались в докладах тематических мероприятий издательства «Открытые системы».

Конференция «Качество данных — 2022. Стратегия, инструменты, практики, перспективы», проведенная издательством «Открытые системы» 16 февраля, собрала более четырех сотен специалистов, участвовавших в ее работе очно или онлайн. Это уже третье мероприятие издательства на данную тему, которое свидетельствует о постоянно возрастающем интересе ко всем аспектам работы с данными, играющими важнейшую роль в разработке бизнес-стратегий производственной и коммерческой деятельности предприятий из различных отраслей.

Дмитрий Волков, программный директор серии практических конференций издательства «Открытые системы», отметил, что в работе конференции приняли участие представители лидеров квадранта Gartner Magic Quadrant for Data Quality Solutions 2021, таких как Ataccama, Informatica, Precisely, SAS.

По утверждению аналитиков Gartner, решения, обеспечивающие качество данных, включают в себя процессы и технологии, способствующие выявлению и пониманию данных, устранению их недостатков. Такие комплексные продукты, в функционал которых входят в том числе профилирование, синтаксический анализ, стандартизация, очистка, сопоставление, мониторинг, создание правил, поддерживают эффективность данных и аналитики, используемых для операционной деятельности и принятия бизнес-решений.

В Gartner отмечают, что рынок решений обеспечения качества данных постоянно демонстрирует уверенный рост благодаря повышению спроса на цифровую трансформацию и реализацию инициатив по переходу в облако, и прогнозируют, что, для улучшения поддержки цифровых инициатив, более половины компаний к 2024 году освоят новейшие решения в области качества данных.

Чтобы прояснить текущую ситуацию и выявить важнейшие тенденции в сфере управления качеством данных, компания Precisely и Центр бизнес-аналитики Университета Дрекселя провели опрос сотен специалистов по данным и аналитике в организациях с доходом более полумиллиарда долларов. Три четверти респондентов сообщили, что именно качество данных служит главной целью их программ работы с данными.

Из результатов опроса следует, что организации с децентрализованной структурой управления данными получают меньшую добавленную ценность, чем использующие централизованные и гибридные структуры. Авторы отчета полагают, что качество данных имеет критическое значение для руководителей бизнеса, поскольку позволяет им принимать обоснованные и рациональные решения. Наряду с этим, качество данных и управление ими — важнейшие факторы обеспечения целостности информации, позволяющие компаниям полагаться на нее в принятии решений.

«Чтобы извлекать прибыль из данных, необходимо убедиться в их надежности», — заявил Александр Трекин, старший региональный директор по продажам Precisely в России и странах СНГ.

Предложения разработчиков

Конференция началась с мастер-класса по управлению корпоративными данными, организованного Ataccama, где в том числе обсуждались проекты Tele2, X5 Retail Group и «Яндекс.Маркета».

Кирилл Евдокимов, директор практики Data Governance российского офиса компании Ataccama, определил качественные данные как данные, пригодные для использования и обработки при решении конкретной задачи. В Ataccama рассматривают профилирование данных в качестве эффективного инструмента, который позволяет оценить масштаб проблем с данными. В комбинации с оценками бизнес-пользователей, профилирование позволяет определить приоритеты в решении таких проблем.

В Ataccama уверены в том, что эффективное управление данными должно опираться на выстроенные процессы взаимодействия между бизнес- и ИТ- подразделениями, а также потребителями и производителями данных (см. также «Ataccama: «Рынок управления данными активно развивается»», Computerworld Россия, 07.10.2021). Оптимальной они называют структуру, в которой процессы управления данными предусматривают вовлечение сотрудников различных подразделений организации, обладающих реальной возможностью влиять на качество данных.

Однако, как следует из опыта компании SAS, бизнес-подразделения не всегда осознают свою роль и часто не готовы участвовать в управлении качеством данных. В SAS разработали ряд подходов, приемов и архитектур, способствующих вовлечению бизнеса в процессы улучшения данных. В их основе — формирование доверия бизнеса, который «не должен стоять в очереди за хорошими данными», и предоставление ему возможности влиять на выбор инструментов. Основными компонентами успеха, считают в SAS, служат маскирующие сложность архитектура и процессы, простой интерфейс, а также объяснения. Среди успешных методов объяснений, к примеру, называются бизнес-игры по MDM.

Леонид Шумский, руководитель платформенного подразделения консалтинга компании «SAS Россия/СНГ», считает, что бизнес-пользователи должны получать удовольствие от работы с данными, иметь возможность применять собственные проверки, а архитектура самообслуживания призвана брать на себя стоящие за этим сложности.

В компании «Юнидата», разработавшей одноименную платформу управления данными, создали методологии и инструменты управления качеством данных, применение которых, по мнению ее специалистов, может сократить сроки внедрения и нагрузку на бюджет. Это становится привлекательным для предприятий среднего и малого бизнеса — новых для российского рынка потребителей технологий качества данных.

По словам, Руслана Трачука, технического директора компании «Юнидата», существует несколько правил, соблюдение которых упрощает внедрение решений для работы с данными в небольших компаниях. К их числу относятся: первоначальный старт с одной задачи, использование готовых сервисов, переход к комплексным решениям только после успешного решения малых задач и их вывода в продуктив. В качестве универсального рецепта ускорения проекта в «Юнидата» предлагают начинать использовать технологии управления данными уже на ранней стадии его внедрения (см. также ««Юнидата» третий год подряд вошла в отчет Gartner по MDM-решениям», Computerworld Россия, 15.12.2021).

Компания DATAREON, разработчик одноименной масштабируемой платформы управления данными с единой компонентной архитектурой и сервисной шины предприятия для обмена данными между корпоративными информационными системами, представила концепцию решения комплексных вопросов управления данными с использованием простых способов и подходов. В их состав входят методы упрощения разнородных данных, организация озер данных, определение и настройка процессов сбора данных, их очистка и нормализация, способы интеграции систем работы с данными.

«При разработке продуктов мы следуем стратегии достижения максимального эффекта при минимальных затратах», — пояснила Ольга Какутина, архитектор решений в компании DATAREON.

Основное направление деятельности компании Omnidata — разработка и внедрение решений для управления мастер-данными. «Бизнесу нужны полные, достоверные и своевременные данные для аналитики и принятия решений. В их основе — мастер-данные, набор справочников, описывающих объекты и раздающие их операционным системам», — считает Алексей Сучков, генеральный директор Omnidata.

Он представил обзор практик и инструментов, необходимых для обеспечения и поддержки качества мастер-данных, — от модели данных до качества контроля и мониторинга.

Олег Гиацинтов: «Важно понимать, что бонусы от работы с данными должны заметно превышать затраты на их обслуживание»

Специалисты DIS Group, мастер-дистрибьютора компании Informatica в России и СНГ, начали активно заниматься проектами Smart Data Lake, которые являются важнейшими компонентами современных цифровых предприятий, включают вопросы качества данных и обеспечивают эффективную работу специалистов, отвечающих за развитие бизнеса.

«Сравнение данных с новой нефтью становится сегодня общим местом. Однако важно понимать, что бонусы от работы с данными должны заметно превышать затраты на их обслуживание», — утверждает Олег Гиацинтов, технический директор DIS Group.

Зрелость озера данных предусматривает наличие процессов управления данными Data Governance, зонирование и ролевые подходы, предоставляющие возможность каждому специалисту заниматься собственным делом. К примеру, устраняет необходимость аналитикам данных отвлекаться на их поиск, интеграцию и очистку, которые могут требовать до 90% времени, поясняют в DIS Group.

В компании разработали методологию формирования «умных» озер с учетом таких вопросов, как устранение возможных проблем в офисе директора по данным, организация эффективного взаимодействия подразделений в процессе заполнения озера, разграничение ответственности и пр. Создана референсная архитектура на базе решений Informatica.

Практические примеры

Во время пленарной сессии представители предприятий из различных сфер экономики, активно использующих технологии обработки данных, рассказали о своем практическом опыте.

«Работа с качеством данных требует организационных изменений», — считает Александр Погосьян, исполнительный директор по направлению «Качество данных» в ПАО «Сбербанк». В «Сбере» рекомендуют начинать внедрение управления качеством данных с формирования организационной структуры, включая назначение директора по данным и создание команды специалистов, а также с определения процессов, в том числе выделения критических элементов данных (critical data elements, CDE), измерения и ряда других.

Александр Погосьян: «Работа с качеством данных требует организационных изменений»

Опыт работы «Сбера» показал, что для исключения конфликтов при работе с данными необходимо четко определить владельцев данных, зафиксировать перечень нарушений их качества, требующих безусловного исправления, а также организовать регулярную просветительскую деятельность и ввести параметры качества данных в стандарты архитектуры и разработки.

В «Банке ВТБ» возникла необходимость тиражировать разработанные и применяющиеся в головном офисе практики работы с данными в дочерние компании и зависимые организации. Светлана Бова, директор по управлению данными «Банка ВТБ», пояснила, что для тиражирования решений потребовалось установить очередность таких компаний, определить формат организации работ по тиражированию, организовать контроль и мониторинг внедрений. В основе организационно-технологического решения — «упаковка» всех практик, методов и инструментов для управления данными в форму унифицированного продукта, который предоставляется в распоряжение нижестоящих организаций. В таком продукте содержится широкий спектр требований и рекомендаций — от готовых профилей для подбора специалистов по управлению данными, организационной структуры, планов внедрения и перечня методологий и процессов управления данными до необходимых информационных систем.

Банк России внедрил инструментарий, предоставляющий возможность поднадзорным организациям сформировать системный процесс управления данными и их качеством, который повышает доверие к отчетным данным. Также при поддержке Банка России осуществляются работы по методологической и технологической поддержке участников финансового рынка, в том числе запущена система сертификации программных продуктов, работающих с открытым стандартом отчетности XBRL (eXtensible Business Reporting Language).

В территориально распределенной компании «Леруа Мерлен» к приоритетным задачам на пути цифровой трансформации относят управление объемными и сложными справочниками и их поддержание в актуальном состоянии. По словам Любови Коноплиной, директора по качеству мастер-данных «Леруа Мерлен Россия», в настоящее время создается новая платформа управления данными на основе продуктового подхода — совместной работы бизнес- и цифровых подразделений.

Среди задач платформы — сокращение времени предоставления клиентам информации о новых товарах и улучшение взаимодействия с партнерами. Последние, в частности, получают возможность предоставлять данные о товарах в удобных для них форматах и наиболее удобным способом. В платформе используются микросервисная архитектура и единый пользовательский интерфейс. Ее реализация должна способствовать росту доходов от повышения эффективности аналитики на основе качественных мастер-данных.

В экосистеме компаний в X5 Retail Group рассматривают данные как источник конкурентного преимущества, отмечая важность управления качеством данных, несмотря на то что «слишком много и данных, и их пользователей».

Для решения этой задачи применяется инструментарий Ataccama и создана организационная структура, охватывающая бизнес X5 Retail Group. В шести доменных командах, обеспечивающих работу с данными, насчитывается почти два десятка специалистов по качеству данных и более 60 DQ-инженеров. Среди поддерживаемых процессов — управление инцидентамим и построение витрин по результатам проверок. Внедрено более десятка процессов по критическим элементам данных — показателям и атрибутам, наиболее важным для бизнеса.

Специалисты направления качества данных блока разведки и добычи «Газпром нефти» разработали методологию, позволяющую выполнить мониторинг показателей качества на постоянной основе, определить соответствие данных реальному состоянию бизнеса и организовать системный процесс обеспечения качества данных (см. также ««Качество данных — 2021»: советы бывалых», Computerworld Россия, 10.03.2021).

Достоверные данные позволяют компании «Газпром нефть» ускорять моделирование процессов добычи, повышать эффективность оценки потенциала системы и определять узкие места, выбирать оптимальные режимы эксплуатации, управлять надежностью на основе предиктивной аналитики.

Подробнее о тематических секциях конференции см. статьи ««Качество данных — 2022»: практика»  и ««Качество данных — 2022»: стратегии и инструменты».

Одна из секций конференции «Качество данных — 2022», проведенной издательством «Открытые системы», была посвящена анализу опыта управления качеством данных в организациях разных сфер деятельности (см. также ««Качество данных — 2022»: данные для бизнеса»).

Владимир Комолов из компании DM Basis ответил в своем выступлении, пожалуй, на главный бизнес-вопрос: зачем заниматься управлением качеством данных? DM Basis занимается разработкой и поддержкой программных продуктов для автомобильного рынка — от качества данных зависит приток покупателей. Качественные данные обеспечивают двукратный рост объемов продаж: в условиях рынка наличие полной и достоверной информации становится одним из основных рычагов для увеличения доходов. Особенность данных в этом сегменте — естественное устаревание из-за длительного бизнес-цикла. Обновление продуктовой линейки автомобилей требует от компаний значительного времени, при этом собранные ранее данные о клиентах теряют актуальность. Как показывает статистика, повышение качества данных в рамках программы Customer Experience способно поднять объем повторных продаж вдвое — с 10% до 23% для премиальных марок автомобилей, а для некоторых моделей — с 12% до 45%. Благодаря этому удержание действующего клиента обходится втрое дешевле, чем привлечение нового.

Сергей Горшков: «Нет абсолютно надежных инструментов проверки истинности данных, однако можно минимизировать вероятность появления случайных или намеренных ошибок»

Наиболее существенный признак качества данных — их достоверность, считает Сергей Горшков из компании «ТриниДата», которая предлагает платформу «АрхиГраф», позволяющую выстроить дата-центрическую архитектуру системы хранения данных и обеспечить цикл проверки истинности информации в корпоративных системах. Недостоверная информация может появляться по разным причинам — например, из-за случайных или преднамеренных ошибок менеджеров. Возможно также различное толкование данных разными клиентами: разночтение способно породить недостоверную трактовку результатов, поэтому при эксплуатации корпоративных систем надо гарантировать единство толкований. Встречаются и более сложные случаи — например, фактор модальности больших массивов данных, достоверность которых зависит от появления тех или иных событий, в случае возникновения которых необходимо запускать процесс перепроверки данных. Скажем, установка признака «недобросовестный контрагент» может выражать модальное субъективное суждение менеджера: «этот контрагент может стать недобросовестным и наверняка вовремя не погасит задолженность». В рамках традиционных информационных систем, опирающихся на реляционные базы данных и «зашитую в коде» модель данных, нет удовлетворительного решения обеспечения истинности данных. Системы, созданные на основе онтологических моделей данных и предназначенные для поддержки принятия решений в организации, которая работает в динамичной окружающей среде, потенциально могут решать подобные задачи. Для контроля достоверности данных, отметил Горшков, применяются системы управления основными данными (Master Data Management, MDM), помогающие унифицировать собранные во всех информационных системах данные и эффективно управлять ими. Сегодня также активно развиваются инструменты для извлечения неструктурированных данных, основанные на машинном чтении (natural-language understanding) и других технологиях искусственного интеллекта.

О внедрении в банке «Открытие» системы «Единого фронтального решения» (ЕФР) рассказали Иван Зипухо и Мария Филюшкина при участии Ники Сусловой из компании HFLabs. Проект, запущенный в 2018 году, предусматривал объединение четырех решений категории CDI (Customer Data Integration), собравшихся вместе при объединении банков «Открытие» и «Бинбанк». Разработчикам требовалось объединить 40 млн клиентских записей от банка «Открытие» и 55 млн записей от «Бинбанка». Сведение данных происходило с помощью ЕФР, разработкой которой занималась компания HFLabs. После клининга размер этого хранилища сократился до 35 млн клиентских записей. Выстраивание системы управления качеством данных для ЕФР стало одним из наиболее значимых решений при строительстве новой системы. Объединенному банку потребовалось выстроить новую схему сбора сведений о клиентах, которая способствовала как повышению качества данных, так и унификации процессов сопровождения данных и их синхронизации в базе. Сегодня в банке работает микросервисная платформа омниканальных сервисов, насчитывающая на текущий момент более 200 доменных микросервисов и более 100 отдельных баз данных. Благодаря выстроенной системе управления качеством данных на базе ЕФР, удалось вдвое увеличить скорость обучения новых сотрудников правилам поддержки банковских продуктов и втрое ускорить оформление клиентских сервисов. В то же время в несколько раз вырос штат дата-стюардов.

Ника Суслова: «Создание единой точки входа для обработки сведений о клиенте банка позволило изменить саму культуру работы с данными»

«Без учета качества данных невозможно создать эффективное производство», — уверен Ярослав Урбанский, представляющий фармацевтическую компанию «Р-Фарм», сумевшую за три месяца запустить в Москве завод по производству вакцины Sputnik V, что было бы невозможно без правильно выстроенных процессов управления качеством данных. Особенность бизнеса «Р-Фарм» — жесткие требования регуляторов рынка. Высокие стандарты проявляются в требованиях к качеству хранимых данных по различным процессам производства лекарственных средств, по их номенклатуре, ингредиентам, по срокам реализации продукции и объемам поставки. Как отметил Евгений Антропов, директор отделения управления мастер-данных компании IBS, задачей проекта было не просто согласование мастер-данных между различными заводами «Р-Фарм», предъявляющими разные требования к качеству данных, а поддержка связности информационных потоков в технологических процессах на разных площадках: от планирования выпуска, закупок сырья, производства — до продажи лекарств. Для повышения качества данных была проведена их структуризация, что позволило сформировать достоверные методики анализа продаж и финансовой отчетности. Был также создан многомерный классификатор.

Дина Татаркина из холдинга «Черкизово» отметила в своем выступлении, что заботу о качестве данных можно переложить на партнеров. В состав холдинга входит 9 птицеводческих хозяйств, 11 предприятий мясопереработки, 19 складских комплексов, 9 комбикормовых заводов, 16 свиноводческих хозяйств. В ведении компании насчитывается более 500 справочников. На первых порах сведения в систему вводили сами пользователи, что отрицательно сказывалось на качестве данных: дублирование, некорректные или устаревшие данные, отсутствие унификации в структуре и форматах. Выстраивание единой системы хранения данных началось с их централизации. Была создана система справочников с интерфейсом через портал Alfresco и интеграцией с «1С» и Opentext. Затем стала внедряться система мастер-данных с интеграцией во все учетные системы компании. Была осуществлена настройка модели управления мастер-данными через систему SAP MDG. Для источника мастер-данных был выбран интерфейс API сервиса «СПАРК» от группы «Интерфакс», обеспечивающего сбор и регулярную проверку качества накопленных данных. Для сверки используется более 300 открытых источников. Данные из «СПАРК» (более 90 тыс. записей) стали основой для наполнения мастер-системы «Черкизово», предоставляющей данные для более 1200 пользователей холдинга.

Евгений Антропов: «Проект согласования мастер-данных между различными фармацевтическими предприятиями позволил решать и бизнес-задачи благодаря поддержке связности информационных потоков»

О характерных особенностях работы с данными некоммерческих организаций рассказала Вера Адаева, представитель Агентства стратегических инициатив. В этом секторе нет традиционных показателей, используемых в бизнес-аналитике: выручки, среднего чека клиента и проч. Сбор исходных данных затруднен, в том числе и по этическим соображениям — имеются сложности со сбором отчетов от партнеров. В то же время НКО — это крупные организации, и задача снижения издержек для них актуальна, как и для коммерческих компаний. Для дальнейшего роста им необходим системный сбор данных и обеспечение их качества. Особенность НКО — широкий диапазон источников данных, среди которых значительный объем персональных, требующих строгой защиты. В таких условиях важно правильно выстроить метрики для бизнес-анализа, считает Адаева, что помогает определиться с набором собираемых данных, обеспечить прозрачность целей при управлении региональной сетью.

Доклад Михаила Петрова из Счетной палаты РФ был посвящен особенностям работы с данными в системах госуправления. Главная отличительная черта — масштаб данных и разнородный доступ к ним. Например, в 2021 году в информационной системе Счетной палаты насчитывалось 645 наборов данных. Из них доступ к 24 наборам осуществляется через API, к 361 — через ссылку на открытый источник, и только 13 наборов данных предоставляют свой интерфейс к информационной системе. При этом до сих пор используется передача на физических носителях. Такая неоднородность порождает разнообразие форматов: Excel, CSV, XML, JSON, а также «немашиночитаемые» форматы. В Счетной палате выстроена трехуровневая система обучения, а любой сотрудник, получающий доступ к работе с данными, обязан иметь хотя бы первый уровень. Высший уровень компетенции требуется для 5–10% сотрудников группы поддержки. Для обеспечения качества данных необходим не просто обученный персонал, а сотрудники, готовые самостоятельно выявлять проблемы с данными, формулировать гипотезы и находить правильные решения.

Евгений Линник из Российского футбольного союза рассказал о проекте управления данными в общественных организациях. Цифровая платформа РФС призвана обеспечить работу экосистемы российского футбола и ее переход на электронную форму взаимодействия между субъектами. Разработка такой экосистемы ведется в рамках проекта «Стратегия 2030» по развитию футбола в России. Платформа создается на базе реляционного хранилища на MySQL и Hadoop под управлением Spark для работы с неструктурированными данными. Остальная часть инфраструктуры, отвечающая за систему запросов и подготовку отчетов, формируется на Python. Платформа объединит сведения об игроках, тренерах, судьях, инспекторах, всех спортивных специалистах, возьмет на себя подсчет всех существующих в стране спортивных объектов, обеспечит взаимодействие с партнерами РФС. Цифровая платформа позволит футбольным школам и клубам по всей стране организовать свой тренировочный процесс. Главная проблема обеспечения качества данных — неполнота их источников, отметил Линник. Сбор референсных данных требует серьезной организационной работы. На текущий момент сформирована база данных по профессиональным игрокам, начинается формирование базы по любительскому футболу.

Опрос, проведенный в США аналитической фирмой Gartner, показал, что более трети потребителей даже не слышали о метавселенных. 58% опрошенных слышали это слово, но либо не знают, что оно означает, либо затрудняются объяснить, что это такое. Только 6% считают, что они достаточно хорошо разбираются в метавселенных, чтобы объяснить это кому-нибудь другому. Из тех, кто хотя бы что-то знает о метавселенных, 60% не имеют о них определенного мнения, и только 18% восхищаются ими. 21% опрошенных заявили, что они обеспокоены возможным влиянием метавселенных.

Результаты опроса говорят о том, что краткосрочные ожидания в отношении метавселенных и их влияния на повседневную жизнь потребителей следовало бы умерить, считают аналитики. Компаниям, интересующимся метавселенными, предстоит проделать большую работу, чтобы изменить отношение потребителей. Сложные, инновационные новые возможности и бизнес-модели существуют, подчеркивают аналитики, но средний потребитель должен легко их понимать, иначе его интерес пропадет.

Продажи программного обеспечения, оборудования и услуг, связанных с технологиями искусственного интеллекта, в 2022 году вырастут до 432,8 млрд долл., что на 19,6% больше прошлогоднего. К 2023 году объем рынка превысит 500 млрд долл, полагают аналитики IDC. Решения на основе искусственного интеллекта в настоящее время в первую очередь ориентированы на задачи бизнес-процессов — от расширения возможностей человека до совершенствования самих процессов, планирования и прогнозирования. Они становятся фактором роста и успешности бизнеса.

Доля программного обеспечения в 2022 году немного сократится, в то время как доходы от продаж оборудования и услуг в ближайшие годы будут расти опережающими темпами, полагают аналитики — сегмент услуг в среднем на 22%, а оборудования — на 20,5% в год. Впрочем, сегмент оборудования для задач искусственного интеллекта — самый маленький на этом рынке, и это, по мнению аналитиков IDC, говорит о том, что экономить на специализированном оборудовании контрпродуктивно, особенно, если принять во внимание рост потребностей в вычислительной мощности из-за соответствующего роста размера и сложности моделей искусственного интеллекта.

По подсчетам юридической фирмы DLA Piper, за последний год сумма штрафов, наложенных органами Еврокомиссии за нарушение общего регламента о защите данных (GDPR), выросла до 1,1 млрд евро. Штраф на 746 млн евро был наложен на компанию Amazon властями Люксембурга. Власти Ирландии выписали штрафов на 226 млн евро.

Резкое увеличение штрафов связано с решением, которое вынес Европейский суд по иску известного австрийского активиста Макса Шремса к компании Facebook (новое название — Meta Platforms). Это решение отменяет предыдущие соглашения, касающиеся передачи данных от европейских компаний американским. Личные данные теперь можно передавать только при наличии в контрактах стандартных условий, гарантирующих тот же уровень защиты данных, что и GDPR, а также Хартия ЕС по правам человека. Таким образом, комментируют юристы DLA Piper, на компании была возложена чрезвычайно трудоемкая обязанность по самостоятельному отслеживанию соблюдения требований GDPR.

За год выросло также количество обязательных уведомлений о происшествиях в области защиты личных данных. В органы ЕС поступило более 130 тыс. уведомлений, что на 8% больше, чем в 2020 году.

17 февраля Международная организация по миграции (IOM), Нидерландско-африканский деловой совет и Пьемонтское отделение союза торгово-промышленных палат Италии провели для итальянских и голландских компаний виртуальное знакомство с информационно-технологической отраслью Нигерии. Участникам рассказали о юридических и финансовых условиях ведения бизнеса в Нигерии; кроме того, для них провели  виртуальную экскурсию по одному из крупнейших технологических центров страны в Лагосе. Это мероприятие было проведено в рамках трехлетней пилотной программы под названием MATCH, ориентированной на привлечение в европейские компании квалифицированных сотрудников из Нигерии и Сенегала.

В Нигерии сейчас насчитывается более 114 тыс. разработчиков. Количество технологических инкубаторов и акселераторов выросло с 55 в 2016 году до 85. В 2020 году на цифровой сектор экономики Нигерии приходилось больше 13% ВВП, отмечают в IOM. В Нигерии много образованной молодежи, знающей английский язык, и при этом низкая стоимость труда. Поэтому Нигерия может стать одним из крупных поставщиков специалистов по ИТ на мировой рынок. С другой стороны, в Нигерии все еще слабо развита инфраструктура, и для европейских компаний открываются возможности для инвестиций.

На долю прикладного и инфраструктурного программного обеспечения, сервисов бизнес-процессов и системной инфраструктуры к 2025 году будет приходиться больше половины объема корпоративных закупок ИТ-продукции. При этом в сегменте прикладного программного обеспечения доля облачных технологий дойдет до 65,9%. В 2022 году она составит 57,7%. Общий объем закупок с 2022-го по 2025 год вырастет с 1,3 почти до 1,8 трлн долл.

В 2022 году доля традиционных технологий в общем объеме рынка составит 58,7%, однако сегмент традиционных технологий растет гораздо медленнее облачного, отмечают аналитики Gartner. Спрос на возможности интеграции, гибкие рабочие процессы и компонуемую архитектуру будет способствовать дальнейшему переходу к облачным технологиям. В 2022 году на первый план выходят долгосрочные проекты цифровой трансформации.

Появление новых технологий, в том числе рост популярности распределенных облаков, рассредоточенных географически, ускорит преобразование рынка ИТ. Их внедрение может еще больше ускорить переход к облачным технологиям, поскольку оно позволяет начать применение публичных облачных сервисов в тех областях, которые до сих пор в основном не были облачными. Компании изучают эти технологии в силу необходимости соблюдения новых требований: суверенитета данных, малых задержек и высокой пропускной способности сети.

Аналитики рекомендуют разработчикам технологий и сервисов ориентироваться на сегменты, в которых изменения идут наиболее активно — например, сегменты, имеющие отношение к инфраструктуре, будут расти быстрее, чем сегменты корпоративных приложений.