Преодолеваем кризис вместе: издательство «Открытые системы» провело форум BIG DATA&AI 2022, посвященный использованию технологий больших данных в текущих условиях.
«Сегодня бизнес, общество и государство волнует главный вопрос: как организовать свою работу в радикально изменившихся условиях? Поиск адекватных ответов — в центре внимания участников форума BIG DATA&AI 2022», — отметила, открывая мероприятие, Ирина Шеян, руководитель программного комитета. (Также о форуме см. статьи «BIG DATA&AI 2022: подходы и инструменты» и «BIG DATA&AI 2022: антикризисная практика», «Компьютерный мир», 27 апреля 2022.)
Согласно исследованиям PwC, в годовых отчетах компаний понятие «большие данные» сегодня фигурирует вдвое чаще, чем еще пять лет назад. В цифровую эпоху основой бизнеса становятся нематериальные активы, однако кризисные явления в мировой экономике привели к изменению многих ключевых причинно-следственных связей, что повлияло на возможность использовать как исторические, так и оперативные данные для ведения бизнеса, прогнозирования и моделирования тех или иных событий. Поменялся и горизонт доступности данных, что потребовало от компаний пересмотра традиционных схем принятия решений. Прошлый опыт руководителей и успешно использовавшиеся еще недавно математические модели линейной классификации и регрессии уже неприменимы в новых условиях, считает Григорий Борисенко, руководитель практики по оказанию услуг в области анализа данных PwC в России.
«Ситуация драматически меняется. Смена приоритетов, ослабление контроля, изменение регулятивных норм и вектора потребления — все это ломает модели оценки и принятия решений и требует все больше достоверных внешних данных, — отметил Борисенко. — Вместо незыблемых констант приходится работать со множеством переменных, основанных на волатильных функциях со множеством параметров».
Модели оценки товаров и сервисов, каналов поставок и компетенции сотрудников, например, по отзывам бывших партнеров и по резюме перестали быть свободно конвертируемыми на основе признанных еще недавно институтов сертификации. Как следствие, сейчас растет спрос именно на качественные внешние данные. Однако участившиеся инциденты, в частности, вызванные появлением так называемого протестного программного обеспечения (protestware), особенно в области анализа данных, могут не только существенно затруднить обработку данных, но и привести к заведомо неверным решениям.
Задача цифровых систем — поддерживать бизнес и приносить пользу. Возникшие же беспрецедентные атаки в сочетании с уходом с рынка ряда производителей, отвечавших в том числе и за обеспечение информационной безопасности, сегодня усугубляются потерей доверия к данным как из надежных ранее источников в Сети, так и из корпоративных систем.
«Сейчас нет доверия ни к вендорам ПО, ни к операторам данных, ни к самим данным — вместе с обновлением привычной, легальной программы может «прилететь» что угодно, а слив данных может инициировать свой же политически мотивированный сотрудник», — констатировал сложившуюся ситуацию Рустем Хайретдинов из Ассоциации по вопросам защиты информации.
К сожалению, к нынешней ситуации мало кто оказался готов, что привело к сбою некоторых цифровых сервисов: утеряны архивы ряда федеральных агентств и коммерческих компаний, разрушены их инфраструктуры обеспечения безопасности. «Существенно возросли уровень и мощность атак, для проведения которых используются средства более профессиональные, чем ранее применявшиеся хулиганами», — отметил Хайретдинов.
Изменилась и мотивация атак. Сегодня это уже не банальная кража денег с банковских счетов или вымогательство с целью выкупа, а разрушение информационных систем. К сожалению, все это происходит на фоне отключения средств защиты компаниями-партнерами, отвечающими за информационную безопасность. По мнению Хайретдинова, это происходит либо из-за вовремя не внесенной оплаты, либо из-за невозможности или неумения даже специализированных компаний быстро масштабировать инфраструктуру как в локальных, так и в облачных конфигурациях.
.jpg) |
|
Рустем Хайретдинов: «Существенно возросли и уровень, и мощность атак на информационные системы, проводимых высококвалифицированными специалистами, которые используют профессиональные средства взлома, существенно отличающиеся от обычно применявшихся ранее хакерами-любителями» |
«Время поставки серверов составляет сейчас десятки недель, их стоимость в разы выше, чем еще совсем недавно, а облачные провайдеры отказываются выполнять свои обязательства, — рассказал Хайретдинов. — Построенные в спокойное время системы не работают в условиях глобальных потрясений».
К тому же нет апробированных сценариев устранения угроз и опыта решения аналогичных по сложности и масштабу задач. Специалисты по безопасности оказались отрезанными от международной кооперации обмена информацией по новым атакам. Нынешняя ситуация, по мнению Хайретдинова, уникальна по своей экстремальности, что требует смены ролей и приоритетов, устранения бюрократических барьеров, препятствующих, например, допуску к серверам организации для оперативного устранения инцидентов кибербезопасности. Как следствие, считает Хайретдинов, требуются кардинальные изменения в сфере обеспечения информационной безопасности, в том числе и на уровне государства: концентрация экспертизы, аудит цифровых активов и развертывание их эшелонированной обороны, актуализация сценариев «под атакой» и восстановления данных. В условиях кризиса доверия необходимо поднять до уровня бизнеса и лиц, принимающих решения, ставшие безотлагательными вопросы: обеспечение безопасности данных; расстановка приоритетов для сохранения наиболее ценных активов; оценка надежности подрядчиков по защите информационных систем; ввод дополнительного резервирования.
Алексей Сидоров, директор по управлению данными компании Denodo, посвятил свое выступление вопросам управления данными в распределенных архитектурах на основе технологий Data Mesh и Logical Knowledge Graph. По его словам, платформа виртуализации данных позволяет «устранить необходимость физической концентрации данных в одном месте, но обеспечить единую точку входа для централизованной работы с ними». Сегодня уже нецелесообразно да и опасно хранить всю информацию в одном озере, намереваясь позже использовать ее по мере необходимости: данные быстро меняются, стоимость их репликации может быть слишком высокой, сложно обеспечивать их сохранность и гарантировать права их владельцев.
«Управлять корпоративными данными надо централизованно, но хранить их следует распределенно в местах генерации, в реальном времени предоставляя потребителю актуальные сведения в требуемом виде», — считает Сидоров. Этого можно достичь, используя логический граф знаний, устанавливающий связи между данными, что позволяет на 80% снизить расходы и до 85% сократить время на интеграцию корпоративных данных без нарушения нормативных требований по работе с ними. Кроме того, данные предоставляются непосредственно их потребителям (бухгалтерам, маркетологам, финансистам, производственникам, продавцам), которые лучше ИТ-специалистов знают особенности конкретных сведений и, благодаря подключению ко всем источникам (существующим хранилищам и озерам), получают возможность в реальном времени принимать решения «на лету».
Тему продолжил Владислав Каменский, генеральный директор компании «Юнидата», который сосредоточился на особенностях управления данными в условиях турбулентных явлений в экономике. В своем выступлении он затронул актуальные вопросы: как жить в условиях санкций, как обеспечить технологическую независимость, какие продукты востребованы в области управления данными? Одним из следствий кризисных явлений в отечественной экономике стало отсутствие конкуренции после ухода ряда западных компаний, на протяжении десятилетий поставлявших в страну продукты по управлению данными.
«Нужно не просто заместить такие продукты, а сделать соответствующие решения лучше, — подчеркнул Каменский. — Однако в условиях отсутствия конкуренции это сделать сложно». Для преодоления проблемы в компании образовано структурное подразделение «Юнидата Labs», отвечающее за фундаментальные исследования, разработки, образовательные проекты и взаимодействие с академическим сообществом. Сплав науки и производства позволит предложить новые продукты, включающие наукоемкие разработки в области искусственного интеллекта, оптимизации управленческих решений, выявления аномалий и скрытых зависимостей, что обеспечит актуальность и востребованность соответствующих решений в сфере управления и руководства данными, а также обеспечит их качество.
О том, что делать в текущей ситуации, размышляли многие участники форума. Сергей Золотарев, генеральный директор компании Arenadata, предлагает участникам ИТ-рынка не пытаться самостоятельно строить все системы, инициируя новые проекты. Он советует консолидировать и максимально полно использовать уже имеющиеся и проверенные временем инфраструктурные решения, позволяющие сформировать полноценную экосистему. В стране есть множество эффективных решений, возможно, не имевших ранее мощной маркетинговой поддержки (такой, как у ушедших западных вендоров), но не уступающих по функционалу. Сейчас одна из самых острых проблем — обеспечение работоспособности критически важных для бизнеса систем и безболезненной миграции с западных платформ. Золотарев уверен в том, что «исход западных вендоров — повод не для паники и слез, а для организации командной работы отечественных компаний по преодолению текущих проблем».
.jpg) |
|
Сергей Золотарев: «Исход западных вендоров — повод не для паники и слез, а для организации командной работы отечественных компаний по преодолению текущих проблем» |
Arenadata предлагает рынку платформы работы с данными, позволившие десяткам предприятий построить конкурентоспособные инженерные системы, индифферентные к ограничениям доступа к технологиям. Arenadata Enterprise Data Platform включает функционально полный стек продуктов для развертывания решений класса CRM, ERP, ECM, BPM, RPA, ETL и пр. как в инфраструктурах on-premise и PaaS, так и в облаках различных типов. Платформа дает возможность строить хранилища данных (например, на основе СУБД PostgreSQL), отказоустойчивые системы потоковой обработки данных в режиме реального времени, системы распределенных вычислений в оперативной памяти (на базе СУБД Tarantool), масштабируемые отказоустойчивые системы анализа и полнотекстового поиска. В качестве примеров Золотарев привел выполненные за предыдущие пять лет проекты для ВТБ и ФНС по миграции системы подготовки отчетности с СУБД Oracle SuperCluster на колоночную массивно-параллельную аналитическую СУБД ArenadataDB, а также проект унификации технологического стека и снижения расходов на эксплуатацию АИС «Налог-3» с миграцией с Teradata и Oracle Exadata. Кроме того, имеются примеры инфраструктурных проектов для предприятий и компаний из всех отраслей экономики, различных масштабов и форм собственности. Всем заказчикам предлагаются готовые сервисы по работе с большими данными, проверенные методики миграции и, при необходимости, услуги по сопровождению, предоставляемые более чем тысячей квалифицированных специалистов. В зависимости от запросов заказчиков, на базе предлагаемой платформы во взаимодействии с десятками авторизованных партнеров, специализирующихся в определенных областях, может быть развернуто конкретное решение.
Тему построения платформ для работы с данными продолжил Дмитрий Крючков, архитектор решений из компании Sapiens solutions. Он рассказал об архитектуре платформы данных, аккумулирующей классические открытые технологии наподобие Spark, Kafka или Nifi, а также сервисы для бизнес-аналитики Yandex Datalens и Apache SuperSet.
«Многие российские компании сегодня столкнулись со сложностями продления лицензий, рисками блокировки облачных решений, высокой стоимостью программного обеспечения и проблемами с поиском новых партнеров, — отметил Крючков. — Мы предлагаем подход к построению платформы данных, отвечающей основным потребностям отечественных компаний: хранилище данных, аналитика, озеро данных, потоковая обработка». Заказные решения по хранению данных и аналитике, построенные в предлагаемой архитектуре на технологиях Open Source (например, продукт Easy Report), могут быть развернуты как на собственном оборудовании клиентов, так и в облаках — в частности, имеется решение на базе «Яндекс.Облака».
По результатам различных исследований отраслевых аналитиков, более 70% компаний однозначно видят в данных будущее своего бизнеса, однако из всего объема имеющейся информации монетизируется лишь половина. Вряд ли имеет смысл просто грузить в хранилище все данные подряд: они либо быстро устаревают, либо вообще не нужны. Гораздо полезнее знать свои данные.
«Даже если развернуть в компании очень хорошее ПО, это не станет гарантией того, что все заработает. Требуются адекватные стратегии, наглядные примеры, анализ результатов и грамотный подбор ключевых сотрудников», — считает Олег Гиацинтов, технический директор DIS Group. Цифровая экономика требует «цифровых» сотрудников нового поколения, специализирующихся на четырех направлениях работы с данными: оценка, адаптация, каталогизация и измерение. Правильное разграничение ответственности между CDO и другими подразделениями позволяет до 60% сократить время на предоставление данных потребителям, причем изменить подходы к работе с данными следует незамедлительно, уверен Гиацинтов: «Сейчас самое лучшее время, чтобы модернизировать бизнес, объединиться для создания, возможно из разных технологий, действительно цифровых компаний».
.jpg) |
|
Олег Гиацинтов: «Развертывание в компании даже очень хорошего ПО для работы с данными не дает гарантии того, что все заработает. Нужна стратегия, необходимы наглядные примеры работы с данными, анализ результатов и распределение сотрудников по ключевым этапам жизненного цикла корпоративной информации» |
Конкретный пример интегрированного подхода к созданию цифрового продукта продемонстрировал содокладчик Гиацинтова — Дмитрий Шведов, заместитель руководителя департамента цифровизации компании «УралХим», перед которой стояла задача создания сервисов цифровизации и поддержки принятия бизнес-решений. Корпоративное хранилище стало единым источником достоверных данных, а внедрение платформы данных и глубокой аналитики позволило создать на предприятии экосистему данных, которая обеспечивает их сбор, обработку и хранение с целью поддержки бизнес-инициатив, создания цифровых двойников и выполнения прогнозной аналитики для процессов и активов компании. Платформа включает в себя подсистему сбора данных на базе Apache, подсистему управления и описания данных на основе решений Informatica Axon и Atlassian, подсистему хранения на основе PostgreSQL и сервисов SberCloud, а также лабораторию искусственного интеллекта — Jupyter и Sbercloud ML Space. Высокое качество данных, накапливаемых в платформе, позволило бизнес-экспертам выявить, в частности, некорректную информацию, поступающую через интеграционную шину информационных систем предприятия.
Как обществу, привыкшему «к цифре», избежать сегодня потерь, вызванных нештатным функционированием или отключениями информационных систем? Докладчики пленарной сессии форума сошлись в едином мнении: в период повышенных рисков главное — не делать поспешных выводов, чтобы не сломать успешно функционирующие продукты, а всем участникам отечественного ИТ-сообщества нужно совместно искать решения, адекватные возникшим проблемам, и не забывать при этом о том, что прибыли без рисков не бывает.
