В рамках традиционного форума BIG DATA&AI 2022, проведенного издательством «Открытые системы», большое внимание участников вызвала сессия «Большая практика. Новый отсчет». Докладчики поделились опытом работы в новых условиях и рассказали об используемых инструментах. (Также о форуме см. статьи «BIG DATA&AI 2022: лучше вместе» и «BIG DATA&AI 2022: подходы и инструменты», «Компьютерный мир», 27 апреля 2022.)

«Обстоятельства сильно меняются, перед нами стоят серьезные вызовы. Data science в период кризисов перестает работать, включаются принципы ручного управления», — признал Тигран Саркисов, директор по работе с данными X5 Group, рассказавший об управлении данными в условиях меняющейся реальности. В X5 много интеллектуальных сервисов, охватывающих практически все направления: транспорт, логистику, маркетинг, чековую аналитику, цепочки поставок, ценообразование и т. п. Над ними работают более 50 продуктовых команд.

В начале года в X5 планировали совершенствовать дата-продукты, в том числе сокращать время их вывода на рынок, а также развивать культуру, основанную на данных, тиражировать self-service-аналитику, повышать стабильность платформы и снижать стоимость работы с данными. Однако проекты, связанные с клиентским путем, с конца февраля потеряли актуальность: гораздо важнее стала скорость принятия решений. «Если раньше приходилось тратить ресурсы на продвижение BI-инструментов, проводя демодни и обучая пользователей, то сейчас мы видим ажиотажный интерес к современной аналитике и резкий рост запросов на работу с ней — наблюдается кратный рост пользователей», — отметил Саркисов. Это направление очень эффективно, особенно сейчас. И вдвойне актуальными стали обеспечение непрерывности бизнеса и оптимизация затрат.

Александр Гусев, директор по развитию Webiomed и эксперт ЦНИИОИЗ Минздрава РФ по искусственному интеллекту, рассказал о том, что происходит с искусственным интеллектом в сфере здравоохранения. По его словам, несмотря на то что Указ Президента РФ № 490 «О развитии искусственного интеллекта в России», выпущенный еще в 2019 году, ставит целью ускоренное развитие искусственного интеллекта и определяет здравоохранение как одно из приоритетных направлений, реальность не соответствует ожиданиям. Во многом это связано с тем, что львиная доля финансирования проектов идет от государства, а частные инвесторы в эту область почти не заходят. К применению искусственного интеллекта в медицине отношение очень настороженное: высокие риски, непонятные бизнес-модели, неочевидный возврат инвестиций.

«Многие направления медицины полностью цифровизованы: данные есть, и их много. Мы сидим на огромных объемах данных. Однако вытащить их из организаций с целью проведения исследований или создания ML-продуктов практически невозможно», — констатировал Гусев.

Главная проблема для разработчиков интеллектуальных решений в медицине — именно раздобыть данные. И это при том, что государство с 2011 года инвестировало в ИТ в здравоохранении достаточно крупные средства — более 130 млрд руб., а по уровню внедрения информационных систем отечественная медицина сейчас уступает разве что американской. Еще одна огромная проблема заключается в том, что, несмотря на кажущийся огромным размер рынка, денег на нем практически нет.

Александр Гусев: «Многие направления медицины полностью цифровизованы: данные есть и их много. Мы сидим на огромных объемах данных. Однако вытащить их из организаций с целью проведения исследований или создания ML-продуктов практически невозможно»

«Мы выживаем на грантах и не учимся зарабатывать на продуктах — это формирует нехорошую внутреннюю ситуацию: вряд ли в такой обстановке можно принести много пользы», — считает Гусев.

По наблюдению Ивана Кровякова, менеджера по развитию бизнеса Data Platform Yandex.Cloud, большинство компаний, начинающих путь в мир машинного обучения, концентрируются именно на технических вопросах: где взять «правильную» инфраструктуру, какие выбрать технологии, где взять данные и компетенции. Однако по мере их созревания становится понятно, что бизнес-ценность в значительной степени находится в процессной составляющей: как готовить данные, как разрабатывать модели, внедрять и переобучать их. Это имеет не меньшее значение, чем сами технологии. Поэтому важно сделать так, чтобы специалисты фокусировались не на вопросах «Что?» и «Где?», а на вопросе «Как?». Кровяков проиллюстрировал этот подход на примере проекта, реализованного в УБРиР.

Как известно, от 70% до 90% данных, с которыми приходится работать компаниям, являются неструктурированными. Это документация, внутренняя переписка, обращения от клиентов, взаимодействие с партнерами, отзывы в соцсетях, записи контакт-центров. Такие сведения необходимо анализировать. Дмитрий Гольцов, заместитель директора по коммерческой деятельности компании «Мегапьютер Интеллидженс», рассказал о возможностях платформы PolyAnalyst — системы «три в одном». Она включает инструменты, которые компании обычно приобретают по отдельности, а затем тратят значительные усилия на их интеграцию: систему ETL для извлечения, трансформации и загрузки данных, систему интеллектуального анализа данных и средства BI. По словам Гольцова, с использованием платформы точность извлечения фактической информации из неструктурированного текста в отдельных проектах превышает 90%.

«Газпром нефть» на протяжении последних трех лет активно вкладывается как в инструменты управления данными, так и в разработку решений на основе искусственного интеллекта. Эти направления действительно позволили повысить качество управления компанией, что уже доказано на практике.

«Самое главное, что на основе данных можно управлять компанией гораздо эффективнее, чем при традиционных подходах», — подчеркнул Анджей Аршавский, руководитель центра монетизации данных «Газпром нефти». По его словам, главной задачей было внедрение решений на основе ИИ по всей цепочке создания добавленной стоимости. Добыча и переработка нефти — очень технологичный процесс, и использование математических моделей при разведке и планировании разработки месторождений способно давать огромный эффект. В ходе своего выступления Аршавский уделил особое внимание решениям на основе искусственного интеллекта, использующимся в промышленном контуре.

Дмитрий Шведов: «Перед нами стоит цель — стать data-driven-компанией, то есть принимать решения не с помощью интуиции, а на основе данных»

«Перед нами стоит цель — стать data-driven-компанией, то есть принимать решения не с помощью интуиции, а на основе данных», — заявил Дмитрий Шведов, CDO «Уралхима». В компании изначально понимали, что ресурсов ИТ-департамента всегда будет недостаточно, поэтому сразу начали двигаться в сторону использования инструментов самообслуживания: бизнес должен сам готовить себе данные и затем визуализировать их.

За 2021 год компания сделала большой скачок: ей многое дала платформа данных. Как отмечает Шведов, сейчас бизнес уже прекрасно понимает, что такое «корпоративное хранилище данных», и уверенно произносит аббревиатуру КХД.

За год в «Уралхиме» начали работать шесть продуктовых команд, две из них действуют полностью самостоятельно, разрабатывая для себя отчетность. Однако важно эти команды развивать, внедряя институты владения данными и сервисами. Для этого в нынешнем году планируется создать центр компетенций, основной задачей которого станет управление продуктовыми командами и выставление им целей по развитию сервисов.

Беспрецедентный кризис вызвал резкую смену приоритетов. Кардинально изменилась и повестка ежегодного форума, отражая самые насущные проблемы, волнующие профессиональное сообщество в условиях неопределенности, санкций и болезненного расставания с иностранными поставщиками платформенных решений. Благодаря партнерам форума, его участники из первых уст узнали о возможностях доступных на российском рынке технологий для управления на основе данных. (Также о форуме см. «BIG DATA&AI 2022: лучше вместе», «Компьютерный мир», 27 апреля 2022.)

Хранилища данных

В компании «Дататех», в которой на основе отечественного ПО с открытым кодом внедряют решения управления данными, создали фреймворк для автоматизации построения хранилищ данных. Этот набор методик и готовых инструментов содержит в том числе пакетные решения, а также стандарты моделирования и разработки.

«Мы ориентировались на DevSecOps как на стандарт разработки и использовали микросервисную архитектуру, методологию Data Vault 2.0 и MPP-архитектуру на основе решения Arenadata DB», — пояснил Павел Бабурин, директор по стратегическим проектам «Дататех».

Решения компании обеспечивают извлечение данных из различных источников, их приведение к единой логической модели в соответствии с методологией Data Vault 2.0, загрузку в хранилище и формирование детальных данных согласно требованиям бизнес-модели, а также построение прикладных витрин данных для бизнес-задач и предоставление к ним доступа пользователей и информационных систем.

Специалисты «Дататех» называют фреймворк готовым продуктом. Фактически это облачный сервис, который был создан в процессе реализации проекта для одного из крупных банков. В компании намерены предлагать такую комплексную методологию банкам, которым необходимо произвести срочную миграцию данных в условиях импортозамещения.

Хотя многие проекты хранилищ данных завершены успешно, существуют проблемы, способные привести к провалам или неполной реализации потенциала работы хранилищ больших данных, отметил Александр Волынский, технический менеджер продукта ML Platform компании VK Cloud Solutions.

Исходя из опыта компании и ее заказчиков, одной из важнейших проблем он считает недостаточное качество данных в условиях значительного числа территориально распределенных источников, разделения зон ответственности и ограниченных возможностей команды инженеров по данным, обслуживающих центральное хранилище.

Чтобы обеспечить надлежащий уровень качества, предлагается отнести данные к основным продуктам деятельности каждого их источника, организовать распределенное владение ими и создать единый для всех слой сервисов доставки и обеспечения качества данных. В компании разработаны методы оценки эффективности хранилищ данных, мотивации команды инженеров по данным, выбора облачных или традиционных локальных решений для организации хранилищ.

Волынский утверждает, что при облачном подходе к работе с данными кластер Kubernetes может быть развернут и поддерживаться в облаке даже сотрудником, не являющимся специалистом по использованию этой платформы.

C ростом объемов и разнообразия типов источников данных все более актуальной становится организация централизованного управления доступом к ним. При внедрении ролевой модели доступа в одном из крупнейших российских банков, специалисты компании Denodo использовали возможности своей платформы, к которой подключаются все источники данных, а также технологию виртуализации данных, позволяющую ограничивать параметры видимости отдельных наборов, строк и столбцов данных и применять алгоритмы динамического маскирования данных.

«Сложность проекта заключалась в огромном количестве правил доступа, общее число которых достигало полутора тысяч. А кроме того, следовало учесть до семи десятков ролей и столько же привилегий «поверх» всех ролей», — рассказал Иван Кириленков, технический директор Denodo.

Чтобы справиться с этой проблемой, на основе корпоративного каталога данных сформировали полную матрицу доступа с применением набора автоматических скриптов, а также реализовали автоматическую синхронизацию ролей, тегов, правил и других объектов. Использование единой платформы работы с данными позволило сделать управление доступом проще и эффективнее.

В «Сбере» создали методологию для обеспечения регулярной доставки потребителям данных из сотен источников. К ее основным принципам относятся: исключение непродуманной загрузки озера данных; постоянное отслеживание изменений данных из различных источников, технологий их использования, применяемых инструментов; внедрение средств контроля технического и бизнес-качества данных в рамках единой корпоративной модели данных. «Реализация этих положений поможет построить озеро данных и не превратить его в болото», — полагает Лариса Ихсанова, управляющий директор и руководитель управления загрузки данных «Сбера».

Платформы

Сегодня, когда данные являются основой цифровой трансформации, появляются новые модели бизнеса и «умные» приложения, предоставляющие возможность изменять организационную структуру предприятий, считают в компании «Диасофт».

Созданная в этой компании экосистема решений для цифровой трансформации включает платформу Digital Q.AIML на базе методологии MLOps (Machine Learning Operations), предназначенной для оптимизации жизненного цикла машинного обучения.

В конвейер жизненного цикла платформы Digital Q.AIML входят фабрика обучения моделей, автоматизированный конвейер их развертывания и монитор жизни моделей. Последовательность работ при решении типовых задач для платформы включает, помимо прочего, предварительную обработку данных, выбор подходящей модели обучения и предоставление доступа к обученной модели как к сервису.

«Для выпуска моделей и упаковки их в сервисы мы пишем собственные Docker-файлы и запускаем их в публикацию в существующей сборке сервисов», — пояснил Антон Шебалкин, архитектор платформы Digital Q.AiMl.

Платформы «Диасофт» позволяют извлекать из озер данных массивы информации, анализировать их и использовать для создания новых приложений, основанных на методах глубокого машинного обучения.

Платформа быстрой бизнес-аналитики Luxms BI, которую разработали в группе компаний Luxms, — это инструментарий современных цифровых организаций, предоставляющий в реальном времени сведения, необходимые для принятия решений. Одна из особенностей Luxms BI — дата-центричная архитектура, обеспечивающая высокое быстродействие за счет приближения бизнес-логики к данным: сервер приложений Luxms BI размещен внутри базы данных. Кроме того, в зависимости от востребованности данных, используется их разделение на слои, для которых система бизнес-аналитики использует различные технологии обработки.

Сергей Шестаков: одна из особенностей Luxms BI — дата-центричная архитектура, обеспечивающая высокое быстродействие за счет приближения бизнес-логики к данным: сервер приложений размещен внутри базы данных

В конце апреля выходит версия Luxms BI v8. По словам Дмитрия Дорофеева, главного архитектора Luxms, в ней реализованы пожелания заказчиков в части самообслуживания. Инструменты Self Service предоставляют пользователям свободу действий с данными, в том числе возможность выполнять подключение к источникам, делать загрузку, подготавливать визуализацию и осуществлять ряд других функций (программирование для этого не требуется). Вместе с тем в новой версии улучшен функционал самообслуживания как для инструментария построения витрин, отчетов и анализа данных Self Service BI, так и для области ETL — Self Service ETL (Data Boring). Специалисты Luxms считают, что функционал Self-Service сопоставим с таковым у лучших зарубежных BI-решений.

Компания EasyData развивает семейство кросс-платформенных программных продуктов EasyPortal для автоматизации процессов работы с файловыми системами, реляционными СУБД, хранилищами данных, платформами Big Data.

«Платформа EasyPortal охватывает большую часть задач проектов хранилищ данных и предоставляет готовое решение для разработки проектов и управления выполнением задач на технической инфраструктуре промышленной среды», — утверждает Владимир Баранов, генеральный директор EasyData.

К компонентам платформы относятся: GETL — предметно-ориентированный язык для формирования шаблонов обработки данных; EasyLoader — инструмент выполнения разработанных задач в процессе промышленной эксплуатации с использованием готовых шаблонов для захвата и обработки данных; EasyScheduler — визуальное средство управления запуском консольных приложений на удаленных серверах; EasyPortal WebServer — интерфейс для командной работы над проектами.

По данным компании, ее программные продукты задействованы в ряде крупных проектов российских организаций в качестве ETL/ELT-платформ¸ управляющих потоками данных до десятков терабайт в сутки в хранилищах данных объемом в сотни терабайт. EasyData предлагает свое ПО для замещения решений таких зарубежных производителей, как IBM, Informatica, Oracle, SAS, и ряда других.

Основное направление деятельности компании «БИТ» — разработка цифровой платформы «Управление в пространстве» и прикладных решений на ее основе. Эта российская аналитическая платформа с подходом low-code к обработке и представлению данных относится к рекомендательным системам и интеллектуальным продуктам для поддержки принятия решений.

Цифровая платформа, созданная в БИТ, автоматизирует трехмерный картографический мониторинг, динамическое моделирование, сценарное и целевое прогнозирование; реализует цифровые модели территорий на основе больших данных и геоинформационных технологий; готовит управленческие решения на базе новых ассоциаций в процессе обработки данных в быстро меняющихся условиях; осуществляет визуальное конструирование аналитических приложений.

«Мы работаем с агрегированными большими данными, используем их для поддержки деятельности территориально распределенных организаций, в том числе органов власти, которые должны принимать решения на местах», — рассказал Алексей Завьялов, директор по продукту БИТ. Среди основных отличий от других BI-решений в БИТ называют генерацию рекомендаций и целевого управления на их основе.

Прикладные решения

В компании «Нейроспектр» используют модульную архитектуру, чтобы ускорить разработку приборов для сбора больших наборов данных, применяемых для контроля качества выпускаемой продукции методами компьютерного зрения и искусственного интеллекта.

По словам Алины Радаевой, руководителя проектов по разработке роботизированных систем, в работе дефектоскопов задействованы алгоритмы компьютерного зрения и глубокие сверточные нейронные сети, которые дополняются простыми персептронами или нейросетями. В настоящее время несколько дефектоскопов установлено в Китае. В перспективе планируется реализовать управление качеством производства, используя семейство дефектоскопов с единой информационной базой, обеспечивающих аналитику производственных процессов, в том числе формирование истории жизненных циклов выпускаемых деталей.

Никита Андреянов: основанные на данных подходы обладают рядом существенных преимуществ: выявление сложных инцидентов; определение проблемных мест в ИБ-инфраструктуре; планирование модернизации и развития ИБ-систем; анализ работы ИБ-департаментов и повышение ее эффективности

Процессы и решения, основанные на анализе больших объемов данных, способны значительно повысить эффективность комплексов информационной безопасности, убеждены в компании Crosstech Solutions Group.

Никита Андреянов, технический директор Crosstech Solutions, видит в основанных на данных подходах ряд существенных преимуществ: выявление сложных инцидентов с помощью ретроспективного анализа и обнаружения аномалий в поведенческой активности; определение проблемных мест в ИБ-инфраструктуре, планирование модернизации и развития ИБ-систем; анализ работы ИБ-департаментов и повышение ее эффективности.

Очередная встреча дискуссионного клуба «Цифровая реальность» была посвящена регулированию в сфере искусственного интеллекта. Участники встречи обсудили проблему гиперперсонализации и связанные с ней риски, а также вопросы установления рамок приемлемого применения искусственного интеллекта. Они согласились с тем, что искусственный интеллект сегодня стал одним из драйверов изменений информационного пространства, однако последствия его проникновения в цифровую среду не всегда носят позитивный характер.

За последние несколько лет информационное пространство сильно поменялось. Во многом это связано с популярностью соцсетей: в них появляются новые инструменты, а искусственный интеллект становится основой для множества информационных сервисов, и в первую очередь выдачи контента.

«Для пользователей это происходит незаметно и делает более комфортным использование социальных платформ. Самое главное, что принес искусственный интеллект, — это именно гиперперсонализация, делающая пользование платформой более интересным и заставляющая проводить в ней больше времени», — подчеркнул Юрий Колотаев, член молодежного совета Координационного центра доменов RU/РФ.

Термин «гиперперсонализация» подразумевает существенную разницу в объеме данных, привлекаемых для персонализации контента, и используемых для этого инструментах. Персонализация выполняется не только по гендерной принадлежности, семейному положению и предпочтениям, но и по последним действиям потребителя сервиса, геолокации и т. п. Однако проблема заключается в том, что такой подход влечет создание длинного цифрового следа каждого пользователя. Это может быть довольно чувствительная информация, о раскрытии которой человек даже не подозревает. И возможность ее нечистоплотного использования уже стала реальностью. Самая большая проблема — возможность точно таргетировать информационные атаки. Персонализированная выдача информации — первое, что может нанести вред.

«Цифровая реальность ставит ребром многие вопросы. Часто возникают ситуации, когда людьми легко манипулировать», — констатировал Колотаев. То, что мы видим в Сети, не всегда прозрачно, иногда сложно заметить границу между реальностью и эмоциональной составляющей информации.

Данные в руках террористов

Как отметила Дарья Базаркина, ведущий научный сотрудник отдела исследований европейской интеграции Института Европы Российской академии наук, информационные атаки активно берутся на вооружение террористическими организациями.

Террористы манипулировали аудиторией и до появления искусственного интеллекта. Они всегда использовали психологические приемы, позволявшие создать видимость широкой поддержки их действий и массовости сторонников. Однако искусственный интеллект расширяет возможности пропаганды. Террористы, несмотря на архаичность взглядов, готовы использовать в работе самые продвинутые инструменты. Например, вербовщику всегда требовалось значительное время, чтобы войти в доверие к человеку, определить его сильные и слабые стороны. Анализ тональности поведения жертвы на различных ресурсах может радикально ускорить этот процесс. Для убеждения людей начинают применять технологию дипфейков, когда для продвижения идей используют наиболее привлекательную для конкретного человека персону. Именно поэтому террористические организации активно привлекают в свои ряды разработчиков инструментов манипуляции сознанием.

Удобство имеет свою цену

«Мы часто готовы платить высокую цену за удобство — это черта человека, о которой многие забывают», — напомнила Наталья Клюева, доцент философского факультета МГУ. Скажем, распознавание клиента по лицу и оплата товаров одним касанием подразумевают довольно большой объем раскрываемой информации.

Тем не менее гуманитарные аспекты развития и применения технологий становятся все более актуальными, и это говорит об их развитии: общество ждет новых ориентиров их использования. Очевиден общественный интерес к этическим вопросам в сфере искусственного интеллекта. И этика присутствует в национальных стратегиях развития искусственного интеллекта, хотя во многих случаях такая тема не раскрывается подробно, а документы носят рекомендательный характер. Тем не менее достигнуто общее понимание того, что принципы действия искусственного интеллекта должны соответствовать моральным установкам общества.

Андрей Игнатьев, руководитель аналитического направления Центра глобальной ИТ-кооперации, говоря о регулировании искусственного интеллекта, заметил, что человек борется со злом на протяжении всей истории и одним из важных элементов этой борьбы является поиск морально-нравственных ориентиров внутри себя. «Искусственный интеллект не этичен по определению. Говоря о его этике на нынешнем этапе развития, надо подразумевать именно этику людей, принимающих участие в создании и эксплуатации таких систем», — заявил он.

Выбирая между удобством и безопасностью, следует оценивать, насколько велики побочные эффекты этого удобства: доступность результатов нашей жизнедеятельности в цифровом мире может быть использована против нас. В идеале мы должны сами определять рамки своей прозрачности. Это можно сравнить с выходом человека в море на судне: он расширяет свои возможности, но принимает сопутствующие этому риски.

В информационную эпоху и государство, и бизнес должны уметь быстро собирать актуальную информацию о своих гражданах и клиентах, оперативно предлагая им актуальные персональные сервисы. Однако, несмотря на декларации о том, что данные превратились в ключевой драйвер цифрового развития бизнеса, существующие аппаратно-программные инфраструктуры построены на унаследованной централизованной архитектуре, часто неспособной в реальном времени решить главную задачу бизнеса — стать клиентоцентричным. Участники форума BIG DATA 2021 имели возможность из первых рук получить информацию о современных архитектурах и решениях обработки больших данных.

Алексей Сидоров, директор по управлению данными компании Denodo в странах Европы, Ближнего Востока и Африки (регион EMEA), рассказал о проекте по управлению мастер-данными министерства социального страхования неназванной страны. За два месяца на основе архитектуры Virtual Data Fabric была развернута крупномасштабная система мониторинга сведений о гражданах страны, позволяющая в реальном времени получать актуальную консолидированную информацию из всех министерств. Данные не перемещаются и хранятся в исходном виде в точках их генерации. Это существенно сокращает время на их очистку, консолидацию и визуализацию для предоставления по запросу с целью формирования «на лету» полного актуального портрета гражданина, построенного по его цифровым следам. Такая возможность позволяет исключить ошибки, дублирование или потерю сведений при назначении социальных страховок и различных выплат, а также при оценке покупательной способности граждан и реализации других функций институтов государственной власти.

Алексей Коваленя из компании Atos в своем выступлении «Эволюция инфраструктуры для работы с большими данными» рассказал о различных подходах к построению инфраструктуры поддержки обработки больших данных, включающую оборудование, сетевое и системное ПО. Сегодня компания предлагает не только высокопроизводительные серверы, но и, в альянсе с Cloudera, решения Atos Datalake Appliance по управлению данными на основе адаптированных для конкретного заказчика распределенных аппаратно-программных систем. Такие решения включают серверы, сеть, ПО, прикладные сервисы. Среди отмеченных докладчиком преимуществ представленных продуктов — сертификация от Cloudera, единое окно для управления инфраструктурой, готовая к использованию и протестированная конфигурация с гарантированным уровнем производительности. Наличие одного поставщика, отвечающего за решение, позволяет безболезненно выполнять масштабирование, сокращать время на ввод системы в эксплуатацию и использовать различные формы оплаты: аренду, рассрочку или Datalake-as-a-Service.

Тему эффективности инфраструктуры продолжил на форуме Александр Кузьмин, главный консультант по технологиям Pure Storage, рассказавший об организации систем хранения для решения задач аналитики реального времени. Доля таких задач к 2025 году составит уже более 30% от общего объема аналитических приложений, и, как следствие, по мнению Кузьмина, сократится потребность в статичных озерах данных. От современных систем хранения требуется поддержка быстрых изменений и быстрого накопления разнородных данных, однако традиционные системы оптимизированы для пакетной обработки, а не для режима реального времени. Для раскрытия потенциала больших объемов консолидированных данных компания предлагает, в частности, платформу хранения Pure Storage Flashblade, обеспечивающую линейное масштабирование, развертывание конфигурации за минуты, упрощенное управление и обеспечение гарантированного времени отклика как при последовательном доступе к большим файлам, так и при произвольном доступе к множеству потоков небольших файлов. Кроме того, в систему изначально заложена поддержка протокола s3 объектного хранения, позволяющего просто и надежно хранить объемные объекты — почти так же, как с помощью файловой системы, но без разбиения их на папки.

Проблему обеспечения надежной и безопасной работы с интернет-ресурсами поднял Александр Брыль, инженер по разработке алгоритмов машинного обучения в компании DDOS Guard. Применение машинного обучения при анализе больших массивов данных позволяет с точностью до 85% обеспечить защиту от различных ботов: ботнетов для DDoS-атак, шпионов для сбора данных, зомби-ботов для поиска уязвимостей, ботов — скупщиков билетов, ботов, выполняющих скликивание (мошенническое нажатие кнопок на сайте), и пр. Конфигурационный и поведенческий анализ посетителей сайта позволяет выявить и идентифицировать бота, отделив его от реального человека, просматривающего сайт. Предлагаемые методы позволяют на 80% сжать трафик за счет унификации запросов, защититься от перегрузок сервера, отфильтровать спам, предотвратить взлом аккаунтов и кражи данных банковских карт.

Как показал форум, многие российские предприятия уже получают эффект от цифровой трансформации. Например, по словам Александра Мотузова, начальника управления методологии и разработки математических моделей НЛМК, в 2020 году предприятие сэкономило 1 млрд руб. благодаря, в частности, собственной DSMLp-платформе анализа данных и моделирования, ставшей очередным шагом к умному производству. Платформа представляет собой инструмент, позволяющий специалистам по данным передавать знания, полученные из данных, инженерам, создающим производственные системы, но не в виде модели для каждого конкретного применения, а в виде конвейера создания и постоянного обучения модели на новых данных. При этом у системы нет «черных ящиков», а эксплуатация моделей не прекращается при уходе подрядчика, сотрудника или разработчика готового решения с моделью. Такую платформу, по мнению Мотузова, нельзя купить: процессы для каждого предприятия уникальны и генерируют уникальные данные; модели машинного обучения строятся на собственных данных; технологические процессы и сырье для металлургического производства постоянно меняются, что требует смены методов обучения; интерпретация моделей машинного обучения позволяет открывать новые физические свойства процессов и получать новые знания.

Тему работы с моделями продолжил Станислав Ляховецкий, директор по управлению портфелем проектов банка ВТБ, сосредоточивший свое выступление на вопросах управления модельным риском — риском потерь в результате ошибочных решений, основанных на результатах работы моделей. Ясно, что игнорирование таких рисков может дорого обойтись как компании, так и государству и его гражданам — например, в результате неверно поставленного медицинского диагноза, основанного на рекомендациях искусственной нейронной сети. Сегодня нет качественного решения корпоративного уровня по оценке модельных рисков: большинство зарубежных систем (AWS, MLflow SAS, Seldon и др.) предназначены лишь для ускорения разработки модели, а не для налаживания конвейера от бизнес-идеи, подготовки данных, валидации и до мониторинга работы модели с учетом всех онтологий. В России, по мнению Ляховецкого, подобные решения имеются у компании Loginom, хотя потребность в таких инструментах давно назрела, в частности, для того, чтобы бизнес сам без программирования строил и проверял модели.

Данные и люди

Специальный тематический блок был посвящен вопросам подготовки кадров и организации образовательного процесса на основе анализа больших данных. Андрей Комиссаров, директор направления «Развитие человека на основе данных» Университета 20.35, рассказал о цифровизации в области управления кадрами, которая значительно обогатилась инструментами искусственного интеллекта, позволяющими строить модель данных о человеке в развитии. Поиск персонала, анализ предпочтений человека и другие задачи решают сегодня в Университете 20.35 путем анализа множества данных (вакансии, резюме, конференции, различные опросы и пр.). Комиссаров рассказал об опыте автоматизированного построения моделей компетенций и профстандартов по заказу Министерства труда РФ, о комплексном анализе уровня корпоративной культуры и диагностике soft skills с помощью оценки неструктурированных данных, об инструментарии подбора проектных команд для решения разных типов задач на основе онтологий профессиональных областей, построенных с помощью системы PolyAnalyst российской компании «Мегапьютер Интеллидженс».

Так, на основе модели о человеке в развитии можно предсказать, сможет ли он дорасти для работы на конкретной вакансии, — иначе говоря, найти еще не сформировавшегося (а значит, дорогого), но потенциально перспективного сотрудника. Другой пример — построение профиля цифровой компетенции для создания карты востребованности конкретных навыков специалистов в различных регионах России. Такая карта позволит, например, убедиться в том, что учебные заведения выпускают нужных рынку специалистов, а студенты с ее помощью смогут наметить наиболее перспективную траекторию своего развития, чтобы больше зарабатывать. На основе анализа и интерпретации цифрового следа сотрудников можно также оценить их вовлеченность в работу, роль в команде, степень участия в общей системе взаимоотношений, а также общую культуру команды. Подобные сервисы сегодня востребованы инвесторами стартапов, чиновниками, стремящимися быть в тренде, HR-подразделениями предприятий и пр.

Тему оценки эффективности работы сотрудника на основе анализа его цифрового следа продолжил Иван Исаев, директор направления анализа данных в МТС, уверенный в том, что полученные сведения могут быть использованы для повышения эффективности управления кадрами. Анализ позволит строить прогноз «выгорания» сотрудника, обеспечивать сокращение трудоемкости операций, переводить работников на удаленную работу или частичную занятость вне пиковых периодов, формировать эффективные кросс-функциональные команды и пр. Применяя комплексную методологию BCG BioTag, телеком-операторы сегодня анализируют статистику коммуникационных потоков между специалистами и степень использования рабочего времени, а также задействуют информацию еще из пяти различных баз данных и из пула неструктурированных данных (тексты, записи звонков и пр.). Это позволяет построить карту «спроса-предложения». Система учета и анализа цифрового следа дает возможность выполнять мониторинг эффективности труда подразделения и сотрудников; прозрачно ранжировать сотрудников по производительности труда и утилизации их рабочего времени, анализировать их загруженность. Система позволяет операторам на 20% сократить время на выполнение 100 элементов бизнес-операций, снизить отток сотрудников и получить общий прирост эффективности подразделений от 5% до 15%. Кроме того, анализ цифрового следа дает возможностьоптимизировать бизнес-процессы: идентифицировать самые автоматизируемые процессы; оценить затраты времени на процесс и текущий уровень его автоматизации; расставить приоритеты в автоматизации или оптимизации процессов.

***

Форумы Big Data проводятся с 2012 года, и доклады, представленные на нем в разное время, акцентировались на технологиях, что отражало существовавшие до недавнего момента тенденции и оставляло за кадром контент — главное предназначение ИТ. И только BIG DATA 2021 показал: оборудование, ПО и технологии не являются главным активом цифровой экономики. Главное — это сами данные, для работы с которыми уже непригодны традиционные системы передачи, хранения и обработки с жесткой, заранее запрограммированной логикой. Современные инфраструктуры для работы с большими данными должны давать возможность и коммерческим компаниям, и государственным организациям отвечать на вопросы, о которых они еще не знают.

В рамках 10-го форума BIG DATA 2021, проведенного издательством «Открытые системы», важное место занял тематический блок «Дата-проекты: платформы, подходы, практика». Наибольший интерес в нем вызвали выступления экспертов «Сбера» — признанного лидера российского рынка в области работы с данными. Ключевым направлением последних лет стала плотная работа компании со своими с дата-сайентистами и другими специалистами по данным (их в «Сбере» называют D-People) в попытках улучшить их «клиентский опыт».

Например, показательным стало внедрение инструментов, автоматизирующих работу дата-сайентистов, — средств автоматического машинного обучения (AutoML). Его цель — уменьшить ручной труд аналитиков. Такой подход выгоден там, где раньше машинное обучение не окупалось и где требуется частое переобучение моделей.

Однако построение моделей — всего лишь небольшая часть работы. До 2019 года многие процессы работы с данными были организованы далеко не оптимально: приходилось тратить огромное время на установку ПО и получение доступа к данным, а сами данные были разрозненными. Как констатировал Борис Рабинович, директор департамента управления данными «Сбера», большую часть времени дорогостоящие D-People не работали, а занимались решением «коммунальных вопросов»: получением инфраструктуры и вычислительных мощностей (этот процесс занимал до трех месяцев), установкой необходимых инструментов (до двух месяцев), поиском и получением данных (до двух месяцев).

«Мы осознали проблемы наших внутренних клиентов и пересмотрели процессы и подходы к организации их рабочих мест. Данные и вычислительные мощности в ряде случаев теперь можно получить за час, быстро выдается полный инструментарий и предоставляются необходимые библиотеки», — подчеркнул Рабинович.

Построенный супермаркет данных стал единым окном во вселенную данных «Сбера» и важнейшим элементом создаваемой фабрики данных. Он позволил радикально ускорить все процессы работы с данными. Процесс оформления заказа на данные составляет около 10 минут, а весь процесс от входа в систему до получения данных занимает от 30 минут до суток, в зависимости от сложности работ. Супермаркет обслуживает около 200 заказов в день, и ежедневно через инфраструктуру супермаркета «гуляет» около 350 Тбайт данных.

Дмитрий Карбасов, руководитель управления промышленного искусственного интеллекта "Евразийской группы" (ERG), рассказал об использовании искусственного интеллекта для оптимизации закупочной деятельности.

«Мы в автоматическом режиме ищем поставщиков с наиболее выгодными ценами, строим базу продавцов и обрабатываем ее по интересующим нас алгоритмам — как для поиска минимальных цен, так и для заполнения конкретных лотов», — отметил Карбасов. При этом искусственный интеллект отвечает за выявление и устранение ошибок в позициях, за стандартизацию и поиск претендентов на роль поставщиков. Компании удалось значительно повысить прозрачность закупок с помощью создания единой базы цен.

Как отметил Андрей Майоров, технический директор РДТЕХ, телемедицина — это вовсе не общение по Skype с врачом, а медицина на основе данных, собираемых в реальной жизни. Рынок предлагает тысячи моделей носимых гаджетов, которые можно использовать для чего-то большего, чем подсчет шагов. Ярким примером может служить сервис цифровой медицины Actenzo. Майоров поделился опытом создания системы мониторинга физиологических параметров организма и предупреждения о развитии негативных трендов в состоянии здоровья человека. С помощью фитнес-браслетов решение измеряет пульс, давление, температуру, делает ЭКГ, оценивает физическую активность и качество сна.

Максим Милков, технический директор департамента анализа данных Softline AI, рассказал о преимуществах использования технологий обработки естественного языка (Nature Language Processing, NLP) для оптимизации документооборота. Проблемы поиска корпоративной информации общеизвестны: опросы показывают, что сотрудники тратят на добычу необходимой информации до 16 часов в неделю. При этом только в 56% случаев они находят ее, и большинство отмечают, что искать информацию гораздо сложнее, чем в Интернете. В решении проблемы помогает вопросно-ответная система, понимающая смысловое значение запроса. Она способна существенно облегчить жизнь пользователей и освободить массу времени.

Роль облаков и синергия с ИТ

Развитие облачных сервисов сыграло важную роль в ускорении дата-проектов, реализуемых многими компаниями. Как отметил Дмитрий Павлов, менеджер по развитию бизнеса Yandex.Cloud Data Platform, случаи полного (а тем более быстрого) перехода компаний в облако крайне редки. Обычно такие проекты происходят поэтапно и растянуты во времени. Часто компании ограничиваются лишь переносом в облако вычислительных мощностей и на этом останавливаются.

Ситуация значительно изменилась с появлением экосистем, в которых провайдер предоставляет комплекс услуг, обеспечивая их интеграцию. Тем не менее вопрос выбора оптимальной модели приобретения инфраструктуры до сих пор актуален и во многих случаях не имеет однозначного ответа.

Александр Волынский, архитектор PaaS-продуктов Mail.ru Cloud Solutions, согласен с тем, что облако предоставляет много возможностей для работы с большими данными. В большинстве случаев при построении хранилища данных компаниям приходится выбирать между моделями PaaS и IaaS, но есть и альтернатива. Волынский рекомендовал для работы с большими данными в облаке использовать инструменты Kubernetes. За счет этого можно получить продвинутую платформу для управления данными. Важно, что все используемые для таких целей инструменты являются открытыми.

Никита Кардашин, руководитель отдела развития интеллектуальных систем Naumen, порекомендовал найти точки соприкосновения CIO и CDO, где классические ИТ могут быть полезны для работы офиса данных. «Какие бы идеи ни возникли у руководства компании с точки зрения цифровизации и трансформации бизнеса, они будут опираться на процессы, архитектуру ИТ и работу ИТ-специалистов», — констатировал он. В ИТ наработан огромный пласт опыта, касающегося доставки ценности бизнесу и аналитики результатов этих усилий. Этот опыт зафиксирован в ITIL. В офисе данных часто пытаются изобретать велосипед, вместо того чтобы использовать лучшие практики. Процессы управления ИТ могут помочь в монетизации данных, обеспечении их качества, повышении надежности сервисов и сокращении издержек.

Не менее важен и обратный обмен опытом: многим компаниям будет полезно применить современные технологии к процессам управления ИТ. Как ни странно, ИТ — далеко не самая продвинутая область с этой точки зрения.

Экспериментальные правовые режимы (ЭПР) в области работы с данными напрямую связаны с реализацией национальной стратегии развития искусственного интеллекта. Наше государство всерьез рассчитывает на серьезный технологический прорыв в этой области. Для этого важна поддержка как бизнеса, так и научного сообщества. В ходе круглого стола, организованного на форуме BIG DATA 2021, представители правительственных структур и эксперты отрасли рассказали о том, что такое экспериментальные правовые режимы, как работать с данными в новых реалиях и как крупный бизнес планирует участвовать в этих инициативах.

По мнению Анны Серебряниковой, президента Ассоциации больших данных, создание ЭПР – смелый шаг со стороны государства. Говоря простыми словами, ЭПР – это установление новых, временных правил для проведения согласованных экспериментов. Такой подход хорошо понятен бизнесу, но очень трудно воспринимается государством: эксперимент может оказаться неуспешным, а это всегда болезненно. Тем не менее, политическая воля сложилась и необходимый закон был принят, а сейчас уже готовятся подзаконные нормативные акты, регулирующие применение ЭПР.

Начнут с наиболее перспективных кейсов

Анна Серебряникова: «Подход экспериментальных режимов хорошо понятен бизнесу, но очень трудно воспринимается государством: эксперимент может оказаться неуспешным, а это всегда болезненно»

Как признала Оксана Тарасенко, заместитель министра экономического развития РФ, для Минэкономразвития принятие экспериментальных правовых режимов (так называемых песочниц) стало действительно большим достижением.

«Это ключевой фактор для развития любых инноваций, в том числе технологий искусственного интеллекта. Нами за последний год проведена большая работа по подготовке необходимой правовой базы, а также отбору проектов, которые будут запущены в рамках первых ЭПР», — заявила Тарасенко.

В конце января вступил в силу 258-ФЗ «Об экспериментальных правовых режимах», предусматривающий создание условий для проведения правовых экспериментов для тестирования в реальной жизни цифровых инноваций. Сопутствующие подзаконные акты призваны исключить законодательные препятствия для тестирования новых технологий в рыночной среде. Они охватывают семь наиболее перспективных направлений, таких как беспилотный транспорт, телемедицина, заключение договоров с помощью биометрии и т.п. Тарасенко выразила уверенность, что первые ЭПР будут запущены уже в нынешнем году.

«Это тот случай, когда государство услышало запрос бизнеса», — подчеркнул Дмитрий Тер-Степанов, заместитель генерального директора АНО «Цифровая экономика». Регулятор стоит на защите прав граждан, а бизнес продвигает инновации, и между этими «минусом» и «плюсом» возникает напряжение, которое снимается законом про ЭПР. Предметом ЭПР является именно то, до чего до сих пор не удалось договориться и что воспринимается регулятором как поле для рисков. У сообщества есть три года, чтобы на ограниченной территории попробовать доказать, что эти риски преувеличены.

В поисках разумного компромисса

«Введение ЭПР – хорошая практика в развитых странах, она позволяет апробировать новые технологии и провести их оценку. Но ЭПР могут нести вполне ощутимые риски, и в первую очередь это связано с использованием данных о гражданах», — отметила Татьяна Матвеева, начальник управления по применению ИТ в развитии электронной демократии Администрации президента РФ. Таким образом, общая задача – найти взвешенное решение и разумные компромиссы, которые позволят обеспечить защиту интересов граждан. Важно осознать допустимые пределы ЭПР, прежде всего с точки зрения защиты прав человека.

По словам Матвеевой, в рамках международных конвенций есть примеры ограничений и изъятий из основных требований по защите прав человека, но они главным образом направлены на обеспечение национальной безопасности и общественного порядка. России как участнику этих конвенций необходимо осторожно подходить к реализации ЭПР, и принципиально важно, чтобы по завершении эксперимента была дана оценка их эффективности.

Предлагаемые бизнесом эксперименты чаще всего связаны с развитием клиентского опыта. В маркетинговых целях компаниям хочется знать о гражданах всё: не только действия, но даже их мысли. Важно не только обезличивание таких данных, четкие правила их загрузки в «песочницы» и правила допуска к ним участников, но и дальнейшие правила уничтожения данных после проведения эксперимента, а также порядок внепланового прекращения эксперимента.

«Нам по силам найти баланс между внедрением новых решений, за которыми будущее, и защитой интересов людей, как того требует национальная стратегия развития искусственного интеллекта. Этот баланс обеспечит интересы и людей, и бизнеса, и государства», — уверена Матвеева.

«Маленький рекомендательный сервис»

Мария Поликанова: «Важно предложить гражданам сервис, который сейчас они не могут себе позволить, – хороший консалтинг по составлению финансового плана и прогнозу развития бизнеса»

В качестве одного из первых экспериментов планируется запустить создаваемый Ассоциацией больших данных сервис «Собственное дело» – платформы, которая подскажет будущим предпринимателям перспективные сферы для открытия бизнеса.

«Регуляторы много говорят о том, что надо соблюдать права человека. Но одним из таких прав является право на труд», — напомнила Мария Поликанова, руководитель стратегического комитета Ассоциации и идейный вдохновитель сервиса «Собственное дело». Не секрет, что огромное количество стартапов «умирают» уже в самом начале — 80% компаний закрываются в первый год. Чтобы избежать этого, важно предложить гражданам сервис, который сейчас они не могут себе позволить, – хороший консалтинг по составлению финансового плана и прогнозу развития бизнеса.

Разрабатывая стратегию развития рынка больших данных, в Ассоциации оценили, что это направление может принести стране до 0,3% роста ВВП. Если таким сервисом за год воспользуются хотя бы 250 тыс. человек, то в экономике будет получен дополнительный оборот 4,8 трлн руб., а это 325 млрд руб. дополнительных поступлений в бюджет. Такой эффект может «дать один маленький рекомендательный сервис».

По словам Поликановой, в этом проекте участвуют восемь крупных конкурирующих компаний, которые смогли договориться и создать принципиально новый сервис. Он будет реализован в режиме времени, близком к реальному, и должен быть настолько простым, чтобы им могла воспользоваться даже домохозяйка.

Столица — как обычно, в авангарде

Иван Бутурлин: «Столица становится площадкой для апробации многих новшеств. Для нас эксперимент в сфере искусственного интеллекта – уже просто жизненная необходимость»

Москва планирует запустить собственные эксперименты в рамках ЭПР. Это крупнейший и наиболее развитый рынок в стране, он является ориентиром для многих.

«Столица становится площадкой для апробации многих новшеств. Для нас эксперимент в сфере искусственного интеллекта – уже просто жизненная необходимость», — констатировал Иван Бутурлин, руководитель проектного офиса по ЭПР ДИТ Москвы. Цифровые технологии составляют 6% ВРП города, а в ИТ-отрасли Москвы работают 600 тыс. человек. Даже без экспериментов в городе функционируют продукты, использующие возможности искусственного интеллекта – например, в вопросах коммуникаций с жителями, безопасности и здравоохранения.

В 2018 году Москва вошла в топ-10 городов мира, готовых к внедрению искусственного интеллекта. С точки зрения технологий уже тогда все было отлично, однако город занимал лишь 20-ю позицию по готовности нормативно-правовой базы. Принимаемые сейчас законы устраняют эту дисгармонию.

Как подчеркнул Бутурлин, задачи ЭПР охватывают не только вопросы работы с данными. Столичный ДИТ смотрит чуть дальше по производственной цепочке и готов проходить весь жизненный цикл решений – от предоставления данных до создания алгоритмов и готовых решений. При этом предстоит решить множество практических вопросов, для этого и нужен эксперимент.

Выход из эксперимента не менее важен

Участники круглого стола согласились, что нельзя пренебрегать вопросами этики использования искусственного интеллекта. Но не надо забывать, что до сих пор речь идет лишь о рекомендательных системах. Технология еще слишком незрелая, и не следует ее ограничивать слишком жесткими рамками, с учетом того, что до сих пор нет ни одной реальной системы, способной полностью подменить человека при принятии решений.

В любом случае, реализация ЭПР для тестирования новых технологий на государственном уровне стала чуть ли не уникальным случаем, когда Минэкономразвития и бизнес-сообщество пошли по довольно сложному пути «рука об руку». По-другому добиться столь амбициозных целей, поставленных на уровне страны, будет невозможно.

Важен не только вход в эксперимент, но и выход из него – ведь он реализуется именно для того, чтобы затем поменять общие правила на рынке. До сих пор остается открытым вопрос, где и в каких пределах можно рассчитывать на изменение режимов, а в каких случаях государство не сможет пойти на изменение регулирования.

Даже в разгар пандемии в Москве не прекращается работа над ключевыми проектами цифровизации здравоохранения. Компьютерное зрение и искусственный интеллект уже несколько месяцев применяют для выявления коронавирусной пневмонии на КТ, а описание снимков врачи могут вводить в электронную карту голосом. Теперь начался качественно новый этап развития медицинской системы столицы — цифровой помощник, позволяющий точнее ставить предварительные диагнозы, появился у врачей во всех во всех взрослых поликлиниках города. Основанная на технологиях искусственного интеллекта система анализирует жалобы пациента в режиме онлайн и предлагает три варианта предварительного диагноза, перечни исследований для их подтверждения и списки специалистов, консультации которых понадобятся для лечения.

Инструмент постановки предварительного диагноза, который с октября заработал во всех 45 взрослых поликлиниках Москвы, — это один из компонентов системы поддержки принятия врачебных решений (СППВР), разработанной Сбером.

Система базируется на Единой медицинской информационно-аналитической системе (ЕМИАС) и представляет собой набор цифровых инструментов, помогающих врачу принимать решения на всех этапах ведения пациента — сбора анамнеза, постановки предварительного диагноза, выбора диагностических исследований, лекарственной терапии, схемы лечения и других. Цифровые инструменты создавались в соответствии с клиническими протоколами по заболеваниям, разработанными специалистами Департамента здравоохранения Москвы вместе с федеральными экспертами. К настоящему времени подготовлено 87 протоколов по наиболее часто встречающимся заболеваниям.

Инструмент №1: постановка предварительных диагнозов

После осмотра врач заносит в электронную медкарту информацию о жалобах пациента и симптомах заболевания. Искусственный интеллект обрабатывает эти данные в режиме онлайн и предлагает врачу три наиболее вероятных предварительных диагноза из 265 стандартных групп. Врач может выбрать один из предложенных ему предварительных диагнозов либо поставить собственный.

Тестирование пилотной модели системы завершилось в середине текущего года, и с октября она работает на постоянной основе. Ожидается, что использование этого инструмента повысит точность диагностики и сократит число ошибочных диагнозов. Благодаря встроенным механизмам самообучения решение будет постоянно совершенствоваться. До конца 2021 года в систему планируется ввести описания нескольких десятков самых распространенных болезней, которые искусственный интеллект может диагностировать с точностью более 90%, сообщил президент Сбера Герман Греф.

Примерно через год инструмент постановки предварительных диагнозов может быть предложен регионам, где не хватает квалифицированных специалистов. Кроме того, система будет включать обучающий функционал для молодых врачей, которые недавно окончили вузы, и тех, кому сложно обратиться за помощью к коллегам.

Инструмент № 2: пакетные назначения

После постановки предварительного диагноза СППВР предлагает врачу пакетные назначения — стандартный перечень инструментальных и лабораторных исследований, а также консультаций профильных специалистов, необходимых пациенту. Заложенные в систему 54 набора назначений для первичной диагностики заболеваний охватывают до 90% причин обращений в поликлинику.

Критерии необходимости дополнительных назначений видны доктору во время работы. По своему усмотрению он может расширить перечень назначений или убрать из него ненужные анализы.

Вместе с назначениями пациент получит памятку о правилах подготовки к исследованиям. А в дальнейшем система проконтролирует, чтобы исследования были проведены в установленный срок.

Инструмент пакетных назначений был запущен в городских поликлиниках в сентябре и за первый месяц работы врачи сделали с его помощью свыше 37 тыс. назначений, в большинстве своем связанных с ОРВИ. Внедрение этого инструмента позволило в 10 раз сократить среднее время назначения диагностических исследований — с двух минут 37 секунд до 15 секунд.

Инструмент № …

До конца текущего года планируется внедрить еще несколько компонентов СППВР. Так, система умного осмотра подскажет врачу, на что нужно обратить внимание в зависимости от жалоб пациента. Справочник жалоб структурирован по характеристикам, которые разделены по заболеваниям на общие, основные и дополнительные. Он содержит более 600 значений, верифицированных ведущими медицинскими специалистами. Цифровой гид по совместимости лекарственных препаратов проанализирует взаимодействие назначаемых пациенту лекарств, а также сформирует для больного памятку по их приему. В числе дополнительных инструментов, которые уже апробируются на практике, — анкета пациента в электронной медкарте. Ее предлагается заполнить заранее, чтобы врач мог использовать эти данные на приеме.

Используемые в СППВР протоколы, справочники и алгоритмы будут постоянно пополнять наименованиями новых препаратов и методов лечения.

«Это даст колоссальный эффект — повысится качество диагностики, точность окончательного диагноза, уровень лечения и дальнейшего сопровождения пациента», — уверен мэр города Сергей Собянин. Он подчеркнул, что в основе новой системы лежат мнения лучших врачей и экспертов страны. «Технологии искусственного интеллекта базируются на большом количестве данных. Искусственный интеллект — это вишенка на торте. Только чтобы эту вишенку положить, нужно сначала испечь торт. В Москве этот торт если еще не испечен, то находится на стадии очень высокой готовности», — добавил Греф.

В феврале 2020 года в столице стартовал эксперимент по использованию технологий искусственного интеллекта для анализа медицинских изображений. Ежедневно в Москве проводят около 13,5 тыс. лучевых исследований на 1,2 тыс. аппаратов, подключенных к Единому радиологическому информационному сервису. С помощью искусственного интеллекта проанализировано более 800 тыс. исследований по четырем направлениям — выявлению признаков COVID-19, выявлению рака легкого, исследованию патологий легких и выявлению рака молочных желез. Кроме того, ранее начатый пилотный проект по применению голосового ввода заключений в поликлинических отделениях лучевой диагностики признан успешным. За год с помощью этой технологии подготовлено более 25 тыс. протоколов рентгенологических исследований. Теперь голосовой ввод внедряют в остальных поликлиниках города.

Таким образом, использование искусственного интеллекта вполне может превратиться из экспериментальной технологии в стандарт работы московских поликлиник в самом ближайшем будущем.

На форуме «BIG DATA 2020 ОНЛАЙН», который издательство «Открытые системы» провело в начале июня, состоялась российская премьера компании Denodo – разработчика одноименной платформы виртуализации данных. Компания появляется на российском рынке в непростое время, но настроена вполне оптимистично. О том, зачем предриятиям еще одна виртуализация, что умеет платформа Denodo и почему ее внедрение потребует изменения менталитета ИТ-специалистов, рассказывает Алексей Сидоров, главный евангелист и директор по управлению данными Denodo.

— Denodo — новое имя на российском рынке. Расскажите о компании.

Компания была создана около 25 лет назад как университетский стартап в городе Ла Корунья (Испания). Группа ученых под руководством профессора Анхеля Виньи, работавшая в области интеграции данных, вдохновилась идеей виртуализации (интеграция данных без их физического перемещения) и достаточно быстро довела эту технологию до промышленного уровня. Первое серьезное финансирование Denodo получила от испанского инвестиционного фонда, благодаря чему смогла выйти на европейский рынок. За короткое время у компании появились десятки крупных европейских заказчиков. Параллельно с активной коммерческой деятельностью шло развитие технологии.

Успех в Европе привлек к компании внимание крупных инвесторов из Кремниевой долины. Были сделаны большие вложения, штаб-квартира Denodo переместилась в Пало-Альто. После выхода на американский рынок около 10 лет назад у Denodo появились такие заказчики, как Intel, крупные американские банки и промышленные предприятия. На протяжении последних лет ежегодный рост компании был значительным — на 50% по персоналу, прибыли и числу заказчиков.

В прошлом году Denodo пришла в Азиатско-Тихоокеанский регион. В этом году было принято решение расширять присутствие компании на Ближний Восток, Восточную Европу, Россию и СНГ. Меня пригласили в компанию для реализации этих планов, потому что у меня есть опыт работы на всех этих рынках.

Ядро Denodo по-прежнему составляет команда ученых, которая ее основала, благодаря чему здесь сохраняются академический дух и нацеленность на глубокое технологическое развитие. На R&D тратятся огромные средства. Работа в таком коллективе очень вдохновляет.

— Технология виртуализации данных существует уже больше 20 лет, но есть ощущение, что она пока не стала мейнстримом в области интеграции данных. Как вы думаете, почему?

По оценкам Gartner, виртуализация данных относится к числу информационных технологий c наиболее высоким уровнем зрелости. Но 10–15 лет назад мы технологически не могли реализовать ее так, чтобы она полностью отвечала требованиям заказчиков. По существу, Denodo первой смогла воплотить перспективную идею на практике.

— Что же мешало: не хватало глубокой технологической проработки идеи, не было нужной программной или аппаратной инфраструктуры для ее реализации?

Во-первых, «железо» было слишком медленным, чтобы эффективно поддерживать технологию. Во-вторых, не хватало профессионального видения, чтобы правильно реализовать виртуализацию. Тем, наверное, и обусловлен успех Denodo, что удалось совместить научный подход к разработке идеи и инфраструктурные возможности для ее поддержки.

— Основная задача, которую решает виртуализация данных, — это интеграция данных?

Мы предлагаем смотреть на данные не с точки зрения ИТ (как мы их интегрируем, трансформируем), а с точки зрения бизнеса. А бизнесу нужны данные для решения его задач, и ему совершенно неважно, с помощью каких инструментов это достигается.

С этой точки зрения виртуализация данных приближена к требованиям бизнеса. Виртуализация данных — технология, которая позволяет получить доступ к разнородным источникам данных в реальном времени и использовать эти данные в различных проектах без их физического перемещения в какой бы то ни было репозиторий.

Если мне необходимо создать новый отчет по продажам либо подготовить прогнозы продаж на следующий квартал, используя алгоритмы машинного обучения, или если я занимаюсь проектами по монетизации данных, то с помощью виртуализации мне удастся получить все нужные данные сразу и в том виде, который удобен для обработки, без их перемещения в промежуточное хранилище.

При этом все детали процесса предоставления данных скрыты от пользователей — они получают в свое распоряжение «магазин данных», в котором можно в реальном времени найти все необходимые им сведения.

— Развернув платформу виртуализации, например Denodo, компания получает логический уровень, который будет поддерживать любые проекты с данными? Или платформа будет работать лишь для определенного круга задач и окажется неприменимой для решения других? Насколько универсальным является этот подход?

Это абсолютно универсальный подход именно потому, что мы смотрим на задачу предоставления данных с точки зрения бизнеса. Конечно, неизбежно возникают технические вопросы: как предоставить данные в том виде, в каком их хочет видеть пользователь, и на необходимой ему скорости. Но все эти вопросы решаемы, и в большинстве случаев для этого достаточно заложенных в платформу механизмов. Решение всегда находится под «капотом» платформы, никак не затрагивая бизнес. Пользователи могут обратиться за любыми данными, и они будут им предоставлены.

— Насколько сложным будет переход к виртуализации для компании с большим числом разнородных источников и унаследованным инструментарием интеграции данных?

Для потребителей данных все упрощается сразу же и в разы: гораздо проще искать и получать данные, повышается их качество и согласованность. Для ИТ-организации внедрение виртуализации — это одна новая технология, которая очень проста в изучении. Любой специалист, который раньше работал с инструментами интеграции данных, моделирования данных, с базами данных, осваивает эту технологию за одну-две недели.

При этом мы не следуем стратегии «кукушки» — никого из гнезда не собираемся выталкивать. Если компания 20 лет работает с традиционным хранилищем, значит, на то есть веские причины. Если есть озеро данных, значит, оно им нужно, мы будем его использовать как один из источников данных.

— Но, тем не менее, в своем выступлении на форуме BIG DATA 2020 вы заметили, что внедрение виртуализации данных — это определенный ментальный сдвиг. У кого он должен произойти: у ИТ-специалистов, директоров по данным, бизнес-пользователей?

По нашему опыту, прежде всего у ИТ-специалистов. Когда мы рассказываем о виртуализации бизнесу, он воспринимает ее возможности с большим энтузиазмом. Но если мы говорим с ИТ-специалистами, то в первую очередь с нами начинают обсуждать, где эта технология потенциально не работает. Для меня это означает, что люди просто боятся нового, опасаются того, что все, чем они раньше жили и зарабатывали, может стать неактуальным. CIO и CDO тоже, как правило, быстро принимают идею виртуализации. Но для тех специалистов, которые непосредственно отвечают за предоставление данных для бизнеса, происходит смена парадигмы. Раньше они строили витрины данных, выполняли процессы ETL, занимались перемещением данных — теперь будет совсем другой подход.

Одна из моих задач как главного евангелиста компании — участвовать во встречах с заказчиками и доносить суть подхода виртуализации данных, чтобы этот ментальный сдвиг действительно происходил.

— Denodo — это решение on-premise, облачная платформа, гибридный вариант?

Изначально это, конечно, была платформа on-premise. С развитием облачных технологий мы стали следовать этой тенденции, и сейчас Denodo сертифицирована для основных облачных платформ: Amazon, Microsoft Azure, Google Cloud.

Так как Denodo является уровнем абстракции для всех данных, которые есть в организации, архитектура внедрения платформы будет зависеть от количества и архитектуры источников данных. Если организация продвинутая, все ее данные находятся в облаке (как правило, не в одном), то Denodo будет находиться в облаке и предоставлять уровень абстракции для всех облачных источников данных заказчика. Если решение гибридное: большинство данных находится в облаке, но часть остается on-premise, — платформа Denodo может находиться как в облаке, так и внутри организации.

Если организация консервативная либо по регуляторным причинам не может хранить данные в облаках (это характерно не только для России, но и для стран Ближнего Востока), то это будет полностью решение on-premise.

— Как Denodo будет продвигаться в России?

Наша стратегия — работать через партнеров, с которыми уже заключаются соглашения. В Москве будет открыт офис, сейчас подписываем контракт с его директором и ищем технического специалиста. Я буду половину своего времени уделять российскому рынку.

Модель продаж Denodo такова, что мы сосредоточиваем свои усилия на продвижении технологии, а не на ее внедрении. Мы должны убедить заказчика в том, что технология виртуализации данных поможет ему решить определенные задачи, сэкономит деньги и время и предоставит конкурентные преимущества. После этого подключаются наши партнеры, которые уже занимаются внедрением платформы.

— Какое обучение предлагает Denodo партнерам и заказчикам?

Я работал во многих организациях и был приятно удивлен уровнем и качеством тех учебных материалов и документации по продукту, которые есть у Denodo. Все партнеры получают бесплатные тренинги по различным аспектам работы с платформой Denodo — по разработке, администрированию, архитектуре. Мы проводим однодневные бесплатные тренинги для заказчиков. Существует сильное сообщество Denodo, где можно обсуждать разные вопросы.

— На форуме вы отмечали, что компания планирует работу с госструктурами РФ. Это потребует определенной сертификации — вы готовы к этому?

Да, мы прекрасно знаем, что необходимо сертифицироваться в соответствии с местным законодательством. Как только будет сформирован московский офис, начнем работу в этом направлении.

— Технология универсального доступа к данным может быть полезна в реализации Национальной системы управления данными, которая сейчас создается в России. Рассматриваете ли вы возможность такого сотрудничества?

Да, стратегически эта задача для нас очень интересна. Но для того, чтобы эта стратегия реализовалась, нужно вначале сделать обязательные тактические шаги.

— Можно ли привести показательные примеры из практики, когда именно виртуализация данных позволила решить важную бизнес-задачу вашего клиента?

Один из таких проектов недавно завершен в крупнейшей логистической компании. Платформа Denodo поставляет данные для аналитических задач по управлению потоками грузов и расстановке контейнеров на складах (складов — огромное количество). Виртуализация данных оказалась единственно возможным решением для сбора данных в те сроки, которые бизнес ставил для ИТ-организации.

Ряд телеком-компаний строят на платформе Denodo решения по управлению мастер-данными в реальном времени, так называемые референциальные MDM, которые сейчас очень популярны. Из всех приложений и баз данных собираются данные для контакт-центра, и оператор получает всю информацию о клиенте в тот момент, кода принимает его звонок. Это позволяет сократить время обслуживания в 3–4 раза.

Кроме того, много проектов по интеграции данных из Интернета вещей в реальном времени — в медицине, в производственных компаниях, в обслуживании сложной техники.

Очень интересный проект по демократизации данных идет в Саудовской Аравии. Казалось бы, демократизация — не то слово, которым можно охарактеризовать происходящее в этом регионе. Однако крупнейшая госорганизация решила предоставлять другим министерствам и частным лицам данные о денежных потоках. На платформе Denodo строится магазин данных: любой человек сможет зайти на сайт и скачать нужные данные, естественно, при соблюдении всех необходимых требований к защищенности данных.

— У ваших потенциальных заказчиков в России сегодня ситуация сложная: неопределенность, экономический кризис, почти наверняка сокращение ИТ-бюджетов. Какие аргументы можно привести для обоснования вложений в платформу виртуализации данных?

На протяжении последних 25 лет кризисы происходят постоянно. В любое время заказчик не расходует деньги просто для того, чтобы их потратить. Внедрение виртуализации данных — то вложение, которое даст отдачу. Если вы сегодня инвестируете некоторую сумму в технологии Denodo, то через год она окупится, через два у вас сократятся расходы, а если вы занимаетесь монетизацией данных, то получите прибыль. Если показать это, любой адекватный бизнесмен вложится в такую технологию.

— И благодаря чему достигается такой результат?

Прямая выгода — это радикальное сокращение времени на внедрение задач, связанных с доступом к данным, от традиционных отчетов до сложной аналитики, машинного обучения, магазинов данных, монетизации данных. Проекты ускоряются, и снижается стоимость внедрения. Как показывает опыт наших заказчиков, внедрение любой из этих инициатив при использовании технологии виртуализации данных может стать дешевле в 10 раз.

Непрямая выгода состоит в том, что компания начинает полноценно использовать все свои данные — не тратится время на их поиск, повышается их качество. Это дает компании конкурентное преимущество.

Призывы превращать данные в ценный актив сегодня очень популярны. Эта задача актуальна для многих компаний, но каждая решает ее по-своему. С чего следует начать и к чему эти усилия могут привести — такие вопросы обсуждали участники одной из сессий форума «BIG DATA 2020 ОНЛАЙН: данные в основе цифровой экономики», проведенного издательством «Открытые системы» 4 июня. (О содержании пленарной сессии форума см. также «BIG DATA 2020 ОНЛАЙН: данные для государства и бизнеса»; гибкие и эффективные инструменты для работы с большими данными, в которых нуждается мир «после карантина» — в статье «BIG DATA 2020 ОНЛАЙН»: платформы данных посткризисной эпохи».)

«Сейчас самое актуальное время для создания стратегии данных. Впервые в истории данные стали важнее самих технологий», — подчеркнул Сергей Одинцов, менеджер департамента бизнес-консультирования Центра прикладного анализа данных PwC в России. Ни для кого не секрет, что в основе цифровой трансформации лежат те самые данные, которые накоплены в компании. А если нет нужных данных, причем качественных и актуальных, то и о трансформации речь идти не может.

Стратегия данных подразумевает изменения по восьми ключевым направлениям — от архитектуры и качества данных до вопросов культуры и ответственности. Иногда кажется, что реализовать необходимые изменения довольно просто, но это не так — каждое из них требует глубокой проработки. На этом пути много сложностей и барьеров — так сложилось исторически. Компании просто не хотят менять свои методы работы.

Как напомнил Егор Осипов, руководитель направления Big Data компании «Крок», успех любого проекта во многом определяется мотивами руководства компании. В случае больших данных, как правило, речь идет о трех ситуациях: желание «быть в тренде» и иметь модную технологию; модернизация существующего решения; осознанное желание принести пользу бизнесу. С первой из них, к счастью, приходится встречаться все реже — она была характерна для ранних стадий развития рынка. Осипов рассказал о выборе подходов в некоторых типичных ситуациях. В любом случае важно, чтобы заказчик осознанно относился к реализации проекта, иначе она будет идти тяжело.

«Обмен данными становится трендом. Чем больше компании используют алгоритмы анализа данных, тем более востребованными становятся внешние данные», — утверждает Денис Афанасьев, директор центра компетенции больших данных и искусственного интеллекта ЛАНИТ.

Таким образом, чем «умнее» становятся компании, тем больше им нужно данных. С другой стороны, обмену данными мешают барьеры — как законодательные, так и корпоративные, связанные с потерей знаний о клиентах. Один из методов их преодоления — поиск посредника, организующего устраивающий все стороны обмен.

Юлия Богачева, директор по управлению и анализу данных Qiwi, поделилась опытом трансформации нескольких компаний в data-driven company (компанию, управляемую на основе анализа данных). Для обозначения процесса перехода она использовала термин «датафикация».

Каждый такой проект — уникальная история, но, тем не менее, существуют несколько типичных схем. Первая из них — датафикация сверху, когда глава компании, прочитав книгу или посетив ИТ-форум, решает, что ему нужен CDO, чтобы эффективнее использовать данные внутри компании. Так появляется новый руководитель с задачей научить сотрудников работать по-новому. Датафикация сверху хорошо работает в вертикальных иерархических структурах. И здесь ключевой фактор успеха — наличие KPI по поддержке этого процесса у других руководителей.

Второй возможный вариант — датафикация снизу. В больших организациях всегда есть функционал по работе с данными: финансы, маркетинг, оценка рисков. В таких подразделениях появляются команды, занимающиеся управлением данными и претендующие на роль «офиса CDO». Датафикация снизу хороша при наличии различных линий бизнеса с малопересекающимися данными.

Большие данные в безопасности, образовании и HR

Кибермошенники не преминули воспользоваться ситуацией пандемии. Многократно обкатанные схемы и в период паники оказались эффективными: вновь пошли в ход качественно выполненные поддельные рассылки, стали эксплуатироваться темы пропусков, масок и медицинского обслуживания. Как с помощью больших данных можно противодействовать таким манипуляциям, рассказал Павел Крылов, руководитель направления по защите от онлайн-мошенничества Group-IB. Решения компании позволяют обнаруживать подобные виды мошенничества. Можно видеть, с каких устройств и из каких локаций производится вход, и выявлять явно сомнительные действия — например, когда с одного устройства осуществляется доступ ко множеству учетных записей.

Павел Крылов: «Большие данные помогают отследить злоумышленника, даже если он осторожен и пытается скрываться»

«Мы давно занимаемся киберразведкой, следим за мошенниками с помощью различных средств, храним историю использования IP-адресов. Все вместе помогает отследить злоумышленника, даже если он осторожен и пытается скрываться», — пояснил Крылов.

Как привлечь наиболее талантливых абитуриентов и помочь им сделать правильный выбор? Самый очевидный ответ — искать в социальных сетях «цифровой след» абитуриентов. Такой проект трудно реализовать в одиночку, однако он оказался под силу Университетскому консорциуму исследователей больших данных. Консорциум объединяет более 20 университетов, в которых созданы лаборатории прикладного анализа данных. В ходе своей работы они пытаются выявить проблемы университетов, которые могут быть решены с помощью анализа больших данных. Работу по поиску перспективных абитуриентов решили начать с Томского государственного университета.

«У школьников полностью отсутствует понимание того, как могут сложиться их карьерные пути в том или ином вузе, им нужна помощь. Через соцсети мы попытались идентифицировать потенциальных абитуриентов ТГУ», — рассказал Михаил Мягков, председатель Университетского консорциума исследователей больших данных. Ученые анализировали сообщества, на которые были подписаны школьники. Определив интересы подростка, ему предлагали поступать в вуз для обучения по тому или иному направлению. Усилия принесли результат: университету удалось набрать наиболее мотивированных студентов. По итогам первого курса, число отчислений снизилось вдвое, количество троечников — на треть. Далее проект планируется расширить до создания цифрового следа выпускников.

Николай Тржаскал, директор по развитию Центра искусственного интеллекта МТС, поделился опытом построения «дополненного интеллекта» в функции HR. В МТС работают более 65 тыс. человек, поэтому для компании очень важен процесс поиска кандидатов на вакансии. А цифровая трансформация HR рассматривается как для повышения эффективности собственных процессов, так и для профессионального роста сотрудников и их развития.

Работы начались с задачи поиска «идеального кандидата» для работы в розничной сети МТС. Это подтолкнуло к более глубокому изучению проблем в области HR. В 2019 году ситуация на рынке была стабильной и основные силы кадровых служб были направлены на улучшение опыта сотрудников. Однако при этом всегда существовала проблема субъективности оценки персонала: около трети проектов на базе искусственного интеллекта в HR были ориентированы именно на ее решение.

Но три месяца пандемии кардинально поменяли рынок труда. Сейчас вопросы эффективности работы HR выходят на первый план. Главным образом это касается автоматизации процессов и их дополнения интеллектуальными компонентами, а на более длинном горизонте — вопросов принятия решений и даже автономной работы.

Уже сегодня можно полностью автоматизировать подбор массового персонала — такие проекты существуют. Далее мы увидим, как искусственный интеллект все больше расширяет возможности сотрудника, повышая его эффективность.

Практически во всех сферах экономики и госуправления сегодня пытаются адаптироваться к новым условиям, наладить быстрый и надежный доступ к жизненно важным приложениям и сервисам работы с данными, сохраняя при этом стабильность операционной деятельности и избегая излишних затрат. Как продемонстрировал форум «BIG DATA 2020 ОНЛАЙН: данные в основе цифровой экономики», проведенный издательством «Открытые системы» 4 июня, востребованы новые гибкие и экономичные платформы поддержки работы с большими данными.

Как следовало из выступлений представителей различных отраслей отечественной экономики, производителей оборудования и программных решений, ответы на растущие запросы посткризисного цифрового уклада надо искать не только в унаследованных программных стеках и дорогостоящем проприетарном ПО, но и среди инновационных решений с открытым кодом и ранее не востребованных решений, позволяющих предприятиям пользоваться всеми преимуществами облачно-ориентированных платформ. (О содержании пленарной сессии форума см. также «BIG DATA 2020 ОНЛАЙН: данные для государства и бизнеса»; лучший практический опыт тех, кто превращает данные в ценный актив — в статье «BIG DATA 2020 ОНЛАЙН: кому помогают данные».)

Виртуализация данных

Алексей Сидоров, директор по управлению данными компании Denodo, в своем выступлении «Виртуальная фабрика данных — современная архитектура управления большими данными» рассказал о реализации набирающей популярность концепции виртуализации данных.

Идея логического бесшовного объединения всех доступных данных в единый связный массив для формирования индивидуальных конфигураций не нова, но только сегодня, во многом благодаря развитию технологий виртуализации и гибридных облаков, она обрела реальные очертания. Корпоративные данные часто просто невозможно физически собрать в одной точке, абстрагироваться от конкретных форм их хранения, с тем чтобы и унаследованные, и новые приложения видели данные как один единый пул. Однако бизнес не интересуют форматы данных и особенности их хранения — ему необходим мгновенный доступ ко всей корпоративной информации, распределенной по озерам, хранилищам, структурированным базам, файлам Excel на компьютерах сотрудников и пр., чтобы использовать для ее анализа имеющиеся системы бизнес-аналитики, приложения учета, корпоративные витрины данных и т. д. Виртуальная фабрика данных позволяет решить эти задачи без физического перемещения данных, обеспечивая контроль доступа к ним, очистку, унификацию и визуализацию. Промежуточный уровень изолирует физическое хранение данных от приложений, которые не должны знать, на каких серверах, где и в каких базах находятся используемые ими данные, и лишь предоставляет приложениям виртуальный доступ к нужным сведениям. Такой подход позволяет минимизировать ошибки, снизить нагрузку на инфраструктуру, повысить скорость безопасного доступа к информации, сократить время на создание новых витрин данных, что востребовано приложениями бизнес-аналитики в реальном времени, требующими совместного использования исторических и оперативных данных.

Как работает виртуальная фабрика, воплощающая концепцию демократизации данных, Сидоров продемонстрировал на примере проекта для компании Caterpillar. Большегрузные самосвалы CAT невозможно ремонтировать вне гаража, их эвакуация также весьма проблематична, а каждый день простоя дорого обходится дилеру. Для минимизации потерь требуется проводить анализ данных от датчиков машины для предсказания момента ремонта, что предполагает интеграцию с корпоративными системами анализа, учета и планирования, среди которых немало унаследованных. В результате развертывания платформы Denodo Platform удалось сократить стоимость гарантийного ремонта, оптимизировать складские запасы запчастей и обеспечить оперативный учет замечаний, возникающих в процессе эксплуатации самосвалов. Более того, CAT теперь монетизирует накапливаемые данные, которые стали охотно покупать дилеры, заинтересованные в улучшении обслуживания своих клиентов, приобретающих, по сути, не физическую машину, а услугу по перевозке грузов. Таким образом, единая модель данных и цифровое моделирование позволяют всем участникам производственных отношений развиваться даже в условиях сокращения затрат.

Повсеместные данные

Выступление Сергея Золотарева, генерального директора компании Arenadata, было посвящено архитектуре аппаратно-программной платформы, позволяющей создавать и развертывать любые приложения в любых средах — от граничных систем до гибридных облаков.

Как убедительно показал нынешний кризис, развивая цифровые инструменты бизнеса, очень важно уметь справляться с неопределенностью, а для этого надо быстрее и чаще, в стиле Agile, предлагать и проверять новые бизнес-модели, различные сервисы и прототипы новых решений. Однако поддержку такой стратегии не сможет обеспечить ни одна универсальная инфраструктура, вынужденная наряду с традиционными работать с новыми инструментами анализа данных.

«Сегодня уже недостаточно сделать хорошую платформу работы с данными — надо, чтобы она отвечала постоянно меняющимся требованиям и современным тенденциям развития технологий», — отметил Золотарев.

Вместе с тем пользователям сегодня предлагаются лишь две парадигмы, между которыми они вынуждены делать трудный выбор: либо локальная инфраструктура на собственной корпоративной площадке (безопасно, но трудно масштабировать и внедрять новые технологии), либо облака (масштабирование, эластичность, но недостаточная безопасность). Кроме того, наметилась практика получения конкретного сервиса только из определенного облака. По мнению аналитиков, решение на ближайшие десять лет — гибридное облако, позволяющее получать преимущества двух подходов. Почти 90% компаний сегодня одновременно используют и частные, и различные публичные облачные среды, по мере необходимости перенося между ними свои приложения. Как полагает Золотарев, именно гибридные облачные среды станут стандартом для хранилищ данных поддержки бизнеса.

Однако просто запустить приложение в другом облаке вряд ли сразу получится: пользователь столкнется с разнородностью версий и настроек ПО, отсутствием единого инструмента управления и мониторинга и другими сложностями. Поэтому гибридная инфраструктура должна обеспечивать единообразие версий инструментов, приложений и системных сред, а также совместимость и тиражируемость их шаблонов.

Компания Arenadata предлагает модульное решение для цифровой компании, включающее: оцифрованные бизнес-процессы (множество инструментов для решения прикладных задач); платформы данных Arenadata Enterprise Data Platform (EDP) с нативной интеграцией сервисов и компонентов, централизованным мониторингом и инструментами управления кластерами; эластичную инфраструктуру. Последние два компонента — это гибридное облако. EDP представляет собой не просто набор различных сервисов на все случаи жизни, включая и бесплатные, а универсальный оркестратор Arenadata Cluster Manager гибридного ландшафта, позволяющий устанавливать и настраивать сервисы, а также управлять ими независимо от инфраструктуры. Естественно, предусмотрены инструменты работы и с инфраструктурой: создание и управление виртуальными машинами, конфигурирование операционных систем и пр. По сути, речь идет об экосистеме, способной работать с множеством сервисов управления данными и облачных ресурсов, таких как Kafka, Hadoop, Tarantool, ClickHouse, Spark, AWS, Mail.ru Cloud, облако «Ростелеком», «Яндекс.Облако» и пр.

Сегодня платформы Arenadata EDP работают, в частности, у таких заказчиков, как НЛМК, ФНС, «Газпромнефть», X5, ВТБ.

Однако ценность многих технологий для бизнеса (особенно бесплатных) ограниченна, и многие компании это осознают. Как отметил Евгений Степанов, руководитель направления Big Data Platform компании Micro Focus в России, все больше заказчиков, инвестировавших в Hadoop в расчете на «волшебную пилюлю» в аналитике больших данных, сталкиваются с тем, что им необходимо пересмотреть используемые технологии. Не стоит отрицать преимущества этой платформы в управлении данными и эффективном использовании аппаратных ресурсов, а также возможности по аналитике неструктурированных данных. Однако за последний год на рынке сформировалось три тенденции, оказывающих влияние на поведение заказчиков и заставляющих производителей принимать компромиссные решения. Помимо массивного роста объема неструктурированных данных, это развитие облачных платформ и растущая потребность в инструментах машинного обучения.

По словам Степанова, при развитии платформы Vertica была сделана ставка на эти три основных вызова: унификация данных независимо от формата, в которых они поступают, гибридные и мультиоблачные инсталляции систем, а также развитие машинного обучения на всем масштабе данных.

«Данные — это исключительно затраты компании. Надо учиться превращать их в победы», — заявил Олег Гиацинтов, технический директор DIS Group. Не случайно 57% директоров по данным, опрошенных компанией Informatica, считают своей ключевой задачей «демократизацию» данных: чтобы использовать данные как актив, надо знать о них все. В концепции Data 3.0, озвученной Informatica четыре года назад, данные были провозглашены основным активом и драйвером роста компании. Недавно Informatica выдвинула новую парадигму Data 4.0, суть которой заключается в управлении данными с помощью искусственного интеллекта. Искусственный интеллект приходит людям на помощь в осознании и описании данных, помогает понять, могут ли они выступать в качестве актива и насколько они ценны.

Как отметил Роман Гоц, директор департамента больших данных и безопасности Atos, еще четыре года назад многие потенциальные заказчики вообще не понимали, что можно делать с данными. Случались ситуации, когда сами ИТ-директора не слишком сознавали, зачем им нужно озеро данных, не могли объяснить этого бизнесу, и реализуемые проекты ставились на паузу. С тех пор рынок заметно созрел, а в Atos перешли от «железных» систем к законченным решениям под ключ.

В рамках своего выступления Гоц представил программно-аппаратный комплекс Atos с встроенной платформой Cloudera для создания озер данных. Он обладает всеми традиционными преимуществами перед самосборными решениями, в том числе обеспечивает поддержку из одного окна и радикальное ускорение процесса внедрения. В частности, крупный проект SAP Data Factory в Германии на базе этого решения был развернут менее чем за два месяца. В России его применяют «Норильский никель», НЛМК и ЧТПЗ.

Увидеть все

Коронавирусный кризис «закрыл» физические границы, но границы цифровые, напротив, оказались стертыми, что сделало еще актуальнее средства сквозной аналитики, независимые от объемов данных, аппаратной или облачной платформы.

«Бизнес хочет видеть все данные в целом и непосредственно работать с ними. Однако в реальности получает лишь фрагменты (либо вынужден работать только через аналитиков или программистов), а иногда и грязные данные. В итоге анализируется не то, что надо, а то, что 'под фонарем"», — обозначил насущную проблему Иван Вахмянин, генеральный директор компании Visiology, в своем докладе «Одна BI-платформа, чтобы править данными. Сквозное обогащение данных — от Big Data до ручного ввода».

Иван Вахмянин: «Бизнесу надо работать с тем, что есть, а не пытаться нормализовать данные и перемещать их в одну точку. Нужна платформа, способная предоставлять удобные инструменты работы с любыми большими, грязными или структурированными данными»

Предлагаемая этой компанией платформа позволяет бизнес-руководителям непосредственно работать со всеми имеющимися данными, подключаться к их источникам независимо от «чистоты», структурированности и формы представления информации. При этом интерфейс и инструменты доступны и понятны всем, а не только исследователям данных, аналитикам или программистам.

Visiology позволяет работать во всех сегментах пространства бизнес-анализа: с классическими корпоративными системами аналитики («1C», SAP); большими данными; «малыми» данными (почта, файлы Exсel и пр.). С помощью инструмента ViLoader обеспечиваются устранение дублирования и очистка данных, а система Data Collection через веб-формы предоставляет средства сбора отчетности, планирования и бюджетирования, причем без привлечения ИТ-специалистов. Эта система работает совместно с аналитической СУБД ViQube, в полной мере использующей возможности современного аппаратного обеспечения и оптимизированной для выполнения аналитических запросов. Такая система ориентирована на работу в зоне больших данных и предусматривает режимы In-memory для работы с данными реального времени и ROLAP Engine для работы с хранилищами (обеспечивается интеграция с экосистемой Arenadata и платформой Vertica).

Сегодня около 70% получаемых данных генерируется устройствами Интернета вещей, и нет смысла их обрабатывать даже на платформах, подобных перечисленным, поэтому неудивительно, что набирает популярность концепция граничных вычислений — обработки данных непосредственно в точке их генерации. В своем выступлении «Индустриальные платформы IoT и граничные вычисления» Алексей Никифоров, директор по технологиям Hitachi Vantara, рассказал о динамичной инфраструктуре поддержки устройств Интернета вещей. Платформа Lumada Edge Intelligence, эксплуатируемая сегодня на ряде предприятий нефтегазового сектора России, обеспечивает поддержку решений охраны труда и техники безопасности, выполняя, в частности, задачи мониторинга работоспособности оборудования.

***

Во многих отраслях уже давно принят на вооружение модульный, индустриальный подход — например, авиалайнеры не строят целиком на одном месте, а собирают из лучших в своей области модулей от различных надежных поставщиков. На фоне нынешнего кризиса гибридные облака и виртуализация данных подтолкнули и ИТ к подобному индустриальному сценарию, призванному, как продемонстрировал форум BIG DATA 2020, обеспечивать цифровые предприятия платформами, позволяющими эффективнее преодолевать периоды турбулентности, лучше и точнее, чем сейчас, собирать и обрабатывать все доступные данные.