«Яндекс» представил метод машинного обучения — CatBoost — для более качественного прогнозирования моделей, сообщает пресс-служба компании.

Основное отличие CatBoost — умение работать с данными из разных источников, переводить категориальные данные в числа, а также снижать количество ошибок при прогнозировании не в процессе последовательных доработок модели, а сразу.

В «Яндексе» рассчитывают, что в тех сервисах, где CatBoost будет показывать лучшие результаты, технология будет внедрена вместо предыдущего метода машинного обучения компании «Матрикснет». В частности, компания планирует перевести на CatBoost сервис «Яндекс.Такси», а также внедрить CatBoost — наравне с «Матрикснет» — в поиск.

«Яндекс» выложил библиотеку машинного обучения CatBoost в открытый доступ. В компании считают, что технология перспективна для использования в финансовом секторе, медицине, промышленности, рекомендательных сервисах и др.

Библиотека поддерживает операционные системы Linux, Windows и macOS и доступна на языках программирования Python и R. «Яндекс» разработал также программу визуализации CatBoost Viewer, которая позволяет следить за процессом обучения на графиках.

Компания Cisco Systems сообщила о выходе на рынок intent-based networking, заявив, что технология, использующая для управления сетями машинное обучение и передовые средства автоматизации, может стать главной движущей силой в дальнейшем изменении управления сетями.

Что же представляет собой intent-based networking?

Вице-президент Gartner по исследованиям Эндрю Лернер отметил, что в сетевых системах, основанных на намерениях (intent-based networking systems, IBNS) нет ничего нового, а идея, лежащая в их основе, известна уже много лет. Новым же является то, что алгоритмы машинного обучения подошли к той точке, за которой системы IBNS могут стать реальностью. С фундаментальной точки зрения это означает, что желаемое состояние сети определяет администратор, а соответствующие политики реализуются с помощью программного обеспечения автоматизированной настройки.

«IBNS знаменуют собой решительный отказ от сегодняшних способов управления корпоративными сетями, – пояснил Лернер. – В настоящее время трансляция производится вручную, а алгоритмическая проверка отсутствует… Системы IBNS осуществляют мониторинг, идентификацию и вмешательство в реальном времени, меняя существующие условия».

По словам Лернера, системам IBNS присущи четыре характерные черты.

— Трансляция и проверка. Одним из основных принципов функционирования IBNS является трансляция команд сетевых администраторов в действия, выполняемые программным обеспечением. Идея заключается в том, что управляющие сетью определяют высокоуровневую бизнес-политику, применяемую к сети. IBNS проверяет, можно ли реализовать эту политику.

— Автоматическое внедрение. После того как управляющий определит желаемое состояние сети, программное обеспечение IBNS осуществляет манипуляции сетевыми ресурсами для перехода в желаемое состояния и реализации принятой политики.

— Осведомленность о состоянии . Еще один ключевой компонент IBNS осуществляет сбор данных для постоянного мониторинга за состоянием сети.

— Гарантии и динамическая оптимизация/исправление . IBNS гарантирует постоянное поддержание желаемого состояния сети. Для выбора наилучшего способа перехода в желаемое состояния используется машинное обучение. Для поддержания этого состояния автоматически выполняются необходимые корректирующие действия.

В целом, IBNS предоставляет сетевым администраторам возможность определить то, что должна делать сеть, а платформа для автоматизированного управления сетью формирует желаемое состояние и реализует политики.

В Cisco наряду с рядом стартапов уже объявили о планах выпуска продуктов для построения платформ IBNS, но, по словам Лернера, полнофункционального продукта IBNS на рынке пока не видно. Концепция IBNS предполагает работу, не привязанную к оборудованию какого-то конкретного поставщика, но Cisco, возможно, захочет выпустить продукты, интегрируемые с ее собственным оборудованием.

С учетом природы IBNS широкого распространения подобных систем не стоит ждать по крайней мере до 2020 года. Вместе с тем, Лернер убежден в том, что пилотные проекты IBNS будут появляться, доказывая правильность предложенной концепции. «Мы полагаем, что появляющиеся реализации будут носить прагматический характер, связанный с построением новых или обновлением существующих сетей, – подчеркнул он. – Ранние внедрения будут связаны с хорошо проработанными конкретными сценариями использования, например, с архитектурой spine/leaf или с инфраструктурой оконечных узлов территориально-распределенных сетей».

Показателем взросления рынка инструментов больших данных можно считать то, что среди них постепенно прекращается «перетягивание одеяла», они находят ту нишу, в которой наиболее эффективны. Наблюдается смещение фокуса от конкуренции между различными платформами к интеграции между ними. Например, все разработчики решений ищут способы интеграции с платформой Hadoop, включающей в себя большую часть инструментов работы с большими данными. Это тем более актуально, что нынешние области применения Hadoop ограничены: чаще всего это архивное хранение (а иногда и «помойка» данных), а также машинное обучение. Для решения остальных задач рядом с ним в большинстве случаев создается традиционное хранилище данных.

Тем не менее, как показали выступления в ходе конференции «Технологии больших данных 2017», поведенной издательством «Открытые системы», будущим рынка эксперты видят консолидацию инструментов – конвергенцию различных решений в рамках универсальных платформ, а главными точками его роста станут нейросети. При этом будет происходить резкий рост числа пользователей, главным образом за счет непрофессиональных аналитиков, которые начинают играть в работе с данными все более важную роль. Текущие же тенденции технологий под зонтиком больших данных заключаются в преобладании открытых платформ, возникновении экосистемы вокруг платформы Hadoop, а также переходе от пакетной обработки данных к обработке в реальном времени.

Не все данные одинаково полезны

«Не всегда ‘больше данных’ означает ‘больше денег’, существуют и обратные примеры. Часто данные обходятся компаниям слишком дорого, причем речь идет не только об их сборе и хранении», — заявил Максим Савченко, руководитель группы разработки моделей «Сбербанк-Технологии». Сама разработка моделей также требует средств, а полученные результаты далеко не всегда получается встроить в операционный контур бизнеса. Наконец, могут возникать регуляторные ограничения, и тогда все потраченные на работу средства окажутся пущенными на ветер, да и клиентам не всегда нравится, что компания хочет знать о них «слишком многое».

Любопытно, что многие виды личной информации, к использованию которой клиенты относятся особенно нервно, по словам Савченко, на самом деле не несут практической пользы. «Мы не лезем в подробности, которые бизнесу не нужны», — подчеркнул он. Например, «показуха» в виде предоставления компаниями в банк анкет о своих показателях работы не слишком эффективна для принятия решений о кредитовании. Гораздо полезнее последить за их транзакционной активностью. Ярким примером такого подхода может служить переход при работе с мелким бизнесом от оценок рисков по традиционным источникам к анализу транзакционных данных. В результате отказа от анкетирования просрочка по задолженностям не выросла, при этом портфель за полгода вырос на 10%, что в масштабах Сбербанка и при текущей экономической ситуации можно признать очень неплохим результатом.

«Перед тем, как пытаться построить какую-либо модель, надо не только собрать данные, но и понять, имеет ли смысл проводить эту работу, будет ли она экономически эффективной», — отметил Александр Сидоров, руководитель службы анализа данных HeadHunter. Выяснилось, что в рекрутинге машинное обучение дает хороший результат. В компании реализовано несколько таких проектов. Первый из них был связан с премодерацией резюме, второй – с подбором лучших вакансий по резюме, третий – с ранжированием откликов на вакансии. Как показала практика, пользователям ресурса очень нравится, когда экономят их время, а в случае HeadHunter речь идет про экономию в несколько человеко-месяцев в день. В долгосрочной перспективе, по мнению Сидорова, речь может идти не только об эффективности подбора и скорости поиска кандидатов, но и о том, что машина сможет взять на себя массу рутинной работы рекрутера.

«Алгоритмы машинного обучения неэффективны для работы с 'сырыми' данными. Данные требуется готовить: отбрасывать лишние из них, группировать факты, относя их к интерпретируемым категориям», — рекомендовал Дмитрий Бабаев, специалист по работе с данными компании МТС. Например, телеком-оператор обладает четырьмя типами фактов: посещенные локации, звонки, SMS и визиты в страны. Напрямую с ними работать очень тяжело. Однако группировка локаций по типам зданий дает возможность вычислить тип и режим работы абонентов, а работа с телефонными номерами – вычислить круги их общения.

«Несколько лет назад нами было принято решение о переходе от продукто-ориентированной к клиенто-ориентированной стратегии. Это означает совсем другие требования к прогнозной аналитике», — рассказал Руслан Хохлов, менеджер проектов ВТБ24. Как следствие, началась деградация производительности корпоративного хранилища, построенного на технологиях Teradata и SAS. Кроме того, решение стало неповоротливым, внесение изменений в него происходило в несколько раз дольше, чем требовалось. Решением стал перенос части функционала хранилища на платформу Cloudera Hadoop. В результате удалось не только взять под контроль производительность хранилища, но и сократить стоимость его расширения. Кроме того, была повышена доступность данных для анализа за счет устранения конкуренции за ресурсы системы действий пользователей и регламентных процессов.

Алексей Натекин: «Личные связи всегда были лучшим инструментом для поиска нужных людей, а в случае с аналитиками это верно вдвойне»

Не мешать работать

Как признал Валерий Артемьев, советник директора центра ИТ Банка России, уже длительное время перед инструментами больших данных сохраняются одни и те же барьеры. Наиболее очевидным из них является сложность комплексного использования инструментов в режиме «сделай сам». Кроме того, усложняется процесс работы с данными: с ростом их объема растет число ложных корреляций. Стоит упомянуть и чисто психологический барьер восприятия менеджментом результатов анализа из «черного ящика».

Наконец, специалист по данным – «редкий и дорогой зверь». Именно поэтому важным направлением развития средств аналитики является их консьюмеризация – упрощение, переход к самообслуживанию, развитие средств визуализации.

«Личные связи всегда были лучшим инструментом для поиска нужных людей, а в случае с аналитиками это верно вдвойне», — подчеркнул Алексей Натекин, директор Data Mining Labs. Как показывает практика, среднее время жизни специалистов по данным в компаниях очень невелико. Это связано как с частыми провалами начатых проектов (и, как следствие, расформированием команд), так и с тонкой душевной организацией таких сотрудников. Надо понимать, зачем и для чего компании нужны такие специалисты – по словам Натекина, многие проблемы связаны именно с непониманием этого. Важно давать им право на ошибку, но при этом фокусироваться на быстрых проектах, так как риск неудачи действительно очень велик.

Легко навсегда испортить свою репутацию работодателя некорректной постановкой задач и навязыванием неподходящих методов работы. Не надо объяснять, как следует работать специалисту по данным, особенно если сам далек от этой области.

Microsoft Research и Maluuba, стартап в сфере глубинного обучения, приобретенный корпорацией в начале 2017 года, научили искусственный разум играть в одну из популярных компьютерных игр Ms. Pac-Man, и сделали из него чемпиона, побившего мировой рекорд, установленный человеком.

Играя в версию аркады Ms. Pac-Man, выпущенную для одной из первых домашних консолей Atari 2600, искусственный интеллект смог набрать максимальное количество возможных очков – результат умной машины составил 999 990 баллов, тогда как лучший результат, показанный человеком, равен 266 360.

При обучении искусственного интеллекта использовался метод «гибридной архитектуры наград». Он заключается в том, что 150 специальным программам-агентам назначается конкретная задача: избегать призраков, правильно передвигаться, собирать гранулы и так далее. С помощью программ-агентов искусственный интеллект самостоятельно распределял приоритеты для достижения максимального результата.

Версия игры Ms. Pac-Man для Atari 2600 использовалась, поскольку код игры в ней менее предсказуем, чем в оригинальной версии. Стратегией разработки стало использование перспективного подхода обучения с подкреплением — reinforcement learning, который предполагает, что алгоритму даются для обработки примеры желаемого поведения, и он методом проб и ошибок совершенствуется.

По словам специалистов, работавших над проектом, созданные ими решения внесут вклад в обработку естественного языка, а также потенциально смогут лечь в основу систем детального предсказания покупательского поведения.

Исследовательская группа во главе с учеными МТИ разработала процессор, способный существенно ускорить вычисления, связанные с задачами искусственного интеллекта, за счет использования света вместо электричества. По словам исследователей, многие из предлагавшихся ранее применений фотонных процессоров на практике оказались нереализуемыми, тогда как «световые» нейронные сети, предложенные авторами, могут использоваться для определенных задач глубинного обучения.

В частности, традиционные центральные и графические процессоры не всегда эффективны при выполнении большого количества операций перемножения матриц. По словам ученых МТИ, их фотонный чип, перемножающий матрицы оптически, делает это почти мгновенно и с ничтожными затратами энергии. Как объясняют исследователи, результат определяется по картине интерференции волн пучков света. Сам чип представляет собой матрицу взаимосоединенных волноводов, меняя конфигурацию которых, можно программировать процессор на выполнение различных вычислений.

Прототип процессора был продемонстрирован на задаче распознавания речи. По оценке разработчиков, чип будет быстрее обычных справляться с обработкой аналоговых сигналов, так как ему не нужен промежуточный этап преобразования в цифровую форму.

Сегодня рынок графических процессоров, используемых в системах машинного обучения, является, по сути, рынком всего одной компании — Nvidia.

Единственным ее крупным конкурентом в сегменте дискретных графических процессоров остается компания AMD, на чью долю приходится 30% от общего объема продаж (Nvidia сохраняет за собой 70%). Что же касается машинного обучения, здесь Nvidia практически полностью контролирует ситуацию. И не только потому, что все крупные облака, поддерживаемые графическими процессорами, работают на оборудовании Nvidia, но и потому, что связующее программное обеспечение для графических процессоров, используемое в системах машинного обучения, в основном построено на основе архитектуры Nvidia CUDA.

В компании AMD долго размышляли над тем, как отвоевать у конкурента кусок пирога себе. Наряду с проектированием оборудования, которое составило бы Nvidia конкуренцию по производительности и цене, она готовила платформу для нейтральных по отношению к производителю графических процессоров программных ресурсов. Благодаря этому разработчики смогут свободно использовать в своих решениях продукцию AMD, не беспокоясь о программной поддержке.

В конце мая компания сообщила об очередных шагах, которые должны приблизить ее к поставленной цели. Во-первых, продемонстрирован очередной процессор Radeon Vega, построенный на основе новой графической архитектуры. Во-вторых, представлена переработанная версия программной платформы с открытым кодом ROCm, которая позволяет создавать фреймворки машинного обучения и другие приложения, использующие преимущества масштабного применения графических процессоров.

Обе составляющие – и аппаратная, и программная – одинаково важны.

Новая звезда AMD: Vega

На протяжении долгого времени компания AMD занимается созданием центральных и графических процессоров, а также их комбинаций, приносящих покупателю максимальную отдачу за его деньги. И новое семейство графических процессоров Vega — не является исключением. Это не просто рациональная по затратам альтернатива семейству Nvidia Pascal – Vega бьет Pascal вчистую.

Предварительные результаты тестирования, опубликованные Хасаном Муджтабой на сайте WCCFTech, показывают, что Radeon Vega Frontier Edition (профессиональная версия графического процессора) опережает Nvidia Tesla P100 в тесте DeepBench в 1,38-1,51 раза в зависимости от используемых драйверов Nvidia.

К эталонным тестам всегда следует относиться с осторожностью, но, глядя на такие улучшения, трудно остаться равнодушным. Вместе с тем важно, по какой цене AMD собирается предлагать эти улучшения. Tesla P100 продается примерно за 13 тыс. долл., цена же на Vega Frontier пока не объявлена.

«Рок-м-ролл» против CUDA

Впрочем, для AMD важнее даже не обойти Nvidia по соотношению между ценой и производительностью, а гарантировать, что ее оборудование в популярных приложениях машинного обучения будет поддерживаться не хуже, чем аппаратные средства Nvidia.

Сегодня программное обеспечение, предназначенное для графических ускорителей, использует по большей части библиотеки Nvidia CUDA, которые работают только с оборудованием Nvidia. Библиотека с открытым кодом OpenCL предлагает поддержку устройств различных типов, не зависящую от поставщика, но производительность при этом оказывается ниже.

Вместо того чтобы вступать в борьбу за улучшение OpenCL – а это довольно медленный процесс, находящийся под контролем специального комитета, – в AMD предпочли создать свою собственную платформу с открытым кодом для вычислений с использованием графических процессоров. Платформа получила название ROCm – Radeon Open Compute Platform. По замыслу разработчиков, она должна представлять собой независимое от конкретного языка и поставщика оборудования связующее программное обеспечение для графических процессоров, рассчитанное в первую очередь на собственные технологии AMD, однако теоретически подходящее для любого графического процессора. При необходимости ROCm может взаимодействовать с графическими процессорами посредством OpenCL, но есть и собственные средства взаимодействия.

Остается узнать лишь, насколько ROCm превосходит OpenCL по производительности при машинном обучении. После переноса фреймворка Caffe на платформу ROCm производительность по сравнению с версией OpenCL выросла на 80%. Более того, конвертацию кода при использовании ROCm можно значительно автоматизировать, а значит, есть дополнительный стимул опробовать фреймворки на этой платформе. В перспективе планируется и поддержка других фреймворков, в частности TensorFlow и MxNet.

Долгая игра

Конечную цель AMD уяснить несложно. Это создание среды, в которой графические процессоры AMD могли бы заменить оборудование Nvidia при машинном обучении. Компании достаточно предложить за те же деньги похожую или более высокую производительность оборудования и обеспечить работу существующей программной экосистемы машинного обучения со своими собственными графическими процессорами.

В определенном смысле перенос программного обеспечения можно считать самой легкой частью предстоящей работы. Надо найти лишь программистов, которые конвертировали бы требуемый код для наиболее популярных фреймворков машинного обучения и поддерживали его в актуальном состоянии по мере дальнейшего развития аппаратного обеспечения и самих фреймворков.

Труднее всего для AMD – заручиться поддержкой в местах масштабного применения графических процессоров. Все графические процессоры, предлагаемые сегодня в Amazon Web Services, Azure и Google Cloud Platform, разработаны компанией Nvidia. Но если следующая итерация программного обеспечения машинного обучения станет гораздо более независимой от графических процессоров конкретного производителя, то у поставщиков облачных решений будет меньше поводов отказаться от процессора Vega или его наследников.

Как бы то ни было, любые планы AMD должны нацеливаться на рост спроса. На то чтобы набрать нужные темпы, у компании уйдут годы, ведь сражаться приходится фактически со всем уже завоеванным Nvidia миром.

Mail.Ru Group и Insilico Medicine в сотрудничестве с Республиканским центром электронного здравоохранения при Министерстве здравоохранения Республики Казахстан организуют первый в России и СНГ онлайн-хакатон AgeHack@MLBootCamp по машинному обучению, посвященный поиску решения для борьбы со старением, а также популяризацию направления data science среди ИТ-специалистов из стран СНГ.

Базой исследования станет выборка из анонимизированных клинических анализов 100 тыс. человек.

Конкурс пройдет на площадке ML BootCamp с 15 июня по 15 июля 2017 года.

Победитель хакатона получит Macbook Pro, участники, занявшие второе и третье места – графические карты Nvidia. Тех, кто займет места с четвертого по шестое, также ждут ценные призы.

Участие в хакатоне бесплатное.