Корпорация Microsoft объединила ряд новых технологий обработки данных в одном пакете, который должен помочь организациям извлечь дополнительные ценности из растущего объема данных.

«Новый пакет Cortana Analytics разрабатывался для того, чтобы демократизировать Большие Данные, – заявил генеральный директор Microsoft Сатья Наделла на открытии конференции World Wide Partner Conference. – Благодаря ему любой бизнес сможет осуществлять преобразования, используя мощь данных. Мы стремились максимально упростить процедуру развертывания Cortana Analytics, потенциально расширяя тем самым сферу применения этих технологий».

На первый взгляд, Cortana Analytics преследует ту же цель, что и IBM Watson Analytics, еще одна система, в которой передовые аналитические технологии были интегрированы с целью упрощения их использования в самых разных отраслях.

Cortana Analytics охватывает различные аспекты корпоративной обработки данных, объединяя структурированные базы данных с неструктурированной информацией файлов журналов и потоками, поступающими в реальном времени с устройств Интернета вещей.

В новый пакет включены аналитические технологии Microsoft Power BI, предназначенная для представления данных в визуально понятных форматах, и Microsoft ML (Machine Learning), позволяющая прогнозировать будущие события на основе имеющихся наборов данных. Доступ ко всем этим функциям осуществляется через голосовой интерфейс персонального цифрового помощника Cortana.

Бизнес мог бы использовать соответствующее программное обеспечение для выявления сокращения активности клиентов, которое свидетельствует о возможном уходе их к конкурентам. Применение Cortana Analytics Suite при планировании технической поддержки оборудования поможет находить оптимальные сроки при организации техобслуживания. При обращении к Cortana не нужно составлять никаких письменных запросов, достаточно голосом дать системе указание выполнить те или иные действия.

«Взяв на вооружение Cortana Analytics, вы получите все необходимое для создания фантастических решений для своих клиентов», – подчеркнул исполнительный вице-президент подразделения облачных технологий и взаимодействия с корпоративными клиентами Скотт Гатри.

Одним из первых пользователей нового программного обеспечения стала больница Dartmouth-Hitchcock. Технологии анализа Microsoft позволяют оптимизировать планы лечения пациентов с учетом истории их болезни и результатов медицинских исследований заболеваний, протекающих аналогичным образом.

В Microsoft намерены выпустить пакет Cortana Analytics Suite во второй половине текущего года. Оплату предполагается взимать ежемесячно на условиях подписки. Для решения конкретных задач, например, для обнаружения мошенничества, планируется выпустить ряд предварительно сконфигурированных пакетов.

Организованная уже в третий раз конференция по технологиям, аналитике и работе с данными в интернет-маркетинге – Yet another Conference on Marketing – была посвящена на этот раз рекомендательным системам и собрала около 1,5 тыс. участников, главным образом специалистов в области цифрового маркетинга, студентов соответствующих специальностей и разработчиков маркетинговых технологий.

«Рекомендательные системы способны привести к тектоническому сдвигу в культуре потребления» – таков был главный тезис доклада Виктора Ламбурта, заместителя руководителя подразделения медиасервисов «Яндекса». Эволюция в культуре потребления, по мнению Ламбурта, прошла три стадии: средние века – индивидуальный подход, когда продавец знал покупателя в лицо; XX век – массовое производство для обезличенного потребителя (например, Ford); сегодняшний день – массовая кастомизация, производство товаров и услуг для конкретной аудитории. Как оказалось, эффективность современных рекламных технологий весьма низка и во многом случайна: рекламный плакат предназначен всем и никому из конкретных потребителей товара. Действительно, трудно дать точный ответ на общий вопрос, размещая билборд в местах возможного появления потенциальных покупателей или рекламную картинку в условном прайм-тайме, – история повторяется на другом уровне, и сегодня вновь приходит время персональных рекомендаций, но с несоизмеримо более многочисленной аудиторией, чем жители одного квартала.

Задача современных рекомендательных систем – комплекса алгоритмов, позволяющих предсказать, что окажется наиболее интересно пользователю, — буквально знать потребителей по именам и делать им персональные предложения. Так, посредством сингулярного разложения (Singular Value Decomposition, SVD) можно описать пользователя в виде вектора из N факторов, а товары всех производителей — в виде матрицы; путем их перемножения можно найти конкретного пользователя, которому следует предложить конкретный товар. В проекте «Яндекс.Маркет» за счет SVD и ряда других клиентоориентированных и контент-ориентированных технологий удалось, по словам Ламбурта, на 30% повысить продажи блока «Популярные товары».

Дальше — больше. Предпочтения покупателей далеко не статичны, и, чтобы отслеживать их изменения, каждому покупателю пришлось бы предоставить персонального менеджера, однако физически это невозможно, а с помощью машинного обучения, например на базе алгоритма MatrixNet, вполне достижимо. В конечном счете задача такого «менеджера» – в каждый момент времени и в любой точке пространства предложить потребителю необходимую ему услугу или товар, причем рекомендуя что-то новое, что потенциально может понравиться. Например, предложить послушать музыку исполнителя, работающего в том же жанре, что и любимый певец, или предоставить новые треки того же музыкального стиля. Иначе говоря, не предлагать слушать одну и ту же, однажды понравившуюся музыку, а находить новую, помогая клиенту открывать для себя иные формы. В результате применения таких подходов среднее время прослушивания музыки после перезапуска сервиса «Яндекс.Музыка» выросло за девять месяцев на 70%.

На конференции был объявлен новый проект «Яндекс.Радио», построенный на технологиях рекомендательных систем и машинного обучения и направленный на предоставление слушателям персонально именно той музыки, которую они хотели бы слушать в данный момент. Слушая музыку, потребитель наиболее восприимчив к аудиорекламе, что и было положено в основу бизнес-модели проекта«Яндекс.Радио» – «аудиореклама в распахнутую душу». Днем рождения сервиса стало 4 июня 2015 года.

Отношение к персональному менеджеру в компании «ВымпелКом» озвучил на конференции руководитель программы Big Data Сергей Марин. По его словам, знание клиента «на 360°» позволяет формировать индивидуальные тарифные планы, позволяющие абоненту за те же деньги получать больше услуг. Собственно, в этом и есть суть рекомендательных систем – точно знать, когда предлагать, а когда не предлагать ту или иную услугу или товар. Для наполнения рекомендательных систем конкретным содержимым в компании используют комплекс технологий Больших Данных (Hadoop, Spark, HDFS, GraphX и др.), причем предпочитают обрабатывать все сами, считая, что без знания особенностей бизнеса никакой аутсорсинг задачу создания «персонального менеджера» для абонента не решит.

Драматургия организации продаж, как в хорошем сериале, должна побуждать смотреть очередные серии — возвращаться к продавцу. Александр Хайтин, представляющий подразделение Yandex Data Factory, рассказал в своем выступлении об услугах компании «Яндекс», помогающих ее заказчикам «попасть в клиента». Простая, казалось бы, рекомендация банкам отойти от сегментирования клиентов (пожилым предлагать сберегательные вклады, молодым – кредиты, бизнесменам — премиум-обслуживание) позволила, по словам Хайтина, на 13% повысить прибыль — реальная жизнь сложнее. Глупо, если, например, банк будет предлагать клиенту кредит лишь на основании того, что тот накапливает средства на сберегательном счете, или если магазин станет навязывать своему покупателю еще одни кроссовки, лучше уж предложить ему шнурки или карту фитнес-клуба.

На платформе Amazon Web Services анонсирован запуск облачного сервиса, который поможет клиентам извлекать полезную информацию из имеющихся у них данных.

Проблема Больших Данных заключается в том, что зачастую они остаются невостребованными из-за чрезмерной сложности извлечения из них важной информации и слишком больших затрат времени и энергии на ее поиск.

Компания Amazon, следуя по стопам Microsoft, своего конкурента в облачном бизнесе, хочет, чтобы новый облачный сервис помог преодолеть сложности. (В Microsoft добавила в феврале сервис машинного обучения в свою облачную платформу Azure.)

«У нас накоплено богатое наследство в области машинного обучения, – отметил старший менеджер направления Amazon Machine Learning Джефф Билджер. – Благодаря ему клиенты получают на Amazon.com рекомендации по выбору продуктов, Amazon Echo реагирует на их голос, а процесс разгрузки полного грузовика и подготовки партии товаров к продаже занимает всего полчаса».

Машинное обучение, относящееся к области искусственного интеллекта, включает в себя алгоритмы, предусматривающие проведение обучения на основе имеющихся данных.

Как правило, термин «машинное обучение» употребляется по отношению к роботам, которых учат перемещаться по зданию и использовать разнообразные инструменты. Компании и медицинские научно-исследовательские институты все чаще обращаются к Большим Данным в поисках закономерностей и взаимосвязей, которые своими силами человеку обнаружить весьма затруднительно или вообще невозможно.

В марте исследователи из Университета Карнеги-Меллона и Питтсбургского университета сообщили об использовании машинного обучения для анализа информации о выписанных рецептах, профилей геномов, страховых операций, диагностических снимков и прочих медицинских записей с целью выработки планов лечения людей, которые не только страдают однотипными заболеваниями, но и имеют другие схожие черты: семейную историю, стиль жизни, возрастную группу и т. д.

Известно, что одно и то же лекарство от рака некоторым пациентам помогает лучше, чем другим. Сочетание методов Больших Данных и искусственного интеллекта, позволяющего отсеивать ненужное, помогает ученым разрабатывать новые лекарства.

Сегодня с помощью анализа Больших Данных, говорит Билджер, можно предоставить компаниям информацию о том, кроссовки какого цвета лучше продаются в Новой Англии, какие бизнес-процессы наиболее эффективны и социальные программы какого рода способствуют появлению наиболее лояльных клиентов.

«Amazon Machine Learning – результат всего, чему мы научились, предоставив тысячам разработчиков возможность быстро выстраивать модели, проводить эксперименты и создавать приложения, делать выдающие прогнозы в масштабах всей планеты, – подчеркнул Билджер. – Мы давно поняли, что потенциал машинного обучения можно раскрыть лишь в том случае, если с помощью средств Amazon сделать его доступным каждому».

Идея заключается в том, чтобы благодаря новому сервису AWS разработчики могли использовать машинное обучение в своих приложениях, которые будут запускаться в облаке Amazon.

Чтобы упростить пользователям обработку данных, которые уже хранятся в облаке AWS, новый сервис был интегрирован с Amazon Simple Storage Service (Amazon S3), Amazon Redshift и Amazon Relational Database Service (Amazon RDS).

«Перед нами открываются потрясающие возможности, и, обращаясь к анализу, Amazon хорошо понимает это, – отметил аналитик The Gabriel Consulting Group Дэн Олдс. – Чтобы заставить свои бизнес-модели работать, компания делает ставку на аналитику. На основе проведенного анализа выдаются прогнозы совершения людьми последующих покупок, а пользователям предоставляется информация о том, что еще можно купить. Людям, принимающим в Amazon решения, средства базового анализа позволяют понять, как лучше организовать работу магазина компании».

Возможности такого рода могли бы помочь многим предприятиям эффективнее использовать имеющиеся у них данные. «Сочетание средств машинного обучения с Большими Данными откроет перед организациями перспективы, которые ранее зачастую даже не рассматривались», – подчеркнул Олдс.

Аналитик компании Moor Insights & Strategy Патрик Мурхед указал, что крупные предприятия могли бы выстраивать свои системы машинного обучения с использованием облачных сервисов, позволяющих сэкономить немало финансовых средств, времени и усилий, которые в противном случае пришлось бы потратить на разработку собственных инструментов искусственного интеллекта.

«Объединив облачные ресурсы, Большие Данные и технологии машинного обучения, вы получите масштабируемую аналитическую среду, помогающую находить ответы на самые разные вопросы, – пояснил Мурхед. – С этим сервисом вам не придется закупать оборудование, изыскивать место для его установки и заниматься развертыванием аппаратно-программных комплексов. Не нужно быть и экспертом по программному обеспечению для ЦОД. Достаточно выбрать нужные алгоритмы для проведения оценок и найти способ размещения данных в AWS. А это проделать гораздо проще».

Сайт How Old Do I Look, угадывающий пол и возраст людей на фотографиях, в Microsoft создали, чтобы показать, насколько просто программистам будет использовать алгоритмы машинного обучения при реализации средств прогнозирования и выявления тенденций, сообщил на конференции Build 2015 Джозеф Сирош, вице-президент подразделения Microsoft Cloud and Enterprise.

Сайт пользуется сервисом машинного обучения, который с февраля появился в облаке Azure. Сервис позволяет делать умозаключения с помощью прогнозных моделей, построенных по результатам обучения на больших объемах данных. Во время демонстрации How Do I Look определил возраст девушки на картине «Мона Лиза» Леонардо Да Винчи как равный 23 годам — считается, что именно столько было модели, когда ее рисовал художник.

Сирош рассказал, что на базе сервиса машинного обучения Azure Machine Learning в компании Fujitsu создали систему, помогающую японским фермерам определять оптимальное время оплодотворения молочных коров. Животным на ноги надели датчики наподобие Fitbit, считающие число шагов за день. При течке корова становится активнее, о чем фермер получает уведомление. По словам Сироша, если точность «дедовского» способа выбора времени оплодотворения посредством наблюдения составляет 33%, то у автоматического метода этот показатель достигает 95%.

В июне исследователи из МТИ представят новый язык программирования под названием Picture, который обещает радикально уменьшить объем кода программ распознавания объектов на изображениях и видеозаписях. В языке применяется относительно новый принцип программирования — вероятностный. Он позволяет более компактно реализовывать задачи высокого уровня сложности.

В частности, тестируя новый язык, исследователи смогли сократить объем программы распознавания образов с нескольких тысяч строк всего примерно до 50. Результаты разработчики планируют обнародовать на конференции Computer Vision and Pattern Recognition.

«При вероятностном программировании строятся модели, дающие общее представление о том, как выглядит, к примеру, лицо, и с их помощью делаются предположения о том, какое именно лицо присутствует на изображении», — объясняет Джош Тененбаум, профессор, специалист в области когнитивных вычислений, принимавший участие в исследовании.

Чтобы исключить необходимость выполнять большой объем вычислений, характерный для систем компьютерного зрения, в Picture применяются методы статистического анализа. По словам разработчиков языка, принцип его действия напоминает компьютерную анимацию наоборот. Программы компьютерной графики, применяемые студиями наподобие Pixar, автоматизируют создание плоских репрезентаций пространственных объектов, тогда как Picture распознает объект на плоском изображении, сравнивая его с набором моделей, показывающих, какими подобные объекты бывают вообще.

Исследователи из МТИ участвуют в программе, начатой в 2013 году DARPA, Агентством перспективных оборонных исследований Минобороны США. Ее задача — разработать вероятностные языки программирования, способствующие более широкому применению методов машинного обучения.

Многие десятилетия машинное обучение оставалось уделом научных изысканий, но сегодня его методы быстро проникают в мир бизнеса благодаря увеличившейся мощи компьютеров и появлению облачных сервисов Amazon и Microsoft.

Вероятностное программирование не требует обязательного использования машинного обучения, но позволяет упростить его применение, отметил Тененбаум.

«При чисто машинном обучении вы добиваетесь повышения результативности просто за счет сбора все большего количества данных, на которых обучается система, — продолжил он. — А вероятностный подход при распознавании изображений основан на знаниях о том, как они могут видоизменяться».

Помимо Picture, в МТИ работают и над другими вероятностными языками. Еще один из них, Venture, рассчитанный на более широкий круг применений, можно использовать для решения задач иных типов, отметил Тененбаум.