По заказу исследовательской лаборатории ВВС США корпорация IBM построит первый в своем роде суперкомпьютер с 64 процессорами IBM TrueNorth Neurosynaptic System. Мощность этого суперкомпьютера в задачах распознавания образов и будет соответствовать 64 млн нейронам с 16 млрд синаптических связей. При этом потреблять он будет всего 10 ватт.

Архитектура процессоров TrueNorth, разрабатывавшихся при поддержке DARPA, агентства перспективных исследований министерства обороны США, во многих аспектах имитирует строение мозга человека и животных. Они ориентированы на работу с нейронными сетями и прежде всего — в задачах преобразования сенсорных данных (изображений, видео, звука и текста), получаемых одновременно со многих датчиков, в символьный вид. Система, построенная на процессоре TrueNorth, показала при проверке на наборе изображений CIFAR-100 почти предельно достижимую на сегодняшний день точность распознавания, потребляя при этом на порядок меньше энергии, чем обычный компьютер, работающий с такой же нейронной сетью. Это особенно важно для исследователей из лаборатории ВВС США, изучающих возможность применения подобных систем во встраиваемых, мобильных и автономных устройствах.

Представив в ноябре 2015 года программное обеспечение с открытым кодом TensorFlow, компания Google сумела заинтересовать потенциальных пользователей, и сегодня эта технология становится все более популярной.

Библиотека программного обеспечения для машинного обучения представляет собой новое поколение внутренней технологии DistBelief, которая была разработана командой Google Brain для множества задач, включая поиск изображений и улучшение алгоритмов распознавания речи.

TensorFlow – это нейронная сеть, которая учится решать задачи путем позитивного усиления и обрабатывает данные на различных уровнях (узлах), что помогает находить верный результат.

Открыв исходный код библиотеки машинного обучения TensorFlow, в Google упростили процесс построения и развертывания сложных нейронных сетей. TensorFlow не предоставляет каждому разработчику возможность воспользоваться плодами машинного обучения, но предлагает интерфейсы API для языков Python и C/C++, позволяющие подключаться к программе разработчика.

Машинное обучение такого рода предназначено исключительно для исследовательских целей, но благодаря программному обеспечению с открытым кодом наподобие TensorFlow предприятие получает мощные средства для использования своих собственных данных и их обработки в дешевой облачной среде.

Библиотеки TensorFlow заметно упрощают встраивание в приложения самообучаемых элементов и функций искусственного интеллекта, предназначенных для распознавания речи, организации компьютерного зрения или обработки естественного языка.

Конечно, TensorFlow не единственная библиотека глубинного обучения, но, как и поисковый механизм Google, она считается лучшей в своем классе. Альтернативами являются программное обеспечение Torch, созданное швейцарскими исследователями, и разработка Калифорнийского университета в Беркли Caffe, последняя версия которой, Caffe2, была спроектирована при участии Facebook.

Google разрешает использовать TensorFlow только на одной машине с несколькими графическими процессорами, что сдерживает масштабы применения этого инструмента на предприятиях. Конечно, существуют пути обхода указанного ограничения, но на создание таких решений потребуются определенные знания, время и деньги

Согласно информации, опубликованной на сайте TensorFlow, программную библиотеку использует целый ряд крупных компаний, в том числе Airbnb, Airbus, Dropbox, Snapchat и Uber (правда, возможно, и не лучшим для себя способом).

Между тем продолжаются поиски новых сценариев. Одной из компаний, не побоявшихся обратиться к TensorFlow, является британский электронный супермаркет Ocado.

Его команда исследователей данных применяет библиотеку для самых разных целей, начиная от алгоритмов маршрутизации роботов, перемещающихся по складам, и заканчивая улучшением прогнозирования спроса (которое пока базируется на алгоритмах линейной регрессии десятилетней давности) и предложением покупателям товаров в соответствии с их недавними предпочтениями.

Поначалу TensorFlow в Ocado использовали для управления электронной почтой, поступающей в контактный центр. Изначально все письма обрабатывались последовательно, независимо от их приоритета. Осложнения возникали в плохую погоду, когда количество писем увеличивалось в три-четыре раза, а их доставка превращалась в серьезную проблему.

«Руководство хотело понять, какие письма имеет смысл обрабатывать первыми, но для этого требовались средства распознавания естественного языка, чтобы оценивать их настроение и анализировать смысл», – вспоминает глава направления данных Ocado Technology Дэн Нельсон.

Заказывать Google готовую технологию обработки естественного языка в Ocado посчитали нецелесообразным и решили обратиться к библиотеке TensorFlow.

Но компания Ocado все же стала клиентом Google и использует сервис BigQuery в Google Cloud для обработки своих запросов и организации хранения. По словам Нельсона, развертывание TensorFlow с помощью Google заметно упростило стоящую перед компанией задачу. «Без использования облака нам пришлось бы устанавливать у себя очень серьезное оборудование, а с облачными сервисами все стало гораздо проще, – заметил он. – В общем случае обращаться к Google не обязательно, но если у компании имеются тензорные процессоры, то лучше это сделать».

Говоря о предлагаемом инструменте, Нельсон реально оценивает ситуацию: «По сути, TensorFlow позволяет через библиотеки получать доступ к различным моделям обучения. Их придется осваивать и адаптировать, однако это ускорит ваш процесс обучения. TensorFlow не решает проблем, но предоставляет набор инструментов, позволяющий абстрагироваться от сложности нейронной сети и использовать ее для решения стоящих перед вами задач».

Нейронные сети показывают впечатляющие результаты. Они используются в играх, распознают речь и генерируют голос, делают переводы и подражают художникам, управляют автомобилями и заставляют роботов двигаться. О достижениях и перспективах глубинного обучения рассказал представитель компании Nvidia Антон Джораев, выступая на международной конференции по робототехнике «РобоСектор».

Nvidia уже несколько лет занимается разработками в этой области, при этом не используя «жесткое» программирование. По словам Джораева, специалисты опираясь на большие массивы данных и учат нейросеть саму определять, чем, например, один предмет отличается от другого.

Джораев представил вычислительный модуль Jetson TX2, который в том числе используется и при создании роботов. Компания отдает предпочтение не облачным технологиям, а локальным вычислениям, организуя анализ данных на платформе самого источника данных. Причинами для этого служат огромное количество данных, с которыми приходится работать, необходимость защиты персональных данных и труднодоступность связи в регионах, где инфраструктура для подключения к Интернету может быть слаборазвитой или дорогостоящей.

По утверждению разработчиков, новый модульный суперкомьютер вдвое эффективнее своего предшественника — Jetson TX1. Модель Jetson TX2 имеет графический процессор Pascal, память 8 Гбайт, жесткий диск 32 Гбайт, пропускную способность 59,7 Гбит/c, оснащена адаптерами беспроводной связи Wi-Fi 802.11ac и Bluetooth. Поддерживаются различные интерфейсы, включая DP 1.2, HDMI 2.0, SATA, USB 3.0, UART, SPI, I2C, I2S, GPIO, благодаря чему обеспечивается совместимость с широким спектром продуктов и форм-факторов, отметил представитель компании.

Набор инструментов JetPack 3.0 дополняет Jetson TX2 средствами для разработки искусственного интеллекта, такими как Nvidia CUDA Toolkit версии 8.0, cuDNN, TensorRT, VisionWorks, GStreamer и OpenCV, построенные на базе ядра Linux v4.4, L4T R27.1 BSP и Ubuntu 16.04 LTS. В состав Jetpack 3.0 входят системный профилировщик и графический отладчик для интерактивного профилирования и отладки. JetPack автоматически настраивает и готовит к работе вычислительный модуль.

Вычислительный модуль Jetson TX2 ускоряет работу нейронных сетей, поддерживает системы машинного зрения, графики, навигации. Он может использоваться для создания беспилотных летательных аппаратов, роботов и различных электронных устройств.

По габаритам новинка сравнима с кредитной картой: габариты равны 87 × 50 мм. Ее вес — 85 г. Уровень энергопотребления при стандартной нагрузке – 7,5 Вт. Стоит такой модуль около 30 тыс. руб.

Последние десять лет характеризуются бурным развитием систем искусственного интеллекта на основе глубокого обучения нейронных сетей — они широко используются для распознавания образов и речи, а также для финансового прогнозирования и не только. В Массачусетском технологическом институте напоминают, что сама идея обучаемых нейросетей была впервые предложена еще в 1944 году Уорреном Маккалоком и Уолтером Питтсом, научными сотрудниками Чикагского университета, которые в 1952 году перешли в МТИ и основали в нем кафедру когнитивных наук.

Нейросеть может решать определенные задачи после обучения — анализа учебных образцов, которые обычно заранее размечаются человеком. Например, получив тысячи размеченных снимков машин, домов, кофейных чашек и т. д., нейросеть научится обнаруживать характерные черты, соответствующие каждой из меток.

Нейросеть построена по образцу головного мозга человека — она состоит из множества тесно взаимосвязанных простейших вычислительных узлов. Каждый такой узел может быть соединен с несколькими на предыдущем слое, передающем ему данные, и с несколькими на следующем. Каждому из входящих соединений узел присваивает некоторое число — «вес». В процессе работы нейросети узел получает по каждому из соединений разные числа и умножает на соответствующий вес, а получившиеся произведения складывает. Если сумма больше определенного порогового значения, она передается на следующий уровень по всем исходящим соединениям узла.

Изначально веса и пороговые значения выбираются случайным образом, а в процессе обучения они постоянно корректируются, пока учебные данные с одинаковыми метками, подаваемые на вход сети (нижний слой), не будут выдавать одинаковые значения на выходе из нее.

Первая обучаемая нейросеть, «перцептрон», была создана Фрэнком Розенблаттом, психологом Корнельского университета, в 1957 году. В отличие от современных, она имела лишь один слой между входным и выходным. Уже в то время было предсказано, что с помощью перцептрона можно решать практически любые стандартные математические задачи, и до 1969 года нейросети оставались областью активных исследований. Но затем математики МТИ Марвин Минский и Сеймур Пейперт опубликовали результаты исследования, показавшего, что выполнение стандартных вычислительных операций с помощью перцептрона будет отнимать неприемлемо много времени. После этого интерес к нейронным сетям угас и возродился только к 1980-м, когда были разработаны алгоритмы корректировки весов и порогов, позволившие преодолеть ограничения, указанные Минским и Пейпертом.

Нынешнему взрыву развития машинного обучения помогла эволюция графических процессоров, которые содержат множество относительно простых ядер, которые можно использовать в качестве узлов нейросети. Современные видеочипы позволяют строить нейросети не из одного, как в 1960-х, и не из двух-трех, как в 1980-х, а из гораздо большего количества слоев. Именно поэтому «глубокое обучение» получило свое название: глубина — это число слоев нейросети.

Между тем, вопросом, беспокоящим исследователей, остается смысл настроек обученной нейросети — неясно, например, на какие именно особенности изображения она обращает внимание при классификации; изучение весов каждого из соединений ответа на этот вопрос не дает. Что касается продвижения науки на этом фронте, на сегодня решены задачи глобальной оптимизации — получения гарантий того, что сеть нашла настройки, оптимально соответствующие учебным данным, и выявления признаков переобучения — когда сеть настолько сфокусировалась на обучающей выборке, что на любых значениях за ее пределами она работать не сможет.

Используемая нейронная сеть определяет предметы и сущности на фотографиях, пишут «Известия». Она понимает не только, что значит «человек», «ребенок», «животное», «растение», но и может определить предмет одежды или символ «группы смерти». В целом имеется несколько тысяч классов, присваиваемых картинках по нескольким параметрам. Если изображение охарактеризовано как запрещенное, оно отправляется модераторам для проверки. Если оно признано умеренно опасным, то пропадает из поиска и теряет приоритет в новостной ленте. Картинки с суицидальным контентом, однако, удаляются автоматически, а страницы их авторов блокируются. Технология способна анализировать и текстовые надписи.

Умная лента была введена в социальной сети в прошлом году. Принцип ее работы заключается в том, что записи друзей отображаются в приоритетном порядке, с учетом интересов пользователя: чему он больше ставит лайки, то чаще и видит. Сделано это для того, чтобы каждый получал максимально интересную и полезную для него информацию. Сегодня такой лентой пользуются 80% активной аудитории «ВКонтакте», пишет издание.

Данный механизм поможет остановить распространение спама, мошенничества, детской порнографии, нелегальных услуг и другой запрещенной информации, считают разработчики.

Сбербанк и Московский физико-технический институт подписали соглашение в рамках развития проекта iPavlov Национальной технологической инициативы, которое предусматривает создание системы с искусственным интеллектом, способную общаться с людьми на естественном языке, сообщается на сайте вуза.

Речь идет о разработке «разговорного» машинного интеллекта, способного вести содержательный текстовый диалог с пользователем, не только отвечая на вопросы, но и запрашивая дополнительную информацию, пояснили в МФТИ.

На базе этой технологии к 2020 году будет создана платформа для Сбербанка DeepReply, которая позволит автоматизировать работу банка с клиентами. Система будет общаться с пользователями, помогая им решить возникшие вопросы за счет анализа данных банка.

Глава Сбербанка Герман Греф сообщил, что результатом проекта iPavlov станут новые бизнес-приложения, которые будут интегрированы в работу Сбербанка и выведут обслуживание наших клиентов на новый уровень.

«Обучение» системы будет проводиться с помощью данных Сбербанка — больших массивов документов и текстовых записей диалогов между людьми. Конкретные данные авторы проекта определят в процессе. В их число войдут открытые данные для тестирования понимания текста, вопросно-ответные базы, диалоги из сети, информация от служб поддержки пользователей.

Сбербанк оказал финансовую поддержку проекту, сумму инвестиций стороны не раскрывают. Согласно паспорту проекта, с 2017-го по 2020 год iPavlov должен получить 505,6 млн руб., в том числе 350,3 млн руб. в качестве субсидий из федерального бюджета по линии Национальной технологической инициативы и 155,3 млн руб. от частных инвесторов.

В рамках проекта партнеры также планирует создать на базе вуза центр компетенций по нейросетевым технологиям для проведения исследований в области искусственного интеллекта. Их результаты будут открыты для публичного доступа.