По мнению экспертов, инфраструктура, которая необходима для выполнения алгоритмов искусственного интеллекта и обучения глубинных нейронных сетей, настолько сложна, что препятствует развертыванию корпоративных средств искусственного интеллекта.

«55% компаний так и не достигли ощутимых бизнес-результатов, а 43% отмечают, что говорить об этом еще слишком рано, – говорится в исследовании Forrester Research, посвященном тем вызовам, которые необходимо преодолеть для воплощения в жизнь надежд, связанных с искусственным интеллектом, и достижения осязаемых результатов в этой области. – Какие трудности? Искусственный интеллект – это не утюг, который включаешь в розетку, и он работает. Если компании не осуществляют правильное планирование, развертывание и управление, новые технологии искусственного интеллекта в лучшем случае сулят весьма скромные преимущества, а в худшем результаты могут оказаться весьма неожиданными и нежелательными».

Вендоры отвечают выпуском уже готовых продуктов и сервисов, которые нацелены на ускорение ввода в эксплуатацию корпоративных средств искусственного интеллекта. Недавно, например, Pure Storage, объединившись с Nvidia, выпустила интегрированный программно-аппаратный комплекс для настройки рабочей нагрузки искусственного интеллекта и требований к данным. Цель заключается в том, чтобы упростить организациям развертывание необходимой инфраструктуры.

По оценкам обозревателей отрасли, предприятия уже готовы к переходу на искусственный интеллект. Аналитики прогнозируют рост числа приложений, управляемых данными, во всех вертикальных отраслях. Компании намерены перестраивать свои бизнес-процессы в целях повышения эффективности и предложения клиентам персональных сервисов.

Согласно прогнозам Gartner, к 2020 году технологии искусственного интеллекта войдут в первую пятерку инвестиционных приоритетов для более чем 30% ИТ-директоров.

Предложение Pure Storage, Nvidia и Arista

«Одна из главных задач заключается в создании для искусственного интеллекта и продвинутого анализа необходимой инфраструктуры, – подчеркнул Мэтт Берр, отвечающий в Pure Storage за платформу хранения FlashBlade. – Отсутствие инфраструктуры превращается в серьезную проблему. AIRI позволяет решить эту проблему».

Система AIRI, название которой означает AI-ready infrastructure («готовая к использованию инфраструктура искусственного интеллекта»), объединяет FlashBlade, суперкомпьютеры Nvidia DGX-1 с графическими процессорами Nvidia Tesla V100 и 100-гигабитные коммутаторы Arista для организации связи между компонентами. AIRI поддерживается стеком глубинного обучения Nvidia GPU Cloud и набором инструментов Pure Storage AIRI Scaling Toolkit. Согласно заявлениям Pure Storage и Nvidia, такое сочетание способствует четырехкратному увеличению производительности труда исследователей данных.

Один из пользователей AIRI, поставщик услуг аутсоринга контакт-центров Global Response, занимается перестройкой существующих бизнес-процессов с помощью средств искусственного интеллекта. Планируется разработать систему контакт-центра, позволяющую в реальном времени записывать и анализировать звонки в службу технической поддержки в целях повышения скорости и качества клиентского обслуживания. Компания хотела иметь простую платформу, позволяющую развертывать и масштабировать системы искусственного интеллекта, и в итоге выбрала AIRI.

По словам генерального директора Global Response Стивена Шустера, внедрение системы интегрированного аппаратного и программного обеспечения позволило сотрудникам выполнять стоящие перед ними задачи за несколько часов, а не недель или месяцев, как это было раньше.

«Мы подошли к этапу, на котором интеграция средств искусственного интеллекта в масштабах всей организации приобретает критически важное значение для успеха всего бизнеса, – указал Шустер. – Несмотря на наше стремление продвигаться вперед очень быстро, инфраструктура искусственного интеллекта замедляет этот процесс по причине чрезмерной сложности ее развертывания. Благодаря AIRI нам удалось снять все вопросы и преодолеть сложности, связанные с искусственным интеллектом».

Облачные сервисы IBM

Новые сервисы корпорации IBM призваны упростить внедрение систем искусственного интеллекта. Сервис Cloud Private for Data представляет собой платформу для исследования данных и машинного обучения, которая объединяет все нужные предприятию компоненты, не требуя от него колоссальных усилий по системной интеграции. Cloud Private for Data размещается в контейнере программного обеспечения с открытым кодом Kubernetes на уровне приложений и поставляется с API для интеграции с продуктами независимых разработчиков.

«Улучшение корпоративных систем искусственного интеллекта способствует росту производительности и совершенствованию стандартов, – указал генеральный менеджер аналитического направления IBM Роб Томас. – Единственный недостаток заключается в том, что требуется сборка: все системы должны взаимодействовать друг с другом, и архитектуру данных нужно нормализовывать. Если бы у нас были уже готовые строительные блоки искусственного интеллекта, не требующие сборки, дело обстояло бы совсем по-другому. Сервис IBM Cloud Private for Data проектировался как раз для того, чтобы облегчить исследование данных, их проектирование и создание приложений в рамках единого интегрированного решения, без необходимости сборки».

«В IBM справедливо признали, что при развертывании систем искусственного интеллекта зачастую ощущается дефицит специалистов, которые обладали бы требуемой квалификацией, – отметил старший аналитик 451 Research Кришна Рой в отчете, описывавшем новую платформу частного облака IBM и связанный с нею сервис для публичного облака. – При этом компания работает на высококонкурентном рынке. В таких условиях решено было заложить основы для успешного противостояния конкурентам из числа исследователей данных и стартапов, ищущих способы удовлетворить требования корпоративных клиентов к системам искусственного интеллекта».

Компания Kogentix, например, предлагает полнофункциональную платформу для построения приложений, функционирующих на основе машинного обучения. Среди других стартапов, пытающихся удовлетворить потребности корпоративных клиентов в искусственном интеллекте, можно выделить компании Anaconda, Dataiku и DataRobot. «Многие из них разделяют идею создания уже готовых средств искусственного интеллекта для корпоративных пользователей, предоставляя им сквозную среду для анализа на основе машинного обучения», – отметил Рой.

В конце 2017 года на рынке появились первые серверы на базе процессора IBM Power9, имеющего, в отличие от Power8, вышедшего четыре года назад, ряд оригинальных решений, позволяющих говорить как о прогрессе в повышении производительности выполнения параллельных приложений, так и о возможностях построения на основе этого процессора серверных конфигураций, предназначенных для поддержки разнообразных задач, включая машинное обучение, обработку больших данных, прогнозную аналитику и моделирование, облачные и гипермасштабируемые ЦОДы.

Процессор Power9 может содержать либо 24 ядра типа SMT4, способных одновременно выполнять четыре потока, либо 12 ядер типа SMT8, одновременно выполняющих восемь потоков. Первый вариант предназначен для создания универсальных горизонтально-масштабируемых конфигураций для экосистемы Linux, а второй – вертикального масштабирования для экосистемы IBM i (ранее OS 400) и IBM AIX. Важнейшая особенность архитектуры Power9 — межсоединения с суммарной пропускной способностью около 7 Тбайт/с для обмена данными между ядрами процессора и для доступа к внешним устройствам: к другим процессорам Power9, ускорителям подключаемым по интерфейсу CAPI (Coherent Accelerator Processor Interface) 2.0 и OpenCAPI (FPGA и заказные интегральные схемы), графическим процессорам Nvidia через канал NVLink 2.0, к оперативной памяти и внешним устройствам через 48 линий PCIe v4. Таким образом, в зависимости от запросов конкретной задачи к объему памяти и производительности вычислений имеется возможность строить разные конфигурации серверов. Например Linux-сервер AC922 (Newell) в форм-факторе 2U имеет два процессора Power9, до четырех графических систем Nvidia Volta, оперативную память 1 Тбайт и предназначен для решения задач машинного обучения и искусственного интеллекта – на основе этой системы построен суперкомпьютер Summit, создаваемый в рамках программы CORAL разработки суперкомпьютеров экзафлопсной производительности Окриджской, Ливерморской и Аргонской национальных лабораторий США.

Как подтвердила прошедшая в Москве презентация решений на платформе процессора Power9, организованной для партнеров и клиентов IBM, создание гибкой архитектуры Power9 действительно стало заметным событием в мировой микропроцессорной индустрии; однако, рыночный успех процессора определяется наличием ПО для него и возможностью построения конфигураций для решения конкретных прикладных задач. Быстродействие процессора, по словам Алексея Перевозчикова, менеджера по продуктам и решениям IBM Power Systems в России и СНГ, сегодня уже не является определяющим при выборе платформы — на первом месте возможности обработки больших потоков данных и адаптация к разнообразным запросам клиентов.

В рамках презентации состоялся круглый стол с участием пользователей и разработчиков систем на платформе Power

В рамках презентации состоялся круглый стол с участием пользователей и разработчиков систем на платформе Power — Григория Воротынцева (компания «Полиматика»), Николая Семенова (Yadro), Романа Хмелецкого (Nutanix) и Сергея Шатова (Nvidia). Ведущий, Константин Мозговой, директор департамента серверных решений IBM Россия и СНГ, отметил, что ростучисла приложений для платформы Power способствовал созданный в 2013 году консорциум OpenPOWER, насчитывающий сегодня более 300 участников, среди которых такие компании, как Google, Nvidia, Hitachi, Inspur, Atos и отечественная Yadro. Серверы на базе Power9 применяются, например в системе Google Rackspace, а компания Uber использует эту платформу для проекта Horovod поддержки процессов тренинга моделей глубинного обучения средствами фреймворка TensorFlow. Horovod призван помочь оптимизация стоимости и маршрутов перевозок, а также выявления мошеннических схем. «Полиматика» применяет OpenPOWER Systems для ускорения аналитических задач, оперативной проверки гипотез и моделирования на больших базах данных.

Появление процессора Power9 изменило парадигму продвижения подобных решений. Во-первых, экосистема OpenPOWER позволила расширить для данной архитектуры спектр приложений из самых различных отраслей. Во-вторых, у IBM появилась возможность выхода на заказчиков и партнеров, которых не устраивают возможности серверов стандартной архитектуры при работе с большим данными и считавших оборудование IBM слишком дорогим для своих задач. Например, использование в серверах стандартной, а не традиционно дорогой «фирменной» памяти позволяет снизить стоимость решения.

Благодаря консорциуму OpenPower за следующие четыре года корпорация IBM намерена занять 20-30% рынка Linux-серверов, чему, в частности будет способствовать и выход новых версий процессоров Power: в 2020 году планируется выпустить Power10, содержащий до 48 ядер, а затем Power11.

27 марта в Объединенном институте ядерных исследований в Дубне, где накануне отметили 62-ю годовщину его создания, состоялась церемония открытия суперкомпьютера, в состав которого вошел кластер компании РСК на базе технологий Intel, и вычислительный комплекс на основе архитектуры Nvidia Volta, развернутый компанией IBS Platformix. Новый суперкомпьютер назван в честь член-корреспондента Академии наук СССР Николая Говоруна в знак признания его особого вклада в развитие вычислительной техники и информационных технологий ОИЯИ.

Суперкомпьютер создан по инициативе лаборатории теоретической физики и лаборатории информационных технологий ОИЯИ, пояснил Владимир Кореньков, директор ЛИТ. По его словам, суперкомпьютер позволит кардинально ускорить теоретические и экспериментальные исследования в области ядерной физики и физики конденсированных сред, проводимых в ОИЯИ.

С целью расширения таких исследований создается коллайдер NICA (Nuclotron based Ion Collider fAcility), ускорительный комплекс, работающий на встречных пучках тяжелых ионов, ввод в действие которого запланирован на 2020 год.

Кластер «РСК Торнадо» содержит 40 двухпроцессорных вычислительных узла на базе Intel Xeon Gold 6154 и 21 узел с 72-ядерными серверными процессорами Intel Xeon Phi 7290, которые укомплектованы твердотельными SATA-накопителями Intel SSD DC S3520 и высокопроизводительными SSD DC P4511 с интерфейсами NVMe.

Для высокоскоростной передачи данных между вычислительными узлами кластера используются решения на основе коммуникационной архитектуры Intel Omni-Path Architecture, которые, как считают ее разработчики, опережает по производительности системы на основе технологии Infiniband EDR, обладая, к тому же, меньшими задержками.

В кластере «РСК Торнадо» ОИЯИ неблокируемая коммутация с быстродействием до 100 Гбит/c осуществляется 48-портовыми коммутаторами Intel Omni-Path Edge Switch 100 Series. В РСК утверждают, что в установленном в Дубне суперкомпьютре впервые в нашей стране применяется решение Omni-Path с полностью жидкостным охлаждением.

Система прямого жидкостного охлаждения собственной разработки РСК - ключ к обеспечению энергоэффективности суперкомпьютеров компании. В Дубне температура хладоносителя на входе шкафов кластера составляет 45 градусов Цельсия. Это, как одчеркивают в РСК, позволяет круглогодично работать в режиме естественного охлаждения (free cooling). Среднегодовой коэффициент энергоэффективности (Power Usage Effectiveness, PUE) системы охлаждения не превышает, по данным РСК, показателя 1,06.

Вторая часть суперкомпьютера состоит из пяти вычислительных узлов Nvdia DGX-1 с ускорителями Nvidia Tesla V100 и прикладным программным обеспечением для исследований в области искусственного интеллекта и глубокого обучения. Их поставку и ввод в действие в кластере на платформе Nvidia осуществили специалисты компании IBS Platformix.

Распределение задач между кластерами РСК и Nvdia происходит в рамках гетерогенной платформы HybriLIT, пояснил Кореньков.

Собственный суперкомпьютер, расчитывают ОИЯИ, значительно упростит решение многих задач, включая разработку и адаптацию программного обеспечения для ускорительного комплекса NICA, моделирование физических процессов при подготовке экспериментов, обработку полученных результатов, в том числе, фильтрацию и визуализацию данных, реконструкцию треков и выявление произошедших событий. (С применением вычислительных ресурсов, которыми ЛИТ располагает в настоящее время, обработка значительных объемов данных экспериментов на комплексе NICA потребует, по имеющимся оценкам, около двух лет.)

Среди других приложений суперкомпьютера – ресурсоемкие задачи в области решеточной квантовой хромодинамики, а также исследования свойств сильно коррелированных систем в области физики новых материалов.

К важнейшим преимуществам его приобретения в ОИЯИ относят также подготовку специалистов, способных разрабатывать и использовать возможности вычислительных систем нового поколения в научных исследованиях в физике высоких энергий и ядерной физике.

Ожидаемая cуммарная пиковая производительность суперкомпьютера составит 1 PFLOPS при выполнении операций с одинарной точностью или около 500 TFLOPS при вычислениях с двойной точностью. Реальные показатели будут определены в процессе его эксплуатации. Предусмотрен значительный резерв для установки дополнительных узлов по мере роста рабочей нагрузки.

Компания Nvidia анонсировала серию новых продуктов, призванных способствовать дальнейшему повышению эффективности глубинного обучения. Среди них следует выделить высокопроизводительный сервер DGX-2, который предоставит приложениям искусственного интеллекта вычислительные мощности в 2 PFLOPS.

Выступая на 10-й ежегодной конференции Nvidia GTC, основатель и генеральный директор компании Дженсен Хуанг объявил также об удвоении памяти графической платы Tesla V100 до 32 Гбайт, что позволит повысить эффективность глубинного обучения и высокопроизводительных вычислений.

Хуанг указал, что вычислительная мощность графических процессоров продолжает увеличиваться, а для сохранения существующих темпов роста нужны еще более мощные компьютеры, оснащенные всем необходимым.

«Сегодня мы находимся на переломном этапе, а количество людей, обращающихся к вычислительным мощностям графических процессоров, растет невиданными темпами, – указал Хуанг. – За последние пять лет число разработчиков, использующих графические процессоры, увеличилось в десять раз и достигло почти миллиона человек. Глядя на перемены, произошедшие за последние пять лет, мы нисколько не сомневаемся в том, что организация вычислений с помощью графических ускорителей стала правильным ответом на возникающие вызовы».

Графическая плата Tesla V100, уже успевшая завоевать популярность среди исследователей всего мира, теперь нашла применения и в системах глубинного обучения Nvidia DGX.

Компания анонсировала также новую технологию внутренних межсоединений NVSwitch, позволяющая организовать в одном серверном узле обмен данными между 16 графическими платами Tesla V100 на скорости 2,4 Тбайт/с. Это позволит справиться с недостаточной производительностью шины PCIe при построении систем, объединяющих несколько графических процессоров, и создать более быструю и масштабируемую структуру внутренних соединений.

По словам Хуанга, у разработчиков появится возможность проектировать системы, которые объединят больше графических процессоров, поддерживающих высокоскоростной обмен.

Генеральный директор Nvidia представил новый комплекс DGX-2 – первый одиночный сервер с производительностью в 2 PFLOPS, предназначенный для решения сложных задач искусственного интеллекта. Система DGX-2 заменяет собой 300 обычных серверов, занимающих в ЦОДе 15 стоек. Он оснащен пространством хранения объемом в 30 Тбайт и работает в десять раз быстрее предыдущей модели DGX-1, выпущенной всего шесть месяцев назад. Новая система начнет поставляться в третьем квартале 2018 года по цене 399 тыс. долл. (ориентировочные цены в США. — Прим. ред.), однако некоторые исследователи данных уже сейчас используют в своей работе этот продукт.

«Многих нынешних достижений удалось добиться благодаря платформе глубинного обучения Nvidia, – добавил Хуанг. – Мы увеличиваем производительность нашей платформы темпами, значительно опережающими закон Мура, осуществляя прорывы, которые помогают совершать революцию в сфере здравоохранения, транспорта, научных исследований и несчетном количестве других областей».

Производитель платформы хранения данных, компания Pure Storage при поддержке Nvidia разработала  подготовленную к применению искусственного интеллекта комплексную инфраструктуру AIRI, рассказали в компании. AIRI — это решение для архитекторов и ученых по данным, а также бизнес-лидеров для реализации полномасштабных проектов в области искусственного интеллекта. AIRI позволяет облачным провайдерам, коммерческим и государственным организациям ускорять анализ данных.

AIRI работает на базе Pure Storage FlashBlade и четырех суперкомпьютеров Nvidia DGX 1 на графических процессорах Nvidia Tesla V100 с общей производительностью 4 PFLOPS. Системы соединены между собой посредством 100-гигабитных коммутаторов компании Arista, поддерживающих технологию GPUDirect RDMA. Инфраструктура включает стек глубинного обучения Nvidia GPU Cloud и функционал Pure Storage AIRI Scaling Toolkit, которые позволяют многократно ускорять выполнение задач искусственного интеллекта.

Видеокарты с графическими процессорами Nvidia P102-100, которые должны скоро появиться в продаже, рассчитаны в первую очередь на майнинг криптовалют, утверждают авторы блога Crypto Mining Blog. В отличие от обычных видеокарт для настольных компьютеров серии GeForce, предназначенных в основном для игр, у них нет видеовыхода. Конфигурация памяти и другие особенности конструкции карты ориентированы на повышение производительности.

Как сообщается, новые карты являются модифицированными версиями мощных карт потребительского класса 1080 Ti и Titan. В блоге опубликована фотография и характеристики карты INNO3D с процессором P102-100. Интересно, что у нее нет монтажной панели для установки в майнинговой станции.

В процессоре 3200 ядер CUDA с базовой частотой 1582 МГц. Объем памяти типа GDDR5X составляет 5 Гбайт, а пропускная способность — 400 Гбайт/с. Максимальная тепловая мощность карты — 250 Вт. При майнинге карта способна рассчитывать примерно 47 MH/s в валюте Ethereum, 660 Sol/s в ZCash и 879 H/s в Monero.

Майнинг криптовалют на новой карте должен быть выгоднее, чем на обычных картах семейства GeForce. Но с учетом нынешнего дефицита на рынке памяти цена этой карты вряд ли будет намного ниже, чем 1080 Ti.

В Nvidia начали бета-тестирование облачного сервиса GeForce Now, позволяющего играть в ресурсоемкие игры на обычных, не геймерских, компьютерах: достаточно проводного соединения с Интернетом 25 Мбит/с, процессора Intel Core i3 на 3,1 ГГц или аналогичного AMD, 4 Гбайт памяти и графической подсистемы, поддерживающей DirectX 9. Клиентское программное обеспечение GeForce Now доступно для ПК и «маков».

Пользователям GeForce Now предоставляется доступ к виртуальному игровому ПК. По сведениям PC World, видеоадаптер у виртуальной системы соответствует Tesla P40 с 24,5 Гбайт памяти; при этом на клиентском компьютере, отвечающем минимальным требованиям, частота кадров в играх составляет не ниже 60 fps при разрешении 1920х1080.

Играть можно в игры, которые вы уже приобрели ранее, либо установить на виртуальный ПК новые, выбрав их из предлагаемой библиотеки. В бета-версии поддерживается около 150 игр, в финальной будет доступен весь каталог сервиса Steam и не только.

До этого в Nvidia предлагали GeForce Now только покупателям специального устройства Nvidia Shield, но если для них оплата в США составляла 8 долл. в месяц за неограниченный доступ к играм, то в ПК-версии система расценок будет более сложной. Участие в бета-тестировании бесплатное, но желающих присоединиться вносят в список ожидания.

В драйверах Game Ready для видеокарт семейства GeForce компании Nvidia, выпущенных на этой неделе, реализовано несколько новых технологий, о которых представители компании рассказывали на выставке CES — фильтры изображения FreeStyle, расширенные возможности создания снимков экрана Ansel и поддержка автоматической записи игровых моментов в играх Fortnite, Crossout и Elex. Но в новых драйверах сделаны также исправления, защищающие систему от атаки с использованием недавно обнаруженной в процессорах Intel, AMD и ARM уязвимости, получившей название Spectre. Как они влияют на производительность, пока неясно.

Сами графические процессоры Nvidia не считаются уязвимыми для атак Spectre и Meltdown. Но атака Spectre, в отличие от атаки Meltdown, от которой можно защититься на уровне операционной системы, может проводиться через обычные приложения (в том числе, драйверы видеокарт), и разработчики должны самостоятельно защищать свои программы.

Известно два варианта атаки Spectre. В новых драйверах Nvidia реализована защита только от одного варианта (CVE-2017-5753). Как сообщают в компании, возможность проведения через драйвер второго варианта атаки все еще существует, и для создания защиты от него придется работать с партнерами.