Mesa может хранить петабайты данных, обновлять миллионы строк в секунду и обслуживать триллионы запросов в сутки. Источник: Google

В Google реализовали возможность распределения хранилища данных между несколькими дата-центрами с помощью разработанной в компании архитектуры, которая способна продолжить путь к гораздо более масштабным, надежным и быстрым облачным аналитическим системам, чем сегодня.

Исследователи из Google обсудят новую технологию на VLDB2014, конференции по очень большим базам данных, которая пройдет в сентябре в китайском Ханчжоу.

Как объясняют в Google, Mesa может хранить петабайты данных, обновлять миллионы строк в секунду и обслуживать триллионы запросов в сутки. Систему можно распределить между несколькими центрами обработки данных, и она сможет продолжать работу, даже если один из них отключится.

Эту технологию разработали, чтобы хранить и анализировать контрольно-измерительные данные для бизнеса онлайн-рекламы Google, но систему можно применять и для других похожих задач, подчеркивают разработчики.

«Mesa принимает данные, генерируемые сервисами более высокого уровня, накапливает их, перманентно хранит и предоставляет по запросу пользователей», — говорится в докладе ее разработчиков.

Mesa позволила Google решить ряд операционных задач, с которыми бы не справились традиционные хранилища данных и другие аналитические системы уровня предприятия.

Во-первых, большинство коммерческих хранилищ данных не поддерживают непрерывное обновление данных — как правило, информация в них обновляется раз в сутки или в неделю. Google же требовалось, чтобы новые данные можно было анализировать сразу, как только они поступили в базу.

Google также нужна была надежная гарантия консистентности запросов, то есть чтобы одинаковые запросы из одного и того же источника всегда давали один и тот же результат независимо от того, какой ЦОД обрабатывает запрос.

Традиционно консистентность обеспечивали только реляционные СУБД, но они могут не справляться с загрузкой петабайт данных, особенно если база тиражируется между многими серверами в кластере, как это обычно делается на предприятиях для ускорения отклика и увеличения коэффициента безотказной работы. Базы NoSQL, такие как Cassandra, с легкостью справляются с загрузкой огромных объемов данных, но Google требовался гораздо более высокий уровень консистентности, чем обеспечивают большинство нереляционных СУБД.

По словам специалистов Google, ни один из коммерческих продуктов и проектов Open Source не отвечал всем требованиям, и тогда была создана Mesa.

В Mesa используется ряд других технологий, разработанных в компании, в том числе распределенная файловая система Colossus, распределенная система хранения данных BigTable и аналитический фреймворк MapReduce. Консистентность помогает обеспечивать распределенный протокол синхронизации Paxos, тоже созданный в Google.

Mesa имеет еще одно преимущество помимо масштабируемости и консистентности — она может работать на стандартных серверах, то есть не требует специализированного дорогостоящего оборудования. Благодаря этому она может действовать в качестве облачного сервиса, легко масштабируемого вверх и вниз в зависимости от потребностей.

Mesa стала еще одним участником семейства инновационных приложений и архитектур для обработки данных, созданных в Google специально для своего бизнеса.

Некоторые разработки компании стали основой широко используемых приложений. В частности, на базе Big Table создан проект Apache Hadoop.

Другие технологии Google, созданные для внутреннего применения, компания впоследствии начала предлагать в качестве облачных сервисов. К примеру, система Google Dremel для интерактивного опроса обширных срезов данных в режиме «только чтение» была положена в основу сервиса Google BigQuery.

По мнению Курта Монаша, главы компании Monash Research, с коммерческой точки зрения перспективы Mesa могут быть ограниченными. Мало каким организациям сегодня требуется опрос столь гигантских и сложных массивов данных, как у Google, с временем отклика меньше секунды, отметил он. Кроме того, в Mesa нет возможности опроса данных с помощью привычных команд SQL. Именно поэтому для Hadoop разработали ряд технологий с поддержкой языков запросов, похожих на SQL, в том числе Hive, Impala и Shark.

Помимо того, считает аналитик, на предприятиях скорее всего в первую очередь обратят внимание на устоявшиеся коммерческие или открытые решения, позволяющие синхронизировать хранилища данных между дата-центрами, а не на разработку Google. В большинстве хранилищ данных в последнее время появляются механизмы управления параллельным доступом с помощью многоверсионности, добавил Монаш.

Возможно, в Samsung делают ставку на то, что открытые стандарты и платформы станут ключом к завоеванию рынка Интернета вещей. Источник: SmartThings

Приобретая компанию SmartThings, Samsung получает в свое распоряжение платформу технологий для Интернета вещей (Internet of Things, IoT) и сообщество разработчиков, объединенное идеями открытости и универсальности. Возможно, в Samsung делают ставку на то, что открытые стандарты и платформы станут ключом к завоеванию рынка IoT.

Основатель SmartThings Алекс Хоуксон — страстный сторонник открытых платформ. После того как в Samsung объявили о покупке компании, он подчеркнул, что ее задача по-прежнему — построить «полностью открытый умный дом». В SmartThings также отметили, что компания станет «операционно независимой» частью подразделения Samsung Open Innovation Group.

Тем не менее, покупка Samsung вызывает вопросы: приобретая мелкие компании, тяжеловесы могут помочь новым идеям и технологиям добиться успеха, а могут и похоронить их.

В SmartThings, чей офис находится в здании бывшего мукомольного завода, создали открытую платформу для соединения устройств, вокруг которой сформировалось сообщество независимых разработчиков и конструкторов техники. Соединяя друг с другом различные устройства, они реализуют полезные функции.

Изделиям Samsung нужно взаимодействовать с другой техникой в доме, так что не помешала бы какая-то стандартная платформа Интернета вещей. Источник: SmartThings

К примеру, можно соединить дверной звонок с беспроводной колонкой, которая будет издавать звуки собачьего лая. Если кому-то придет в голову, что можно извлечь пользу из соединения напольных весов с холодильником, это тоже можно сделать с помощью платформы приложений SmartThings. Словом, полная свобода для полета инженерной мысли.

Но возникает вопрос, воплотит ли Samsung принципы SmartThings в своих мобильных устройствах на Android, или стартап будет изолирован, а его новации так и останутся в «чашке Петри» хозяйской компании?

SmartThings дает преимущество, которого у Samsung, в отличие от ее главного соперника Apple, нет, а именно — растущее сообщество разработчиков. Так что, возможно, Samsung стоит поскорее начать убеждать приверженцев SmartThings в том, что платформа компании будет далее совершенствоваться и расширяться.

Поглощение SmartThings вызвало на форумах разработчиков неоднозначную реакцию. Высказываются вопросы о том, насколько большое место Samsung отведет SmartThings в своей продуктовой стратегии, и останется ли платформа по-настоящему открытой.

Некоторые сочли поглощение логичным и даже неизбежным, учитывая, что стартапам в одиночку на многомиллиардном рынке долго не выжить. Один из комментаторов отметил, что «это игра не для слабых», добавив, что «консолидация идет с того момента, как Google купила Nest, и это еще только начало».

Ник Джонс, аналитик Gartner, уверен, что Samsung необходимо расширять свои возможности в области IoT и что покупка SmartThings была одним из способов сделать это.

Не будет такой компании, которой бы «принадлежала» вся техника в доме, добавил он, но «изделиям Samsung нужно будет как-то взаимодействовать с другой бытовой техникой, так что не помешала бы какая-то стандартная платформа IoT».

Кроме того, мобильные устройства будут выполнять роль управляющих центров, отметил аналитик, а владея SmartThings, Samsung сможет добиться того, чтобы ее мобильные аппараты «превосходно справлялись с этой ролью».

SmartThings дает Samsung «не просто продукт, но и экосистему разработчиков», уверен Джонс. «Это оружие, с помощью которого можно будет вести конкурентную борьбу с другими тяжеловесами, которые пытаются завладеть умным домом, а именно с Google и Apple», — заключил он.

Собственные серверы на базе Power8 в IBM представили в апреле

Первые серверы независимых компаний, использующие лицензированную у IBM архитектуру Power, появятся на рынке в начале следующего года.

В прошлом году IBM начала лицензировать свою архитектуру независимым организациям, которые получили возможность самостоятельно выпускать серверы, процессоры и компоненты Power. По словам генерального менеджера альянса OpenPower в подразделении IBM Systems and Technology Group Кена Кинга, первые серверы Power, выпущенные независимыми производителями, будут предназначены для облачных сервисов и высокопроизводительных приложений.

«Процессоры Power могут устанавливаться и в серверы младшего класса, но здесь решение будут принимать производители серверов, – указал Кинг. – В их серверы начнут устанавливаться и процессоры, являющиеся производными от чипов Power8 и изготавливаемые за пределами IBM. Однако сроки начала производства процессоров Power8 независимыми производителями пока не подтверждены».

Оборудование IBM Power использовалось в суперкомпьютере Watson, работающем под управлением Linux и сумевшем одержать верх над людьми в телевизионной викторине Jeopardy. Но в последние годы объемы поставок серверов с процессорами IBM Power неуклонно сокращались, поскольку покупатели отдавали предпочтение более дешевому оборудованию с архитектурой x86. Вместе с тем, корпорация IBM согласилась продать свой бизнес x86-серверов Lenovo за 2,3 млрд долл. и теперь ориентируется исключительно на архитектуру Power.

Серверы Power, выпускаемые другими производителями, будут конкурировать с системами IBM System Z старшего класса и адаптируемыми к потребностям клиентов предложениями PureSystem. Но по мнению Кинга, это уже не столь важно. Главное – что лицензирование архитектуры Power будет способствовать более широкому ее распространению.

«Таким образом, серверы Power займут достойное место на рынке», – подчеркнул Кинг.

«Мэйнфреймы и серверы IBM Power постепенно сходят со сцены, поэтому компания и решилась на лицензирование своей процессорной архитектуры, – считает главный аналитик компании Insight 64 Натан Бруквуд. – Для IBM сегодня очень важно охватить серверами Power как можно более широкий круг клиентов и продемонстрировать, что к ним проявляют интерес и другие производители».

В прошлом году IBM сформировала объединение OpenPower Alliance, которое должно укрепить сотрудничество с другими компаниями в области разработки оборудования и программного обеспечения для архитектуры Power. В состав OpenPower вошли компании Google и Tyan, которые уже продемонстрировали платы, созданные для архитектуры Power8. Среди других известных участников альянса можно отметить производителей памяти Samsung и Micron, а также компанию Nvidia, которая занимается разработкой графических процессоров.

«В IBM признали, что архитектура Power испытывает сегодня известные трудности, и предприняли грамотный ход, открыв ее другим производителям, – отметил главный аналитик компании Pund-IT Чарльз Кинг. – Конечно, количество серверов Power, поставляемых IBM, из-за конкуренции может сократиться, но компания получит дополнительные доходы от лицензирования, окзазания услуг и развертывания систем. Серверы Power хорошо подходят для организации высокопроизводительных вычислений и облачных сервисов. Выгодным отличием архитектуры Power от x86 является поддержка большего числа виртуальных машин, запускаемых одновременно. Процессорам Power присущ высокий уровень устойчивости и готовности, а также удобство эксплуатации, которым так славятся серверы IBM».

Компанию Google, очевидно, привлекло увеличение числа виртуальных машин, запускаемых на серверах Power, в сравнении с системами x86.

Это открывает дополнительные возможности в части использования производительности и быстроты реакции виртуальных машин при обработке облачных запросов.

«Вместе с тем, IBM по-прежнему приходится прилагать серьезные усилия, для того чтобы привлечь внимание производителей к архитектуре Power, – указал Бруквуд. – Инвестиции в инфраструктуру x86 весьма велики, и компании неохотно осуществляют переход на новую архитектуру. Разработка нового программного обеспечения требует времени, денег и дополнительных ресурсов. Проблема компьютерных систем, теряющих популярность, заключается в сужении пользовательской базы и базы приложений. Так происходило с DEC Alpha, Tandem NonStop и десятками других систем».

Компания Sun Microsystems, принадлежащая ныне корпорации Oracle, открыла свою микроархитектуру SPARC, представив OpenSPARC, но это не сработало. Hewlett-Packard сегодня отказывается от процессоров Itanium и ищет пути перехода на архитектуру x86.

Но если для IBM все сложится удачно, у нее еще есть шанс оживить Power.

«Чтобы продлить жизненный цикл Power8, необходимо привлекать других людей к разработке и использованию этой архитектуры», – подчеркнул Бруквуд.

Ракета Antares вывела на орбиту космический грузовик Cygnus. Источник: NASA

После успешного запуска грузовой корабль взял курс на Международную космическую станцию, неся на борту помимо целого ряда небольших спутников 3D-смартфоны Google. Космический грузовик Cygnus, который был создан компанией Orbital Sciences, стартовал с космодрома Уоллопс и доставил на станцию 1360 кг продовольствия и других запасов, а также оборудование для проведения научных экспериментов.

На орбиту Cygnus вывела ракета Orbital Antares. Встреча с МКС состоялась в среду. Стыковка осуществлялась с помощью специальной роботизированной руки, которой оснащена станция.

Помимо продовольствия, оборудования для проведения экспериментов и запчастей Cygnus доставил компоненты для реализации проекта Google Tango. Трехмерная картографическая технология Google будет применяться в перспективных 3D-смартфонах и планшетах.

В августе астронавты намерены интегрировать трехмерную технологию в интеллектуальных роботов Spheres (Synchronized Position Hold, Engage, Reorient Experimental Satellites), испытания которых НАСА проводит в космическом пространстве с 2011 года.

Встреча с МКС состоялась в среду. Стыковка осуществлялась с помощью специальной роботизированной руки, которой оснащена станция. Источник: NASA

В настоящее время роботы Spheres используются только в одном небольшом отсеке станции. После оснащения их датчиками и камерами системы трехмерной навигации Project Tango астронавты смогут перемещать роботов по станции, контролируя их схему передвижения.

После завершения составления схемы роботы Spheres будут маневрировать в пределах всей станции.

Летающих роботов размером с волейбольный мяч НАСА планирует применять для решения самых разных задач. Вмонтированные в них камеры будут использоваться для наблюдения за ситуацией внутри станции. Роботов предполагается также оснастить датчиками, контролирующими качество воздуха и уровень шума, благодаря чему они могут взять на себя функции мониторинга, возложенные сейчас на астронавтов.

На борту Cygnus находятся 28 миниатюрных спутников CubeSat. Пройдя через шлюз японского экспериментального модуля, они будут осуществлять съемку поверхности Земли. Полученные изображения предполагается использовать для обнаружения стихийных бедствий и координации усилий по их ликвидации. С их помощью планируется осуществлять также контроль за состоянием окружающей следы и управление сельскохозяйственными работами.