В ближайшее время ожидается выход стабильной бета-версии Apache Hadoop 2.0, а финальный релиз — через несколько недель. Главным новшеством платформы станет механизм управления задачами Yarn, призванный упростить разработку приложений Hadoop. До сих пор обработка задач в Hadoop, осуществляемая с помощью механизма MapReduce, была возможна только в поочередном режиме. Yarn же позволит выполнять задачи параллельно. Новый механизм создает контейнеры для приложений, следит за их потребностями в ресурсах и выделяет дополнительные по необходимости. Если MapReduce одновременно отвечал за планирование задач и управление ресурсами, то Yarn разграничивает эти функции.
По мнению экспертов, благодаря новому механизму планирования задач для Hadoop может появиться целая волна новых аналитических приложений. Этот процесс уже начался: например, средствами Yarn пользуется Apache Tez, система анализа данных в режиме реального времени, ускоряющая выполнение запросов за счет обработки в оперативной памяти.
В Hadoop 2.0 появился еще ряд новых компонентов, в том числе средства обеспечения высокой готовности и расширения масштаба индивидуальных кластеров (среды Hadoop могут состоять из нескольких кластеров): каждый из них теперь может содержать до 4 тыс. серверов.