Организация Apache Software Foundation перевела на верхний уровень проект Sqoop, в рамках которого создается коннектор для передачи больших массивов данных между системой Hadoop и всевозможными базами и хранилищами данных. Sqoop поддерживает как реляционные СУБД, включая MySQL, PostgreSQL, Oracle, SQL Server и DB2, так и различные нереляционные хранилища.
Как объясняют руководители проекта, Sqoop рассчитан на быструю параллельную передачу миллиардов столбцов в Hadoop. Коннектор размещает данные либо непосредственно в пространстве хранения, контролируемом Hadoop Distributed File System, либо передает другим Hadoop-приложениям, например, хранилищам HBase или Hive.
Нынешняя версия Sqoop — 1.4. Система уже применяется некоторыми организациями в рабочих средах совместно с Hadoop. Sqoop стал проектом инкубатора ASF в прошлом году. Теперь благодаря выходу на верхний уровень проект может пользоваться коллективными рабочими пространствами Apache, списками рассылки, репозитарием кода и юридической поддержкой.