Spring for Apache Hadoop 2.0 M5 发布

发布 | Thomas Risberg | 2014 年 2 月 6 日 | ...

我们很高兴地宣布 Spring for Apache Hadoop 2.0 M5 里程碑版本发布。 我们正在接近候选版本,因此现在是强调此 2.0 版本中的新增功能以及它与 1.0 版本的比较的好时机。

Spring for Apache Hadoop 1.0 主要针对将 HDFS 和 MapReduce 与 MapReduce v1 或 MapReduce v2 (YARN) 一起使用。 默认发行版是 Apache Hadoop 1.2.1,并为其他发行版提供额外的“风格”:Hadoop 2.2.0、Pivotal HD 1.1、Cloudera CDH4 MR1 或 MR2 YARN 和 Hortonworks HDP 1.3。

Spring for Apache Hadoop 2.0 的主要重点是在 HDFS 和 MapReduce 支持方面继续提供改进之外,添加 YARN 应用程序开发支持。 未来 2.0 版本的默认发行版是 Apache Hadoop 2.2.0。

我们将继续在 Spring IO 里程碑仓库中提供具有各自传递依赖项的版本特定工件

  • 2.0.0.M5(默认 - Apache Hadoop 稳定版 2.2.0)
  • 2.0.0.M5-hadoop12 (Apache Hadoop 稳定版 1.2.1)
  • 2.0.0.M5-phd1 (Pivotal HD 1.1)
  • 2.0.0.M5-cdh4 (Cloudera CDH4 MR1)
  • 2.0.0.M5-cdh5 (Cloudera CDH5 YARN beta)
  • 2.0.0.M5-hdp20 (Hortonworks HDP 2.0)

Spring for Apache Hadoop 2.0 版本中最重要的增强功能

  • YARN 功能的支持在新 spring-yarn 子项目中提供。 spring-yarn 框架使您可以更轻松地开发可以部署到 Hadoop v2 上使用 YARN 运行的基于 Spring 的应用程序。
  • 我们还将 YARN 支持与 Spring Boot 集成,以便您可以在 YARN 上部署 Spring Boot 应用程序。 我们将通过一篇博客文章来更详细地解释此功能。
  • Spring Boot 推广基于注释的编程模型,并且我们为 Hadoop YARN 功能添加了基于注释的配置。

您可以在YARN 示例中看到许多这些新的 YARN 功能的使用

我们还添加了一个 spring-data-hadoop-store 子项目,以提供更好的支持,使用 DataWriter 和 DataReader 实现将数据写入 HDFS,支持文本文件和 SequenceFiles 等格式,无论是否压缩。 这个新的子项目还与Kite SDK的 Dataset 支持集成。

有关更多项目特定信息,请参见项目页面

获取 Spring 新闻通讯

通过 Spring 新闻通讯保持联系

订阅

更进一步

VMware 提供培训和认证,以加速您的进步。

了解更多

获得支持

Tanzu Spring 在一个简单的订阅中提供对 OpenJDK™、Spring 和 Apache Tomcat® 的支持和二进制文件。

了解更多

即将举行的活动

查看 Spring 社区中所有即将举行的活动。

查看全部