Spring for Apache Hadoop 1.0.0 M2 的亮点
我很高兴地宣布 Spring for Apache Hadoop 项目的第二个里程碑版本 (1.0.0.M2) 现已可用。在这篇博客文章中,我想快速重点介绍 M2 中的主要新功能。
HBase DAO 支持
Spring Framework 中最通用和最强大的功能之一是数据访问对象(或 DAO)支持。Spring for Hadoop 1.0.0 M2 为 HBase 添加了相同的功能。熟悉流行的模板和回调模式的用户会感到非常轻松,因为该框架负责表查找、资源清理和异常转换,让开发人员专注于真正重要的事情。有关更多信息,请参阅 API 和参考文档。顺便说一下,我们还在发行版中包含了一个新的示例,hbase-crud,以帮助您立即开始使用。Cascading Taps
在 M2 中,我们通过为 Spring Framework 和 Spring Integration 资源Taps 扩展了与 Cascading 库的集成。Spring Integration 适配器(无论是入站还是出站)的丰富功能(如 File、TCP、Twitter、FTP、RSS 等)现已可用于 Cascading(及其扩展,如 Cascalog 或 Scalding)。这仅仅是个开始——期待在此方面有更多新闻。Hadoop 安全
使用 M2,从一个普通的 Hadoop 安装(例如开发机器)迁移到完全 Kerberos 安全的 Hadoop 集群是透明的。文件系统、Map/Reduce 和 Pig 组件都具有安全意识,在适当的凭据下执行并支持用户模拟。有关更多信息,请参阅专用章节。增强的普通 Map/Reduce 支持
从一开始,Spring for Apache Hadoop 就为 Map/Reduce 作业提供了广泛的支持——无论是普通 Java Map/Reduce、流还是工具。在 M2 中,我们全面添加了对 Hadoop 通用选项的支持,使得作业提供,无论是通过单独命名资源还是通过模式匹配,都可以一行完成。此外,我们还增强了基于 jar 的作业的引导——不再需要将类放在类路径上,作业可以从 jar 中完全隔离加载。类(及其依赖项)不会泄露到应用程序中,从而避免了各种版本冲突和依赖蔓延。工具声明也得到了改进,可以自动读取 Jar 元数据及其主类 (Main-Class),提供了一个强大的、完全托管的替代 Hadoop shell 的替换方案。jar调用。两个新示例
最后同样重要的是,发行版中添加了两个新示例hbase-crud,正如我之前提到的,展示了声明式和编程式的 HBase 支持以及pig-scripting,演示了 JVM 和 Pig 脚本:前者在 HDFS 中进行数据准备以供后者进行数据分析。还有更多示例正在开发中,如果您想看到任何特别的内容,请告诉我们。我希望您喜欢这个新的里程碑版本。请继续,获取 1.0.0 M2,试用一下,并告诉我们您的想法!
其他新闻:Project Serengeti
就新发布版本而言,Spring for Apache Hadoop 1.0.0 M2 并不是 Hadoop 方面的唯一新闻。今天,VMware 公布了 Serengeti 项目,该项目用于虚拟化和高可用性的 Hadoop。请参阅 Richard McDougall 关于该项目动机和当前状态的博客文章……