Spring XD 简介

工程 | Mark Fisher | 2013 年 4 月 23 日 | ...

今天,我们正式启动一项名为 Spring XD 的新计划,其主题是“应对大数据复杂性”1

在过去的几年里,Spring Data 团队一直非常忙碌,不仅为 NoSQL 数据存储提供支持,而且还简化了 Hadoop 的开发体验。随着 Spring for Apache Hadoop 项目的创建,通过提供丰富的配置模型和 Hadoop 生态系统项目(如 Hive 和 Pig)的一致编程模型,我们使 Hadoop 应用程序的开发更容易上手。正如 Spring 用户所期望的那样,可以

  1. 将 MapReduce 作业配置并作为容器管理对象运行。
  2. 使用 HDFS、HBase、Pig 和 Hive 的模板辅助类,从应用程序中删除样板代码。

Spring for Apache Hadoop 为构建 Hadoop 应用程序提供了坚实的基础。 Spring XD 以这些基础资产为基础,进一步简化了创建真实世界的大数据解决方案的过程。 具体而言,Spring XD 解决了常见的大数据用例,例如

  1. 从各种输入源向 HDFS 进行高吞吐量分布式数据摄取。
  2. 摄取时的实时分析,例如收集指标和计算值。
  3. 通过批处理作业进行 Hadoop 工作流程管理,该作业将与标准企业系统(例如 RDBMS)的交互以及 Hadoop 操作(例如 MapReduce、HDFS、Pig、Hive 或 Cascading)相结合。
  4. 高吞吐量数据导出,例如从 HDFS 到 RDBMS 或 NoSQL 数据库。

Spring Data 这本书涵盖了其中的几个用例,该书的示例代码可在我们的 GitHub 存储库中找到。 除了 Spring for Apache Hadoop 项目之外,这些示例还基于 Spring Batch 和 Spring Integration 构建。

在管理事件驱动的数据摄取流时,Spring Integration 提供了一种经过验证的模型,该模型受到完善的 企业集成模式的启发。 同样,Spring Batch 是一种功能强大的工作流程管理解决方案,对最重要需求(例如作业状态管理和重试/重新启动功能)提供强大的支持,并且是 JSR-352 的基础。

扩展框架以支持大数据用例始于本书中的示例,但是通过 Spring XD,我们的目标是将这种支持提升到另一个层次。 首先,我们将提供一种一致的模型,该模型涵盖上面列出的四个用例类别。 对于那些具有 Spring 经验的人来说,该模型将立即熟悉。 其次,随着 Spring XD 的发展,我们将超越 API 层,提供开箱即用的可执行服务器、可插拔的模块系统、用于在 Hadoop 集群内外分发数据收集实例的简单模型等等。

如果您对此感兴趣,请参与其中!您可以 Fork 存储库和/或监视 JIRA。它实际上是一个全新的开始,但是我们希望确保我们的社区成员有机会从一开始就参与进来。 与往常一样,我们将来自广泛而充满热情的社区的反馈视为我们最大的资产。 在过去的一年中,我们一直在进行大量的原型设计,因此您很快会看到一些代码发布。 此外,我们计划在每个 sprint 之后发布博客,以便您可以关注进度。 而且,如果您尚未注册 SpringOne,请务必注册; Spring XD 将成为其中的重点。

最后,请务必注册参加我们明天(4 月 24 日)的直播活动:Pivotal:新时代的全新平台

1XD = eXtreme Data 或 'x',如 y = mx + b ;-)

获取 Spring 新闻通讯

随时关注 Spring 新闻通讯

订阅

抢先一步

VMware 提供培训和认证,以加速您的进步。

了解更多

获取支持

Tanzu Spring 在一个简单的订阅中提供 OpenJDK™、Spring 和 Apache Tomcat® 的支持和二进制文件。

了解更多

即将举行的活动

查看 Spring 社区中所有即将举行的活动。

查看全部