Spring XD 团队很高兴地宣布 Spring XD Milestone 7 现在可以下载。

此版本亮点

• 传输数据分区: 默认情况下，消息以循环方式传递到流模块的多个实例。 但是，如果模块执行的操作无法从流中获取随机消息，则可以基于其内容对流进行分区，以便将相似的消息始终传递到同一模块实例。 例如，如果处理模块正在对每个客户执行有状态操作，则可以基于消息中的 customerId 字段对流进行分区。 这是通过在部署清单中指定分区属性来完成的。 下面显示了一个小例子。

• HDFS 和 HDFS DataSet Sink 改进：这些 sinks 现在支持基于分区函数写入多个路径和文件。 查看 HDFS 分区示例，了解使用分区功能的几种方法。

• 分布式运行时增强

• 作业的部署清单

• 更新以支持较新的 Hadoop 发行版: 现在总共有 8 个。

• 管理 UI 增强

• Rabbit 消息总线可配置选项: 配置消息传递选项、并发设置和高可用性策略等选项。 这些选项也可以为特定模块覆盖，例如 modue.http.producer.deliveryMode=NON_PERSISTENT

• 在自动化系统测试中改进了模块覆盖率

数据分区示例

为了演示数据分区功能，请使用 Rabbit 作为传输启动两个容器。 在 shell 中

stream create words --definition "http | splitter --expression=payload.split(' ') | log"  

stream deploy words --properties module.splitter.producer.partitionKeyExpression=payload,module.log.count=2  

http post --data "How much wood would a woodchuck chuck if a woodchuck could chuck wood"  

在一个容器日志中，您将看到

16:33:27,486 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - How
16:33:27,507 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - chuck
16:33:27,508 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - chuck

在另一个容器日志中，您将看到

16:33:27,503 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - much
16:33:27,512 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - wood
16:33:27,513 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - would
16:33:27,514 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - a
16:33:27,520 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - woodchuck
16:33:27,522 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - if
16:33:27,523 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - a
16:33:27,524 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - woodchuck
16:33:27,526 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - could
16:33:27,528 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - wood

这表明包含相同单词的消息被定向到相同的容器实例。

请注意，仅在使用 RabbitMQ 作为传输时才支持分区。 在下一个版本中将提供对 Redis 作为传输的支持

总结

您还可以使用 homebrew 在 OSX 上安装 Spring XD，并使用 yum 在 RHEL/CentOs 上安装 Spring XD。

Spring XD 项目主页是了解更多关于 Spring XD 的中心枢纽。 一些有用的链接是 参考文档、示例应用程序 和 QCon SF 2013 Session Replay：Spring XD 简介。

我们期待您的评论和反馈

• StackOverflow spring-xd 标签
• Spring JIRA

SpringOne 2GX 2014 即将到来

立即预订 9 月 8-11 日在 德克萨斯州达拉斯举行的 SpringOne 的席位。 这是了解所有最新进展并提供直接反馈的最佳机会。 将会有关于 Spring XD 的深入探讨，以及一般的大数据讲座，以介绍大数据应用程序开发领域的概况和挑战。