Spring XD 1.0.0.M7 发布

发行版 | Mark Pollack | 2014年6月3日 | ...

Spring XD团队高兴地宣布,Spring XD里程碑版本7现已提供下载

此版本的亮点

  • 传输数据分区:默认情况下,消息以循环方式传递到流模块的多个实例。但是,如果模块执行的操作使得它无法从流中消费随机消息,那么您可以根据其内容对流进行分区,以便始终将相似的消息传递到相同的模块实例。例如,如果处理模块正在对每个客户执行有状态操作,则可以根据消息中的customerId字段对流进行分区。这是通过在部署清单中指定分区属性来完成的。下面显示了一个小例子。

  • HDFSHDFS数据集 Sink改进:这些Sink现在支持根据分区函数写入多个路径和文件。查看HDFS分区示例,了解使用分区功能的几种方法。

  • 分布式运行时增强

  • 作业的部署清单

  • 更新以支持较新的Hadoop发行版:现在共有8个。

  • Admin UI增强

  • Rabbit消息总线可配置选项:配置消息传递选项、并发设置和高可用性策略等选项。这些选项也可以为特定模块覆盖,例如module.http.producer.deliveryMode=NON_PERSISTENT

  • 提高了自动化系统测试中的模块覆盖率

数据分区示例

为了演示数据分区功能,使用Rabbit作为传输启动两个容器。在shell中

stream create words --definition "http | splitter --expression=payload.split(' ') | log"  

stream deploy words --properties module.splitter.producer.partitionKeyExpression=payload,module.log.count=2  

http post --data "How much wood would a woodchuck chuck if a woodchuck could chuck wood"  

在一个容器日志中,您将看到

16:33:27,486 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - How
16:33:27,507 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - chuck
16:33:27,508 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - chuck

在另一个中

16:33:27,503 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - much
16:33:27,512 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - wood
16:33:27,513 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - would
16:33:27,514 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - a
16:33:27,520 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - woodchuck
16:33:27,522 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - if
16:33:27,523 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - a
16:33:27,524 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - woodchuck
16:33:27,526 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - could
16:33:27,528 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - wood

这表明包含相同单词的消息被定向到相同的容器实例。

请注意,仅当使用RabbitMQ作为传输时才支持分区。对Redis作为传输的支持将在下一个版本中提供。

总结

您还可以使用homebrew在OSX上安装Spring XD,并使用yum在RHEL/CentOS上安装。

Spring XD的项目主页是了解Spring XD的中心枢纽。一些有用的链接是参考文档示例应用程序QCon SF 2013研讨会回放:介绍Spring XD

我们期待您的意见和反馈

SpringOne 2GX 2014即将到来

尽快预订您在德克萨斯州达拉斯举行的SpringOne(9月8日至11日)的座位。这是直接了解所有正在发生的事情并提供直接反馈的最佳机会。将会有关于Spring XD的深入研讨会,以及关于大数据的主题演讲,以介绍开发大数据应用程序的格局和挑战。

获取Spring通讯

通过Spring通讯保持联系

订阅

领先一步

VMware提供培训和认证,以加速您的进步。

了解更多

获得支持

Tanzu Spring在一个简单的订阅中提供对OpenJDK™、Spring和Apache Tomcat®的支持和二进制文件。

了解更多

即将举行的活动

查看Spring社区中所有即将举行的活动。

查看全部