领先一步
VMware提供培训和认证,以加速您的进步。
了解更多Spring XD团队高兴地宣布,Spring XD里程碑版本7现已提供下载。
此版本的亮点
传输数据分区:默认情况下,消息以循环方式传递到流模块的多个实例。但是,如果模块执行的操作使得它无法从流中消费随机消息,那么您可以根据其内容对流进行分区,以便始终将相似的消息传递到相同的模块实例。例如,如果处理模块正在对每个客户执行有状态操作,则可以根据消息中的customerId字段对流进行分区。这是通过在部署清单中指定分区属性来完成的。下面显示了一个小例子。
HDFS 和 HDFS数据集 Sink改进:这些Sink现在支持根据分区函数写入多个路径和文件。查看HDFS分区示例,了解使用分区功能的几种方法。
更新以支持较新的Hadoop发行版:现在共有8个。
Rabbit消息总线可配置选项:配置消息传递选项、并发设置和高可用性策略等选项。这些选项也可以为特定模块覆盖,例如module.http.producer.deliveryMode=NON_PERSISTENT
提高了自动化系统测试中的模块覆盖率
数据分区示例
为了演示数据分区功能,使用Rabbit作为传输启动两个容器。在shell中
stream create words --definition "http | splitter --expression=payload.split(' ') | log"
stream deploy words --properties module.splitter.producer.partitionKeyExpression=payload,module.log.count=2
http post --data "How much wood would a woodchuck chuck if a woodchuck could chuck wood"
在一个容器日志中,您将看到
16:33:27,486 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - How
16:33:27,507 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - chuck
16:33:27,508 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - chuck
在另一个中
16:33:27,503 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - much
16:33:27,512 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - wood
16:33:27,513 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - would
16:33:27,514 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - a
16:33:27,520 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - woodchuck
16:33:27,522 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - if
16:33:27,523 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - a
16:33:27,524 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - woodchuck
16:33:27,526 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - could
16:33:27,528 INFO SimpleAsyncTaskExecutor-1 sink.words:155 - wood
这表明包含相同单词的消息被定向到相同的容器实例。
请注意,仅当使用RabbitMQ作为传输时才支持分区。对Redis作为传输的支持将在下一个版本中提供。
总结
您还可以使用homebrew在OSX上安装Spring XD,并使用yum在RHEL/CentOS上安装。
Spring XD的项目主页是了解Spring XD的中心枢纽。一些有用的链接是参考文档、示例应用程序和QCon SF 2013研讨会回放:介绍Spring XD。
我们期待您的意见和反馈
spring-xd
标签SpringOne 2GX 2014即将到来
尽快预订您在德克萨斯州达拉斯举行的SpringOne(9月8日至11日)的座位。这是直接了解所有正在发生的事情并提供直接反馈的最佳机会。将会有关于Spring XD的深入研讨会,以及关于大数据的主题演讲,以介绍开发大数据应用程序的格局和挑战。