Spring Batch 4.1 正式发布!

发布 | Mahmoud Ben Hassine | 2018年10月29日 | ...

我很高兴地宣布 Spring Batch 4.1.0.RELEASE 现已可用。

Spring Batch 4.1 GA 新特性

此版本添加了以下功能

  • 一个新的@SpringBatchTest注解,用于简化批处理组件的测试。
  • 一个新的@EnableBatchIntegration注解,用于简化远程分块和分区配置。
  • 支持读取和写入 JSON 格式的数据。
  • 支持使用 Bean Validation API 验证项目。
  • 支持 JSR-305 注解。
  • FlatFileItemWriterBuilder API 的增强。

@SpringBatchTest 注解

Spring Batch 提供了一些不错的实用程序类(例如JobLauncherTestUtilsJobRepositoryTestUtils),以及测试执行监听器(StepScopeTestExecutionListenerJobScopeTestExecutionListener)来测试批处理组件。但是,为了使用这些实用程序,必须显式地配置它们。此版本引入了一个名为@SpringBatchTest的新注解,该注解会自动将实用程序 bean 和监听器添加到测试上下文,并使它们可用于自动装配,如下例所示:

@RunWith(SpringRunner.class)
@SpringBatchTest
@ContextConfiguration(classes = {JobConfiguration.class})
public class JobTest {

   @Autowired
   private JobLauncherTestUtils jobLauncherTestUtils;

   @Autowired
   private JobRepositoryTestUtils jobRepositoryTestUtils;


   @Before
   public void clearMetadata() {
      jobRepositoryTestUtils.removeJobExecutions();
   }

   @Test
   public void testJob() throws Exception {
      // given
      JobParameters jobParameters =
            jobLauncherTestUtils.getUniqueJobParameters();

      // when
      JobExecution jobExecution =
            jobLauncherTestUtils.launchJob(jobParameters);

      // then
      Assert.assertEquals(ExitStatus.COMPLETED,
                          jobExecution.getExitStatus());
   }

}

@EnableBatchIntegration 注解

设置远程分块作业需要定义许多 bean:

  • 一个连接工厂,用于从消息中间件(JMS、AMQP 等)获取连接。
  • 一个MessagingTemplate,用于在主节点和工作节点之间发送请求。
  • 一个输入通道和一个输出通道,用于 Spring Integration 从消息中间件获取消息。
  • 主节点上一个特殊的项目写入器(ChunkMessageChannelItemWriter),它知道如何将数据块发送到工作节点进行处理和写入。
  • 工作节点上一个消息监听器(ChunkProcessorChunkHandler),用于接收来自主节点的数据。

乍一看这可能有点令人望而生畏。此版本引入了一个名为@EnableBatchIntegration的新注解以及新的 API(RemoteChunkingMasterStepBuilderRemoteChunkingWorkerBuilder)来简化配置。以下示例演示了如何使用新的注解和 API。

@Configuration
@EnableBatchProcessing
@EnableBatchIntegration
public class RemoteChunkingAppConfig {

   @Autowired
   private RemoteChunkingMasterStepBuilderFactory masterStepBuilderFactory;

   @Autowired
   private RemoteChunkingWorkerBuilder workerBuilder;

   @Bean
   public TaskletStep masterStep() {
         return this.masterStepBuilderFactory
         	        .get("masterStep")
         	        .chunk(100)
         	        .reader(itemReader())
         	        .outputChannel(outgoingRequestsToWorkers())
         	        .inputChannel(incomingRepliesFromWorkers())
         	        .build();
   }

   @Bean
   public IntegrationFlow worker() {
         return this.workerBuilder
         	        .itemProcessor(itemProcessor())
         	        .itemWriter(itemWriter())
         	        .inputChannel(incomingRequestsFromMaster())
         	        .outputChannel(outgoingRepliesToMaster())
         	        .build();
   }

   // Middleware beans setup omitted
}

这个新的注解和新的构建器负责配置基础设施 bean 的繁重工作。现在,您可以轻松地配置主步骤以及工作节点上的 Spring Integration 流。

与远程分块配置简化一样,此版本还引入了新的 API 来简化远程分区设置:RemotePartitioningMasterStepBuilderRemotePartitioningWorkerStepBuilder。如果存在@EnableBatchIntegration,则可以在您的配置类中自动装配它们,如下例所示:

@Configuration
@EnableBatchProcessing
@EnableBatchIntegration
public class RemotePartitioningAppConfig {

   @Autowired
   private RemotePartitioningMasterStepBuilderFactory masterStepBuilderFactory;

   @Autowired
   private RemotePartitioningWorkerStepBuilderFactory workerStepBuilderFactory;

   @Bean
   public Step masterStep() {
            return this.masterStepBuilderFactory
               .get("masterStep")
               .partitioner("workerStep", partitioner())
               .gridSize(10)
               .outputChannel(outgoingRequestsToWorkers())
               .inputChannel(incomingRepliesFromWorkers())
               .build();
   }

   @Bean
   public Step workerStep() {
            return this.workerStepBuilderFactory
               .get("workerStep")
               .inputChannel(incomingRequestsFromMaster())
               .outputChannel(outgoingRepliesToMaster())
               .chunk(100)
               .reader(itemReader())
               .processor(itemProcessor())
               .writer(itemWriter())
               .build();
   }

   // Middleware beans setup omitted
}

JSON 支持

此版本引入了一个新的项目读取器 (JsonItemReader),它可以读取以下格式的 JSON 资源:

[
  {
    "isin": "123",
    "quantity": 1,
    "price": 1.2,
    "customer": "foo"
  },
  {
    "isin": "456",
    "quantity": 2,
    "price": 1.4,
    "customer": "bar"
  }
]

与 XML 的StaxEventItemReader类似,新的JsonItemReader使用流式 API 来分块读取 JSON 对象。Spring Batch 支持两个库:

要添加其他实现,您可以实现JsonObjectReader接口。还通过JsonFileItemWriter支持写入 JSON 数据。

Bean Validation API 支持

此版本带来了一种名为BeanValidatingItemProcessor的新ValidatingItemProcessor实现,它允许您使用 Bean Validation API (JSR-303) 注解来验证项目。例如,考虑以下Person类型:

class Person {

    @NotEmpty
    private String name;

    public Person(String name) {
        this.name = name;
    }

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

}

您可以通过在应用程序上下文中声明一个BeanValidatingItemProcessor bean 并将其注册为面向块的步骤中的处理器来验证项目,如下例所示:

@Bean
public BeanValidatingItemProcessor<Person> beanValidatingItemProcessor()
   throws Exception {
	BeanValidatingItemProcessor<Person> beanValidatingItemProcessor 
                    = new BeanValidatingItemProcessor<>();
	beanValidatingItemProcessor.setFilter(true);

	return beanValidatingItemProcessor;
}

JSR-305 支持

此版本增加了对 JSR-305 注解的支持。它使用 Spring 框架的空安全注解,并将它们添加到 Spring Batch 的所有公共 API 上。

这些注解不仅在使用 Spring Batch API 时强制执行空安全性,还可以被 IDE 用于提供与可空性相关的有用信息。例如,如果用户想要实现ItemReader接口,任何支持 JSR-305 注解的 IDE 都应该生成类似以下内容:

public class MyItemReader implements ItemReader<String> {

	@Nullable
	public String read() throws Exception {
		return null;
	}

}

@Nullable注解出现在read方法上,清楚地表明此方法的约定是它可能返回null。这强化了其Javadoc中所说的内容,即当数据源耗尽时,read方法应返回null

FlatFileItemWriterBuilder 增强

此版本添加的另一个小功能是简化了平面文件写入的配置。具体来说,这些更新简化了分隔文件和固定宽度文件的配置。以下示例显示了更改前后:

// Before
@Bean
public FlatFileItemWriter<Item> itemWriter(Resource resource) {
	BeanWrapperFieldExtractor<Item> fieldExtractor =
            new BeanWrapperFieldExtractor<Item>();
	fieldExtractor.setNames(new String[] {"field1", "field2", "field3"});
	fieldExtractor.afterPropertiesSet();

	DelimitedLineAggregator aggregator = new DelimitedLineAggregator();
	aggregator.setFieldExtractor(fieldExtractor);
	aggregator.setDelimiter(";");

	return new FlatFileItemWriterBuilder<Item>()
			.name("itemWriter")
			.resource(resource)
			.lineAggregator(aggregator)
			.build();
}

// After
@Bean
public FlatFileItemWriter<Item> itemWriter(Resource resource) {
	return new FlatFileItemWriterBuilder<Item>()
			.name("itemWriter")
			.resource(resource)
			.delimited()
			.delimiter(";")
			.names(new String[] {"field1", "field2", "field3"})
			.build();
}

其他改进

除了所有这些新功能之外,此版本还修复了许多错误,并通过 Github 上的 Pull Request 从社区中整合了许多增强功能。我们要感谢所有贡献者报告问题、建议功能以及贡献代码来实现此版本的发布!此版本的完整变更日志可在此处找到:此处

反馈

您可以使用即将推出的 Spring Boot 2.1 GA 来使用 Spring Batch 4.1 GA。我们期待您在StackOverflowGitterJIRA上提供反馈。欢迎随时在 Twitter 上联系@michaelminella@benas

Spring Batch 首页 | GitHub 代码库 | 参考文档

获取 Spring 新闻

通过 Spring 新闻保持联系

订阅

领先一步

VMware 提供培训和认证,以快速提升您的技能。

了解更多

获取支持

Tanzu Spring 提供对 OpenJDK™、Spring 和 Apache Tomcat® 的支持和二进制文件,只需一个简单的订阅即可。

了解更多

即将举行的活动

查看 Spring 社区中所有即将举行的活动。

查看全部