数据集成

本指南将引导您完成使用 Spring Integration 创建一个简单应用程序的过程,该应用程序从 RSS Feed(Spring 博客)检索数据,操作数据,然后将其写入文件。本指南使用传统的 Spring Integration XML 配置。其他指南展示了如何在使用和不使用 Lambda 表达式的情况下使用 Java 配置和 DSL。

您将构建什么

您将使用传统的 XML 配置创建 Spring Integration 流程。

您需要什么

如何完成本指南

与大多数 Spring 入门指南 一样,您可以从头开始并完成每个步骤,也可以绕过您已经熟悉的某些基本设置步骤。无论哪种方式,您最终都会得到可运行的代码。

从头开始,请继续转到 从 Spring Initializr 开始

跳过基础步骤,请执行以下操作

完成后,您可以将您的结果与 gs-integration/complete 中的代码进行比较。

从 Spring Initializr 开始

您可以使用此 预初始化项目 并单击“生成”以下载 ZIP 文件。此项目已配置为适合本教程中的示例。

要手动初始化项目

  1. 导航到 https://start.spring.io。此服务会引入应用程序所需的所有依赖项,并为您完成大部分设置工作。

  2. 选择 Gradle 或 Maven 以及您要使用的语言。本指南假设您选择了 Java。

  3. 单击依赖项并选择Spring Integration

  4. 单击生成

  5. 下载生成的 ZIP 文件,这是一个使用您选择的选项配置的 Web 应用程序的存档。

如果您的 IDE 集成了 Spring Initializr,则可以从您的 IDE 中完成此过程。
您也可以从 Github 分支项目并在您的 IDE 或其他编辑器中打开它。

添加到构建文件中

对于此示例,您需要添加两个依赖项

  • spring-integration-feed

  • spring-integration-file

以下清单显示最终的 pom.xml 文件

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
	<modelVersion>4.0.0</modelVersion>
	<parent>
		<groupId>org.springframework.boot</groupId>
		<artifactId>spring-boot-starter-parent</artifactId>
		<version>3.3.0</version>
		<relativePath/> <!-- lookup parent from repository -->
	</parent>
	<groupId>com.example</groupId>
	<artifactId>integration-complete</artifactId>
	<version>0.0.1-SNAPSHOT</version>
	<name>integration-complete</name>
	<description>Demo project for Spring Boot</description>

	<properties>
		<java.version>17</java.version>
	</properties>

	<dependencies>
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-integration</artifactId>
		</dependency>
		<dependency>
			<groupId>org.springframework.integration</groupId>
			<artifactId>spring-integration-feed</artifactId>
		</dependency>
		<dependency>
			<groupId>org.springframework.integration</groupId>
			<artifactId>spring-integration-file</artifactId>
		</dependency>

		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-test</artifactId>
			<scope>test</scope>
		</dependency>
		<dependency>
			<groupId>org.springframework.integration</groupId>
			<artifactId>spring-integration-test</artifactId>
			<scope>test</scope>
		</dependency>
	</dependencies>

	<build>
		<plugins>
			<plugin>
				<groupId>org.springframework.boot</groupId>
				<artifactId>spring-boot-maven-plugin</artifactId>
			</plugin>
		</plugins>
	</build>

</project>

以下清单显示最终的 build.gradle 文件

plugins {
	id 'org.springframework.boot' version '3.3.0'
	id 'java'
}

apply plugin: 'io.spring.dependency-management'

group = 'com.example'
version = '0.0.1-SNAPSHOT'
sourceCompatibility = '17'

repositories {
	mavenCentral()
}

dependencies {
	implementation 'org.springframework.boot:spring-boot-starter-integration'
	implementation 'org.springframework.integration:spring-integration-feed'
	implementation 'org.springframework.integration:spring-integration-file'
	testImplementation('org.springframework.boot:spring-boot-starter-test')
	testImplementation 'org.springframework.integration:spring-integration-test'
}

test {
	useJUnitPlatform()
}

定义集成流程

对于本指南的示例应用程序,您将定义一个 Spring Integration 流程,该流程将:

  • 读取 spring.io 上 RSS Feed 中的博客文章。

  • 将它们转换为易于阅读的String,其中包含文章标题和文章的 URL。

  • 将该String附加到文件的末尾 (/tmp/si/SpringBlog)。

要定义集成流程,您可以使用 Spring Integration XML 命名空间中的一些元素创建 Spring XML 配置。具体而言,对于所需的集成流程,您将使用以下 Spring Integration 命名空间中的元素:core、feed 和 file。(获取最后两个元素的原因是我们必须修改 Spring Initializr 提供的构建文件。)

以下 XML 配置文件 (来自 src/main/resources/integration/integration.xml) 定义了集成流程

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
	xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xmlns:int="http://www.springframework.org/schema/integration"
	xmlns:file="http://www.springframework.org/schema/integration/file"
	xmlns:feed="http://www.springframework.org/schema/integration/feed"
	xsi:schemaLocation="http://www.springframework.org/schema/integration/feed https://www.springframework.org/schema/integration/feed/spring-integration-feed.xsd
		http://www.springframework.org/schema/beans https://www.springframework.org/schema/beans/spring-beans.xsd
		http://www.springframework.org/schema/integration/file https://www.springframework.org/schema/integration/file/spring-integration-file.xsd
		http://www.springframework.org/schema/integration https://www.springframework.org/schema/integration/spring-integration.xsd">

    <feed:inbound-channel-adapter id="news" url="https://springjava.cn/blog.atom" auto-startup="${auto.startup:true}">
        <int:poller fixed-rate="5000"/>
    </feed:inbound-channel-adapter>

    <int:transformer
            input-channel="news"
            expression="payload.title + ' @ ' + payload.link + '#{systemProperties['line.separator']}'"
            output-channel="file"/>

    <file:outbound-channel-adapter id="file"
            mode="APPEND"
            charset="UTF-8"
            directory="/tmp/si"
            filename-generator-expression="'${feed.file.name:SpringBlog}'"/>

</beans>

这里有三个集成元素

  • <feed:inbound-channel-adapter>:一个入站适配器,每次轮询检索一篇文章。此处配置为每五秒轮询一次。文章将被放入名为 news 的通道(对应于适配器的 ID)。

  • <int:transformer>:转换 news 通道中的条目 (com.rometools.rome.feed.synd.SyndEntry),提取条目的标题 (payload.title) 和链接 (payload.link),并将它们连接成易于阅读的String(并添加换行符)。然后,String 将被发送到名为 file 的输出通道。

  • <file:outbound-channel-adapter>:一个出站通道适配器,将其通道 (名为 file) 中的内容写入文件。具体而言,此处配置为将其通道中任何内容附加到 /tmp/si/SpringBlog 的文件。

下图显示了这个简单的流程

A flow that reads RSS feed entries

现在忽略auto-startup属性。稍后在讨论测试时,我们将重新讨论它。目前,请注意,默认情况下它是true,这意味着应用程序启动时会获取文章。还要注意filename-generator-expression中的属性占位符。这意味着默认值为SpringBlog,但可以使用属性覆盖它。

使应用程序可执行

虽然通常在较大的应用程序(甚至可能是 Web 应用程序)中配置 Spring Integration 流程,但它没有理由不能在更简单的独立应用程序中定义。这就是您接下来要做的:创建一个启动集成流程并声明一些 bean 来支持集成流程的主类。您还将应用程序构建成独立的可执行 JAR 文件。我们使用 Spring Boot 的@SpringBootApplication注解来创建应用程序上下文。由于本指南使用 XML 命名空间来进行集成流程,因此您必须使用@ImportResource注解将其加载到应用程序上下文。以下清单(来自src/main/java/com/example/integration/IntegrationApplication.java)显示了应用程序文件

package com.example.integration;

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.context.ConfigurableApplicationContext;
import org.springframework.context.annotation.ImportResource;

@SpringBootApplication
@ImportResource("/integration/integration.xml")
public class IntegrationApplication {
  public static void main(String[] args) throws Exception {
    ConfigurableApplicationContext ctx = new SpringApplication(IntegrationApplication.class).run(args);
    System.out.println("Hit Enter to terminate");
    System.in.read();
    ctx.close();
  }

}

构建可执行 JAR

您可以使用 Gradle 或 Maven 从命令行运行应用程序。您还可以构建一个包含所有必要依赖项、类和资源的单个可执行 JAR 文件,然后运行该文件。构建可执行 jar 文件可以方便地在整个开发生命周期中、跨不同环境等交付、版本化和部署服务作为应用程序。

如果您使用 Gradle,则可以使用./gradlew bootRun运行应用程序。或者,您可以使用./gradlew build构建 JAR 文件,然后运行 JAR 文件,如下所示:

java -jar build/libs/gs-integration-0.1.0.jar

如果您使用 Maven,则可以使用./mvnw spring-boot:run运行应用程序。或者,您可以使用./mvnw clean package构建 JAR 文件,然后运行 JAR 文件,如下所示:

java -jar target/gs-integration-0.1.0.jar
此处描述的步骤创建了一个可运行的 JAR 文件。您也可以构建一个经典的 WAR 文件

运行应用程序

现在,您可以通过运行以下命令从 jar 文件运行应用程序:

java -jar build/libs/{project_id}-0.1.0.jar

... app starts up ...

应用程序启动后,它将连接到 RSS Feed 并开始获取博客文章。应用程序通过您定义的集成流程处理这些文章,最终将文章信息附加到/tmp/si/SpringBlog的文件中。

应用程序运行一段时间后,您应该能够查看/tmp/si/SpringBlog中的文件以查看一些文章的数据。在基于 UNIX 的操作系统上,您还可以使用以下命令tail查看文件,以便在写入时查看结果:

tail -f /tmp/si/SpringBlog

您应该会看到类似于以下示例输出的内容(但实际新闻会有所不同)

Spring Integration Java DSL 1.0 GA Released @ https://springjava.cn/blog/2014/11/24/spring-integration-java-dsl-1-0-ga-released
This Week in Spring - November 25th, 2014 @ https://springjava.cn/blog/2014/11/25/this-week-in-spring-november-25th-2014
Spring Integration Java DSL: Line by line tutorial @ https://springjava.cn/blog/2014/11/25/spring-integration-java-dsl-line-by-line-tutorial
Spring for Apache Hadoop 2.1.0.M2 Released @ https://springjava.cn/blog/2014/11/14/spring-for-apache-hadoop-2-1-0-m2-released

测试

检查complete项目,您将看到一个测试用例,位于src/test/java/com/example/integration/FlowTests.java

package com.example.integration;

import static org.assertj.core.api.Assertions.assertThat;

import java.io.BufferedReader;
import java.io.File;
import java.io.FileReader;

import org.junit.jupiter.api.Test;

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.integration.endpoint.SourcePollingChannelAdapter;
import org.springframework.integration.support.MessageBuilder;
import org.springframework.messaging.MessageChannel;

import com.rometools.rome.feed.synd.SyndEntryImpl;

@SpringBootTest({ "auto.startup=false",   // we don't want to start the real feed
          "feed.file.name=Test" })   // use a different file
public class FlowTests {

  @Autowired
  private SourcePollingChannelAdapter newsAdapter;

  @Autowired
  private MessageChannel news;

  @Test
  public void test() throws Exception {
    assertThat(this.newsAdapter.isRunning()).isFalse();
    SyndEntryImpl syndEntry = new SyndEntryImpl();
    syndEntry.setTitle("Test Title");
    syndEntry.setLink("http://characters/frodo");
    File out = new File("/tmp/si/Test");
    out.delete();
    assertThat(out.exists()).isFalse();
    this.news.send(MessageBuilder.withPayload(syndEntry).build());
    assertThat(out.exists()).isTrue();
    BufferedReader br = new BufferedReader(new FileReader(out));
    String line = br.readLine();
    assertThat(line).isEqualTo("Test Title @ http://characters/frodo");
    br.close();
    out.delete();
  }

}

此测试使用 Spring Boot 的测试支持将名为auto.startup的属性设置为false。通常不建议依赖网络连接进行测试,尤其是在 CI 环境中。相反,我们阻止 Feed 适配器启动并将SyndEntry注入到news通道中,以便由流程的其余部分进行处理。该测试还设置了feed.file.name,以便测试写入不同的文件。然后它:

  • 验证适配器已停止。

  • 创建一个测试SyndEntry

  • 删除测试输出文件(如果存在)。

  • 发送消息。

  • 验证文件是否存在。

  • 读取文件并验证数据是否符合预期。

总结

恭喜!您已经开发了一个简单的应用程序,该应用程序使用 Spring Integration 从 spring.io 获取博客文章、处理它们并将它们写入文件。

另请参阅

以下指南也可能有所帮助

想要编写新的指南或为现有指南做贡献?请查看我们的贡献指南

所有指南均使用 ASLv2 许可证发布代码,并使用署名-非衍生作品创作共用许可证发布文本。