Apache Ambari 结合 Spring XD

工程 | Janne Valkealahti | 2015年06月02日 | ...

我们很高兴地宣布 Apache Ambari 的第一个 Spring XD 插件版本。

Ambari 是一种集群配置工具,用于安装和管理各种 Apache 项目,如 HDFS、YARN、Zookeeper 或 Kafka。 Ambari 具有堆栈定义的概念,Pivotal 和 Hortonworks 都使用它。 堆栈定义通常由维护者支持的组件组成。

此 Ambari 集成增加了对使用 Pivotal HD 3.0Hortonworks HDP 2.2 配置 Spring XD 的支持。

Spring XD 不是 PHD 或 HDP 的主要 Ambari 发行版的一部分。 但是,通过简单的 RPM 安装修改现有堆栈定义,可以轻松扩展现有的 Ambari 安装。

我们已准备好 安装说明 在我们的仓库 Github spring-xd-ambari 以及此插件的源代码。

在 Pivotal HD 3.0 上使用外部 Redis 作为消息总线的 Spring XD:PIC PHD

在 Hortonworks HDP 2.2 上使用 Ambari 托管的 Kafka 作为消息总线的 Spring XD:PIC HDP

成功完成群集配置后,可以很容易地从 XD shell 连接到正在运行的 Spring XD 群集。 命令脚本 /etc/springxd/conf/xd-shell.init 将使用正确的设置自动创建,您可以将其加载到 XD shell 中。

$ export JAVA_HOME=/usr/jdk64/jdk1.7.0_67
$ xd-shell
server-unknown:>script --file /etc/springxd/conf/xd-shell.init
admin config server http://ambari-2.localdomain:9393
Successfully targeted http://ambari-2.localdomain:9393
hadoop config fs --namenode hdfs://ambari-2.localdomain:8020
Script required 0.625 seconds to execute

xd:>runtime containers
  Container Id                          Host                  IP Address      PID    Groups  Custom Attributes
  ------------------------------------  --------------------  --------------  -----  ------  -----------------
  44c34156-8b8a-4ada-ad46-e5d955b6f995  ambari-6.localdomain  172.16.101.146  6327
  d8273536-c688-4fdd-b370-6bc0f68bdc25  ambari-5.localdomain  172.16.101.145  31199


xd:>hadoop fs ls /
Found 9 items
drwxrwxrwx   - yarn      hadoop           0 2015-06-01 04:55 /app-logs
drwxr-xr-x   - gpadmin   gpadmin          0 2015-06-01 04:52 /hawq_data
drwxr-xr-x   - mapred    hdfs             0 2015-06-01 04:50 /mapred
drwxr-xr-x   - hdfs      hdfs             0 2015-06-01 04:50 /mr-history
drwxr-xr-x   - hdfs      hdfs             0 2015-06-01 04:51 /phd
drwxr-xr-x   - hdfs      hdfs             0 2015-06-01 04:52 /system
drwxrwxrwx   - hdfs      hdfs             0 2015-06-01 04:53 /tmp
drwxr-xr-x   - hdfs      hdfs             0 2015-06-01 04:53 /user
drwxrwxrwx   - spring-xd hdfs             0 2015-06-01 07:29 /xd

写入 HDFS 可以直接使用。

xd:>stream create --name hdfstest --definition "time|hdfs" --deploy
xd:>stream destroy --name hdfstest

xd:>hadoop fs ls --recursive true --dir /xd
drwxrwxrwx   - spring-xd hdfs          0 2015-06-01 07:29 /xd/hdfstest
-rw-r--r--   3 spring-xd hdfs        680 2015-06-01 07:29 /xd/hdfstest/hdfstest-0.txt

#SpringOne 2GX 2015 马上就要到了! 在 华盛顿特区的 SpringOne2GX 预订您的位置。 超级早鸟价将于 6 月 12 日到期! 这是第一手了解所有正在发生的事情并提供直接反馈的最佳机会。

#折扣

  • 超级早鸟价(300 美元折扣)将于 6 月 12 日到期。 早鸟价(6 月 13 日至 8 月 14 日)有 150 美元的折扣。
  • 注册 4 人,即可免费获得第 5 张通行证。 请与我们联系,提供您前 4 名注册者的姓名,以获取您的免费通行证代码(仅限会议入场)。
  • 校友,请联系我们以获取您的折扣代码(任何选项均可享受 150 美元的折扣)。

获取 Spring 新闻简报

随时关注 Spring 新闻简报

订阅

抢先一步

VMware 提供培训和认证,以加速您的进步。

了解更多

获取支持

Tanzu Spring 在一个简单的订阅中提供对 OpenJDK™、Spring 和 Apache Tomcat® 的支持和二进制文件。

了解更多

即将到来的活动

查看 Spring 社区中所有即将举行的活动。

查看全部