在 SpringOne2GX 2014 录制。

演讲者：Vineet Goel, Girish Lingappa, Rodrigo Meneses

幻灯片: http://www.slideshare.net/SpringCentral/spring-one2gx-2014springxdhadoopworkloadanalysis

大数据专题

随着 Hadoop 在企业大数据部署中成为主流，IT 组织期望并要求加强对其生产环境中 Hadoop 集群的运营管理。管理员需要的不仅仅是集群健康状况监控；他们需要能够进行实时工作负载分析，以进行性能调整和故障排除。在用户或应用程序级别对作业进行实时日志分析，可以使管理员更好地管理和调整工作负载，尤其是在多租户 Hadoop 集群服务中。加入我们，了解 Pivotal 团队如何利用 Spring XD 数据摄取和批处理框架、GemFire XD 和其他组件来解决大型 1000 节点（分析工作台）集群上的这一有趣挑战。该团队使用 Spring XD 通过实时数据管道将 YARN 服务和 MapReduce 应用程序日志提取到 HDFS 中，并利用熟悉的基于 SQL 的查询来分析细粒度的集群利用率。

!{iframe width="560" height="315" src="//www.youtube.com/embed/cBcznXjL840" frameborder="0" allowfullscreen}{/iframe}