录制于 SpringOne2GX 2014。
讲者:Vineet Goel, Girish Lingappa, Rodrigo Meneses
幻灯片:http://www.slideshare.net/SpringCentral/spring-one2gx-2014springxdhadoopworkloadanalysis
大数据专题
随着 Hadoop 在企业大数据部署中成为主流,IT 组织期望并要求加强生产环境中 Hadoop 集群的运维管理。管理员需要的不仅仅是集群健康监控;他们还需要对工作负载进行实时分析,以便进行性能调优和故障排除。对用户或应用级别的作业进行实时日志分析,可以帮助管理员更好地管理和调优工作负载,尤其是在多租户 Hadoop 集群服务中。加入我们,了解 Pivotal 团队如何利用 Spring XD 数据摄取和批处理框架、GemFire XD & 其他组件,在一个拥有 1000 个节点(分析工作台)的大型集群上解决这一有趣的挑战。团队利用 Spring XD 通过实时数据管道将 YARN 服务和 MapReduce 应用日志摄取到 HDFS 中,并利用熟悉的基于 SQL 的查询来分析细粒度的集群利用率。
!{iframe width="560" height="315" src="//www.youtube.com/embed/cBcznXjL840" frameborder="0" allowfullscreen}{/iframe}