168大数据

标题: Hive On Spark概述 [打印本页]

---

作者: 168主编    时间: 2016-6-27 10:47
标题: Hive On Spark概述

Hive现有支持的执行引擎有mr和tez，默认的执行引擎是mr，Hive On Spark的目的是添加一个spark的执行引擎，让hive能跑在spark之上；

在执行hive ql脚本之前指定执行引擎、spark.home、spark.master

set hive.execution.engine=spark;set spark.home=/home/spark/app/spark-1.3.0-bin-spark-without-hive;set spark.master=yarn;

Hive On Spark与Spark SQL/Shark的区别：

Spark SQL/Shark:

1、将sql语义翻译成Spark RDD在Spark上执行；

2、Spark SQL是基于hive snapshot版本，虽然能够兼容hive，但是使用的版本早于当前hive的release版本，最新的一些特性则无法使用；

3、Spark SQL使用Spark的transformation和action替换Hive sql的构建; 将会丢失一些hive自身构建实现的特性;

Hive on Spark：

1、将hql语义翻译成MapReduce在Spark上执行；

2、Hive On Spark则是与hive共同演化；

3、Hive On Spark使用的是Hive的构建，将包含Hive所有的特性，Spark仅仅是一个通用的执行引擎而已；

为Hive添加一个spark执行引擎涉及到如下方面：

1、查询计划

将Hive的逻辑执行计划进一步翻译成Spark能够执行的Spark计划；

2、查询执行

得到的Spark计划真正在Spark集群中运行；

3、监控、计数器、统计等

查询计划：

当hive接收到一个sql语句时，使用Hive的语法解析器解析成一个操作计划；

对于On Spark引擎，引入了SparkComplier，类似于MapReduceCompiler和TezCompiler；

SparkComplier：

　　将从Hive中得到的逻辑执行计划转成在Spark上能运行的计划；

　　在产生Spark计划的时候做一些物理执行计划的优化；

SparkTask：在Spark集群中执行的一个job

SparkWork：SparkTask的计划，可以通过explain查看

SparkComplier: 将Hive的执行计划转化成一个SparkWork

查询执行：

SparkTask.execute()在SparkWork之外产出rdd以及相应的方法，通过Spark Client提交给Spark集群执行；一旦SparkTask提交给了Spark集群，Spark Client将监控job的执行情况；

通过SparkJobMonitor来处理打印任务的执行状态和最终的执行结果；Spark Job的提交是通过SparkContext对象完成的；当SparkTask被hive执行时，就会为当前用户session创建一个SparkContext；

Hive表相关的RDD将会被创建；MapFunction、ReduceFunction将会被SparkWork创建并且作用在RDD上；当在RDD上执行foreach方法时该RDD上的job就会被触发执行。

监控、计数器、统计等：

监控：

Spark在每个SparkContext运行时提供了WebUI，当时该UI中只能展现出运行时的Application信息；

为了在Application运行完后也能重新渲染UI信息，需要在启动Application之前设置spark.eventLog.enabled为true；

Standalone模式运行时可以通过WebUI展示，YARN/Mesos模式运行时，可以通过Spark History Server来展现；

计数器/统计：

在Spark中提供了accumulator实现计数器，使用Metrics实现统计；

---

欢迎光临 168大数据 (http://bi168.cn/)

Powered by Discuz! X3.2