Spark
Spark的集中部署方式： local：运行在一台机器上 Standlone：构建一个master+Slaves的资源调度集群 Spark自身的一个调度系统 Yarn：Spark客户端直接连接Yarn。不需要额外构建Spark集群 有yarn-cluster和yarn-client两种模式 Mesos：较少
Spark任务使用Shell脚本提交
Spark提交作业参数：
executor-cores：内核数“2-5个” executor-memory：默认1G driver-cores:默认为1 driver-memory：默认512m
提交任务的样式： spark-submit –master local[5] –driver-cores 2 – driver memory 8G –executor-cores 4 –num-executors 10 –executor-memory 8G –class packageName.ClassNameXXXX.jar –name “spark job name” InputPath OutputPath
Spark 中的血统概念（RDD）
RDD在Lineage依赖方面分为Narrow Dependencies 和Wide Dependicies 用来解决数据容错时的高效性一斤划分任务的时候起到重要作用
例举Spark中的算子：
1.map（返回一个新的RDD） 2.mapPartions（类似于map，独立在RDD的每一个分片中运行） 3.reduceByKey：在一个K/V的RDD上调用 4.aggregateByKey：在kv对的RDD中，按照KEY将value进行分组合并 5.combineByKey：createCombiner: V=>C, mergeValue: (C, V) =>C, mergeCombiners: (C, C) =>C):
例举Spark中的action算子：
1.reduce： 2.collect 3.first: 4.take: 5.aggregate: 6.countByKey: 7.foreach: 8.saveAsTextFile:
例举：Spark在Shuffle过程中算子： reduceByKey; 按照Key进行聚合,在shufle之前有combine预聚合操作，返回结果是：RDD[K,V] groupByKey; 按照key进项分组，直接进行shuffle ByKey;
当Spark涉及到数据库的操作时，如何减少Spark运行中的数据库连接数？ 使用foreachPartition代替foreach，在foreachPartition内获取数据库的连接。
Spark中join和left join有什么区别？ join类似sql中的inner join【交集】 left join 类似sql的left outer join【前一个RDD为主】 可以使用left semi join替换left join的场景：left semi join【in（keyset）】 避免全表扫描
SparkStreaming有哪几种范式可以消费Kafka中的数据，区别是什么? 1.receiver方式： 使用Kafka的高层次Consumer API来实现的; receiver从Kafka中获取的数据都是存储在Spark Executor的内存中 启用高可用配置防止丢失数据：依靠SpaekStreaming的预写日志机制 【预写日志机制】同步接收Kafka的数据写入分布式文件系统的预写日志中 2.Direct方式： spark1.3引入 周期性的查找Kafka来获取每个Topic+partition的最新的offset， 从而定义每个batch的offset范围； 优点： 简化并行读取：并行读取Kafka 高性能：保证0数据丢失receiver模式中需要开启wal机制，效率较低 kafka本身就有备份的机制 Receiver是使用kafka的高阶API用以在Zookeeper保存消费过 的offset 这是消费Kafka的传统方式，这种方式没法保证数据被处理有且仅有一次； 因为Spark和Zookeeper可能没有同步； Direct：使用的是Kafka的加紧单api，SparkStreaming自己就负责追踪消费的 offset，并保存在checkpoint中；
Repartition和Coalesce关系与区别 关系：都是用来改变RDD的Partition数量，repartition底层调用的就是coalesce方法 区别：repartition一定会发生shuffle，coalease会根据传入参数判断是否发生shuffle
Spark缓存机制和Checkpoint机制： 都是做RDD持久化的， cache：内存，不会截断血缘，使用计算过程中的数据缓存 checkpoint：磁盘，阶段血缘关系
Spark中的共享变量（累加器和广播变量）： 累加器：Spark的一种分布式变量机制（类似MR） 用途： 累加器调试过程中对作业执行过程中的时间进行计数 广播变量—高效分发
涉及数据库连接时，如何减少Spark运行中的数据库连接数？ 使用foreachPartition代替foreach
RDD,DataFrame，Dataset RDD: 优点： 编译时类型安全 编译时就检查出类型错误 面向对象的编程风格 直接通过类名点的方式来操作数据 缺点: 序列化和反序列化的开销 集群和IO操作都需要对对象的数据和结构进行序列化和反序列化 GC 的性能开销，频繁的创建和销毁
DataFrame Dataframe引入了schema和off-heap DataSet： 结合了RDD和D爱他Frame的优点，并带来一个全新的概念Encoder。 当序列化数据时，Encoder产生的字节码与off-set进行交互能勾搭到按需 访问数据的效果
Spark中实现topN的获取： 方法一： 按照key对数据进行聚合（groupByKey） 将value转化为数组，利用Scala的sortBy或者sortWith进行排序 方法二： 取出所有的key 对key进行迭代，每次去吃一个key利用Spark的排序算子进行排序 方法三： 自定义分区器，按照key进行分区，要使不同的可以进入到不同的分区 对每个分区运用spark的排序算子进行排序
优化：合并小文件（coalesce）减少map的数量，shuffle时join的性能就得到提升
