Spark基本概念

it2025-02-18  3

Spark概述

Spark简介Apache Spark的特性Spark适用场景Spark 与Hadoop MapReduce比较Spark基本概念

Spark简介

Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。目前已经形成一个高速发展应用广泛的生态系统。

Apache Spark的特性

我们对Markdown编辑器进行了一些功能拓展与语法支持,除了标准的Markdown编辑器功能,我们增加了如下几点新功能,帮助你用它写博客:

快速 大多数操作均在内存中迭代,只有少部分函数需要落地到磁盘;易用 支持scala、Java、Python、R等语言;提供近百个算子,而且API使用及其方便;通用 Spark提供了针对数据处理的一站式解决方案,计算时使用SparkCore算子,批处理使用SparkSQL,实时计算使用SparkStreaming,机器学习可以使用Spark MLlib,另外提供Spark GraphX进行图计算;跨平台 Spark可采用多种部署模式: Local模式:在本地运行调试,支持断点,可以指定并行线程数。 Standalone模式:Spark管理资源,有Master和Worker,相当于ResourceManager和NodeManager。 Cluster模式:分布式模式,用于生产环境。资源管理器使用Yarn或者Mesos。

Spark适用场景

复杂的批处理基于历史数据的交互查询;基于实时数据流的数据处理;

Spark 与Hadoop MapReduce比较

Hadoop Map/ReduceSpark Core文件系统HDFSHDFS资源调度系统系统Yarn、MesosYarn、Mesos性能较低,磁盘缓存较高,内存缓存支持语言Java,Hadoop StreamingScala、Java、Python、R易用性较低提供丰富的算子,较高队列资源可抢占不可抢占兼容性较高较高容错写入磁盘RDD配置DAG,支持持久化日志JobHistoryServerSpark UI

Spark基本概念

RDD特性Spark运行模式Spark抽象计算Spark Cache、ShuffleSpark算子

内容待补充… [1]: http://sharkdtu.com/posts/spark-rdd.html [2]: https://blog.csdn.net/wangxiaotongfan/article/details/51395769

最新回复(0)