Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。目前已经形成一个高速发展应用广泛的生态系统。
我们对Markdown编辑器进行了一些功能拓展与语法支持,除了标准的Markdown编辑器功能,我们增加了如下几点新功能,帮助你用它写博客:
快速 大多数操作均在内存中迭代,只有少部分函数需要落地到磁盘;易用 支持scala、Java、Python、R等语言;提供近百个算子,而且API使用及其方便;通用 Spark提供了针对数据处理的一站式解决方案,计算时使用SparkCore算子,批处理使用SparkSQL,实时计算使用SparkStreaming,机器学习可以使用Spark MLlib,另外提供Spark GraphX进行图计算;跨平台 Spark可采用多种部署模式: Local模式:在本地运行调试,支持断点,可以指定并行线程数。 Standalone模式:Spark管理资源,有Master和Worker,相当于ResourceManager和NodeManager。 Cluster模式:分布式模式,用于生产环境。资源管理器使用Yarn或者Mesos。内容待补充… [1]: http://sharkdtu.com/posts/spark-rdd.html [2]: https://blog.csdn.net/wangxiaotongfan/article/details/51395769