spark依赖、打包、上传、运行

it2024-02-22  59

spark依赖、打包、上传、运行

Eclipse

Eclipse

解压所需要的lib目录

将整个文件复制粘贴到项目中

将lib包里的依赖全选进行包操作

出现一个新的lib依赖包

写完代码将需要的项目打包

选择jar包地址后执行下一步操作选择mian方法的class

之后将打包的代码以及数据上传到集群上

将数据放hdfs上

进入到spark的bin目录下

然后执行jar包将输出的文件写入到hdfs上

执行成功后在hdfs上查看数据

Nice,执行成功,数据写入成功!!

最新回复(0)