上传oss工具安装

阿里文档：

实际运行，如下图：

服务器历史文件：3000多个  100多G

经过解析后的txt文件：

调用命令上传文件：

oss结果：

新建odps外表及设立分区：

使用数据：

小插曲：

建表时最好用String，因为可能存在脏数据，odps在转换成 bigint 或者 decimal的时候可能会报错。

最后最后，shell脚本开启并行

python程序飞起来：