2020-10-22

it2026-10-02  5

对于大数据,我的理解是这样的,当代的信息技术普遍存在点数据的影子,无论是出行,无论是饮食,甚至是你买东西都会猜到你想买的。对于这样的大数据潮流,我对它理解和分析有以下几点: 1.大数据的特征 大数据本质也是数据,但是又有了新的特征,包括数据来源广、数据格式多样化(结构化数据、非结构化数据、Excel文件、文本文件等)、数据量大(最少也是TB级别的、甚至可能是PB级别)、数据增长速度快 。 2.掌握的技能11条 Java高级(虚拟机、并发) Linux 基本操作 Hadoop(HDFS+MapReduce+Yarn ) HBase(JavaAPI操作+Phoenix ) Hive(Hql基本操作和原理理解) Kafka Storm/JStorm Scala Python Spark (Core+sparksql+Spark streaming ) 辅助小工具(Sqoop/Flume/Oozie/Hue等) 3.高阶技能6条 机器学习算法以及mahout库加MLlib R语言 Lambda 架构 Kappa架构 Kylin Alluxio 对于大数据,国家需要的是复合型人才,学习的应更多,这样才能在下一次信息革命时发光发热。

最新回复(0)