怎样进行大数据的入门级学习?大数据知识体系大全

阿里云双11来了!从本博客参与阿里云,服务器最低只要86元/年!

一、大数据入门的前期准备工作

1. 了解什么是云计算

2. 了解什么是虚拟化

3. 学习Linux操作系统

4. 具备扎实的JAVA基础

二、认识大数据

浏览以下文章,你可以对大数据的概念、大数据涉及的技术、大数据的重要性、大数据架构、大数据实例等等方面,对大数据进行一个全面的了解。

《不懂这25个名词,好意思说你懂大数据?》

《大数据基本概念及技术》主要介绍:基本概念、大数据的技术、大数据的影响等

《大数据对你来说意味着什么?》主要介绍:大数据实例、大数据类型、大数据架构等

三、学习hadoop

<img src=”https://pic2.zhimg.com/50/v2-9638822ad73e659ead02f1108ad13b3f_hd.jpg” data-caption=”” data-size=”normal” data-rawwidth=”381″ data-rawheight=”189″ class=”content_image” width=”381″/>

《Hadoop简介》

《Hadoop系统架构》

《浅析Hadoop框架设计》

四、学习Spark

<img src=”https://pic3.zhimg.com/50/v2-d8e1b2d245b71b57d06ae310908b3245_hd.jpg” data-caption=”” data-size=”normal” data-rawwidth=”407″ data-rawheight=”215″ class=”content_image” width=”407″/>

《Hello Spark! | Spark,从入门到精通》本文章由浅入深为大家介绍了 Spark,从框架入门到底层架构的实现

《Spark架构原理》本文总结了Spark架构原理,其中主要包括五个组件:Driver、Master、Worker、Executor和Task,简要概括了每个组件的作用,以及总结提交spark程序之后,这五个组件运行的详细步骤。

专栏:《Spark学习技巧》

五、Storm

<img src=”https://pic1.zhimg.com/50/v2-ecf59b97de073dc8ce5c32ab2dbaeebc_hd.jpg” data-caption=”” data-size=”normal” data-rawwidth=”338″ data-rawheight=”158″ class=”content_image” width=”338″/>

《Storm概述》

本文介绍了Storm是什么,应用场景有哪些?Storm有什么特点?spout发出的消息后续可能会触发产生成千上万条消息,Storm如何跟踪这条消息树的?Storm本地模式的作用是什么?

《Storm介绍及原理》本文从概述、Storm组件、入门案例等方面对Storm进行了系统介绍。

这里还是要推荐下我自己建的大数据学习交流群:943791324,群里都是学大数据开发的,如果你正在学习大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据软件开发相关的),包括我自己整理的一份最新的大数据进阶资料和高级开发教程,欢迎进阶中和进想深入大数据的小伙伴加入。

大数据作为目前热门岗位和职业,分工越来越精细,入门根据职业方向有不同的发展路线。

大数据职业方向总体可分为2大方向5大职业。2大类分别为技术类和业务类。

其中,技术方向侧重于怎样处理好数据,业务方向侧重于怎样用好数据

一、技术方向

技术类方向是数据界的码农、程序员。

1、数据平台研发路线

职责:主要负责大数据技术的产品化,包括开源技术框架的研究、封装和开发。

入门:google 三篇大数据论文(Mapreduce、BigTable、GFS),系统性了解大数据技术体系(spark、hadoop、hbase等技术),通读一遍各技术框架的技术文档,知道每项技术能够解决什么问题,其实现原理,优缺点等;能够调用各技术框架API进行功能封装。

进阶:能够优化开源框架性能及完善开源技术、作为开源社区的commiter

发展:数据平台研发架构师、数据平台产品经理

2、数据开发路线

职责:也叫ETL工程师,主要负责使用大数据技术采集、处理、分析数据;

入门:同数据平台研发工程师,并熟练使用SQL、存储过程;

进阶:技术选型、技术架构设计、数据架构设计、平台性能调优

发展:数据架构师、大数据DBA

3、数据算法路线

职责:俗称调参工程师,主要负责使用机器学习算法建模,处理业务需求,基于算法引擎封装算法工具。

入门:python语言,sklearn、tensorflow等算法引擎,熟悉决策树、SVM、朴素贝叶斯、神经网络等各种算法原理和适用场景;

进阶:业务建模、调参

发展:数据科学家

4、数据可视化路线

职责:主要负责数据可视化应用开发

入门:各种数据可视化图表适用场景、echarts框架、vue、BI工具

进阶:数据应用可视化UIUE设计、大屏展现设计

发展:数据艺术家

二、业务类

1、数据分析路线

岗位:主要负责结合业务问题,使用大数据分析、制作数据分析报告、规划数据应用

入门:熟悉各种分析图表、数据分析工具、具备数据分析报告撰写能力等

进阶:熟悉各种算法概念及使用场景、具备敏锐的业务思维、管理思维和应用规划能力

发展:数据咨询师、数据产品经理

以上,希望有帮助,谢谢。

https://www.jianshu.com/p/3979a6049695

Python量化投资网携手4326手游为资深游戏玩家推荐:《《剑网3:指尖江湖》:中秋限定挂件活动被转疯了!细数指尖江湖中那些爆款小挂件

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
0 条回复 A 作者 M 管理员
    所有的伟大,都源于一个勇敢的开始!
欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论