大数据架构

阿里云2000元红包!本站用户参与享受九折优惠!

大数据技术栈


大数据技术图.png

大数据分析:
ODPS(Open Data Processing System)是阿里巴巴云计算平台,收费项目。

数据可视化:
D3,ECharts

大数据管理:
Hue,Cloudera(即CDH),Ambari

Eagle:
高实时,可伸缩,简单等

Esper:
是一款事件和事件流引擎,可监测事件流,并触发事件。

Hama:
矩阵计算和面向图计算模型

机器学习算法:

1.回归算法
OLS,LR,SR,MARS,LESS

2.基于实例的算法:
KNN,LVQ,SOM

3.正则算法:
RR,LASSO,EN

4.决策树算法:
CART,ID3,C4.5,CHAID,随机森林,MARS,GBM

5.贝叶斯算法
拓普素贝叶斯算法,AODE,BBN

6.基于核的算法
SVM,RBF,LDA

7.聚类算法
K-Means,EM

8.管理规则学习
Apriori,Eclat

9.人工神经网络算法
PNN,BP,Hopfield网路,SOM,LVQ

10.深度学习
RBN,DBN,CN,SA

11.降维算法
PCA,PLSR,Sammon,MDS,PP

12.集成算法
Boosting,BA,AdaBoost,堆叠泛化,GBM,Random Forest等

深度学习:

1.深度学习框架:
TensorFlow,Caffe,Theano,Torch,Deeplearning4j,Marvin,ConvNetJS,MXNet等。

资源调度

1.YARN

2.Borg 集群管理工具,负责job的接受,调试,启动,停止,重启和监控。

3.Mesos 资源分配算法,DRF算法,

数据组织工具

1.Cube

2.Kylin

3.ORCFile

4.Parquet

5.Taychon缓存技术

https://www.jianshu.com/p/98be53c023f8

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
Scrapy
0 条回复 A 作者 M 管理员
    所有的伟大,都源于一个勇敢的开始!
欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论