目前絕大多數企業正在使用的技術，大部分都是基于Apache協議開源框架，因為有些框架有多種分類方式，而且篇幅有限，暫不做詳細介紹，僅供參考調研。

數據采集：Flume、Kafka、Sqoop 、Logstash、DataX、Canal、Kettle、Maxwell、Databus、NIFI、Pulsar、Debezium

數據存儲：HDFS、HBase、Kudu、Redis、MongoDB、Elasticsearch、TiDB、IotDB、MySql

數據計算：Spark、 Flink、Storm、Hive、Tez、streamx

OLAP(這里面有些也可以歸類到數據存儲)：Presto、Kylin、ClickHouse、Druid、Impala、Hawq、Greenplum、SparkSQL、Doris、DorisDB(StarRocks)

數據可視化與BI：Superset、QuickBI、DataV、Tableau、Kibana、Metabase、Davinci、Echarts

任務調度：Azkaban、Oozie、Dolphinscheduler、Airflow、Datax-web

集群監控：Zabbix、Ganglia、Cloudera Manager 、Grafana、Ambari

元數據管理：Atlas

權限管理：Ranger、Sentry

數據質量管理：Griffin

集群管理：k8s docker 容器化

數據湖：Hudi、Iceberg、Delta

總結

以上是生活随笔為你收集整理的最新主流大数据技术分类大全（持续更新）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。