導語

“大數據” 三個字其實是個marketing語言，從技術角度看，包含范圍很廣，計算、存儲、網絡都涉及，知識點廣、學習難度高。

? ??

本期會給大家奉獻上精彩的：hiva、Flink、分布式數據庫、MongoDB、spark、Druid、ES、ELK。全是干貨，希望大家喜歡！！！

1Hive

影響Hive效率的幾乎從不是數據量過大，而是數據傾斜、數據冗余、job或I/O過多、MapReduce分配不合理等等。對Hive的調優既包含對HiveQL語句本身的優化，也包含Hive配置項和MR方面的調整。

https://mp.weixin.qq.com/s/3DtLiOkkfTGg2EZ625ol2g

2Flink

本文分享了趣頭條基于Flink+ClickHouse的實時數據分析平臺，包括業務場景與現狀分析、Flink to Hive 的小時級場景、Flink to ClickHouse 的秒級場景、未來規劃。。

https://mp.weixin.qq.com/s/K6v45N3RDXuG3HVFvYv_jw

3分布式數據庫

并不是每個系統都會用分布式數據庫，分布式數據庫適配的是那些大并發、高頻次的業務系統，集中式數據庫仍然有它的生存空間，而且從數量來說，它沒準還是占相對大的一個比例，它適配的是傳統業務系統，我們通過 RDS 的服務化部署能夠提供數據庫服務，國外商業產品、國內數據庫、開源產品結合使用，最后達到一個比較均衡的比例。

https://mp.weixin.qq.com/s/ki5Bh8Pdnk3wKGkpr8jY3g

4MongoDB

本文講述了MongoDB的WiredTiger存儲引擎的Checkpoint具體結構信息、執行流程；并介紹使用WiredTiger的wt命令工具查看checkpoint信息及信息解讀。

https://mp.weixin.qq.com/s/JT71BBWu3sPb7AvbqGwMGg

5ES

在使用ES時，我們常見的就是需要生成一個template來定義索引的設置，分詞器，Mapping.本文將基于項目經驗來總結一些常用的配置。

https://mp.weixin.qq.com/s/OfxiEY8L_QGclTfBisGPuA

6Linux

Linux 之父非常擔憂未來沒有開發者繼續維護Linux內核，并于近日表示：“真的很難找到維護者！”

https://mp.weixin.qq.com/s/3Tm0pRGbWm1f68HypXBJUA

7ELK

隨著 IT 業務系統的迅速發展，中國民生銀行需要考慮實現一套完整并適用于民生銀行的日志文件智能分析與處理的解決方案。本文詳細介紹了中國民生銀行大數據基礎平臺運維組團隊通過改造 Apollo 和 ES 的源碼，構建了自己的天眼實時智能日志管理分析平臺。

https://mp.weixin.qq.com/s/ItMDj-qcmcW9puAsDwm-lQ

8Netty

一般的服務之間進行交互時都會使用自定義協議，常見的框架，諸如dubbo，kafka，zookeeper都實現了符合其自身業務需求的協議，本文主要講解如何使用Netty實現一款自定義的協議。

https://mp.weixin.qq.com/s/Q8sA5V46I9tfhlHBZHZQiA

9Druid

Apache Druid是一款優秀的OLAP引擎，眾所周知數據存儲格式對一款存儲系統來說是最核心的組件，Druid的數據格式是自定義的，以此保證了在海量數據下的亞秒級查詢。本文深入分析Druid V1版本數據存儲格式，包括索引結構和數據在磁盤中的存儲方式。在閱讀本文之前希望您對Druid和數據存儲有簡單了解。

https://mp.weixin.qq.com/s/XxSTsHluORTDwtiopAxQ0w

10Spark

Spark SQL 中 Broadcast Join 一定比 Shuffle Join 快？那你就錯了。

https://mp.weixin.qq.com/s/5OBHLjRjOykuuaCqEthD4g

11開心一刻

Delphi象吉普車，什么路上都能開，卻在啥路上也開不好；PB就象卡丁車，只能在固定線路上開，到室外就有些不穩；VC象跑車，你開得起卻買不起，而且一旦發生故障，想修都找不到毛病在哪；Java象敞棚車，不管刮風下雨還是艷陽高照，都能照開不誤；VB就是摩托車，騎的時間越長，你越痛恨它！

致謝：

周蓬勃、王在道、孫亞飛、馮藝帆、陳少軍、鄧開表、張少華、薛述強、劉彬、劉超、廖程鵬、董言、呂西金、朱潔、藍隨、黃文輝、郭飛

猜你喜歡

#大數據和云計算機技術社區#博客精選（2017）

NoSQL 還是 SQL ？這一篇講清楚

阿里的OceanBase解密

#大數據和云計算技術#: "四有"社區介紹

大數據和云計算技術周報（第56期）

新數倉系列：Hbase周邊生態梳理（1）

《大數據架構詳解》第2次修訂說明

簡單梳理跨數據中心數據庫

云觀察系列：漫談運營商公有云發展史

云觀察系列：百度云的一波三折

云觀察系列：阿里云戰略觀察

超融合方案分析系列（7）思科超融合方案分析

加入技術討論群

《大數據和云計算技術》社區群人數已經6000+，歡迎大家加下面助手微信，拉大家進群，自由交流。

喜歡QQ群的，可以掃描下面二維碼：

歡迎大家通過二維碼打賞支持技術社區（英雄請留名，社區感謝您，打賞次數超過108+）：

總結

以上是生活随笔為你收集整理的大数据与云计算技术周报（第150期)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。