讓我們玩得開心。

這是新的一年的開始-我們正處于新事物的門檻上-因此讓我們期待您在2016年可能會做的事情。現在我知道做出預測的風險，尤其是有記錄的預測，但是我很高興您能在一年后回訪，看看我對2016年的預測是如何完成的。

您在2016年會做什么？

在我做出2016年預測之前，首先要更普遍（好玩地）思考推測未來的挑戰。 我們是否根據數據和模型進行工作？ 從觀察和預感？ 請記住，描述未來的準確性部分取決于目標的未來時間。

傳統上遙遠地預測人們的生活將是未來。 有時，它們是準確的，并且更經常是滑稽的錯誤。 回顧未來應該是一種娛樂，我稱之為“記住未來”。

例如，2000年引起了人們多年的想像力。 我遇到了一篇發表于1900年的女士家庭雜志上的文章，其中對我們2000年的生活做出了預測。在大致正確的預測中，有汽車將大量涌現的情況，可以從遙遠的國家以電報的形式拍攝照片，它們可以在一小時內在報紙上印制出來，包括領土在內的美國人口將超過3.5億（2000年人口普查使美國人口為2.82億，有點短）。 預測不會有更多的蒼蠅或蚊子，城市中的交通將在地下或高架上發生，因此城市將“沒有噪音”，而我們將不再使用字母C，X或Q 。

未來并沒有如前所述，部分是因為我們經常以與預期不同的方式解決相同的問題：今天，高速公路上的城市交通被分流了，但是-不能消除噪音。 而且，我們不是依靠“發射”某些輔音來規范拼寫，而是依靠自動拼寫糾正系統（有時會產生可笑的結果）。

返回大數據

Ted Dunning在那個城市的Strata Hadoop World會議的一周期間，在新加坡大數據聚會上對當前和未來的大數據趨勢進行了生動的演講，提出了“記住未來”的主題。 另一位演講者，Hadoop創始人Doug Cutting，也談到了大數據系統在不久的將來的發展方向。

Doug談到了Hadoop生態系統的發展，特別是在分析方面。 在許多情況下，基于批處理的計算已被內存中的微批處理計算能力所取代，因此，人們對Apache Spark的興趣日益濃厚。

泰德（Ted）最初以文化趨勢招待人們，但并未像預期的那樣成功，然后他描述了一個成功的，具有前瞻性的大數據項目-這是19世紀的開源項目，該項目很好地利用了海洋和風能數據來建立航行航海圖。 跳到了今天，Ted解釋了當前大數據趨向于簡化機器學習項目的趨勢，從而使其具有實用價值。 Ted還談到了需要更簡化的方式來處理復雜數據以避免必須構建數百個表的情況（傳統關系系統就是如此），他展示了在這種情況下利用SQL引擎Apache Drill的靈活性的優勢。

2016年的六大預測

受描述大數據趨勢的其他人的啟發，現在我伸出我的脖子，對自己在2016年的工作做出自己的預測（純觀點）。畢竟，這僅僅是未來一年……

流數據

我有信心在整個2016年對流數據和流分析產生爆炸性的興趣。 流數據將以比以前更多的方式和新的方式被更多的組織使用。 物聯網傳感器數據量的增加只是流數據的來源之一。 一系列事件（例如來自網絡流量的點擊流數據或機器日志文件）將越來越多地使用Apache Spark進行近實時處理或使用更新的工具Apache Flink進行實時分析，以流的形式進行分析。

重大變化之一將是以不同的方式來考慮最能支持這些應用程序的體系結構： 消息隊列將成為設計這些系統的中心焦點。 在流分析程序的工作流中，消息傳遞層將不僅僅是一個安全緩沖區。 正確完成后，消息隊列將成為可重播，不變的持久日志，為多個主服務器（例如實時分析應用程序，數據庫或搜索文檔）提供服務。 由于這些原因，我預計將大大增加已經流行的消息傳遞工具Apache Kafka的使用，并對新的MapR Streams （支持Kafka API的集成消息傳遞技術）產生濃厚的興趣。

縮短實現價值的時間

企業需要實用的方法來更快地實現價值，因此，如果您的企業需要SQL ，我相信您可能會在2016年嘗試Apache Drill 。 隨著發布次數的增加，Drill的功能不斷擴展，但它已經是使用標準SQL的高性能，高可伸縮性和極其靈活的查詢引擎。 這對于來自傳統背景的大數據用戶以及Hadoop和NoSQL世界的資深人士來說同樣具有吸引力，他們希望查詢引擎能夠輕松處理各種非結構化和嵌套的數據類型，例如JSON和Parquet。

Drill的特性也許最有可能讓您嘗試使用它，而它幾乎無需準備就可以查詢數據，從而可以減少從數據獲取見解所需的時間或數天。 在開始查詢之前，只需花費較少的時間，借助Drill，您就可以根據從第一個查詢中學到的知識快速構建第二個查詢。 更快的開發，更快的洞察力，更短的價值實現時間。

集權

人們越來越多地將大數據平臺視為其整個組織的中心部分，而不是一個特殊目的的項目。 大數據平臺（例如基于Hadoop和NoSQL的系統）將需要輕松地連接到傳統技術，例如企業數據倉庫，關系數據庫或BI工具。

對于全球組織而言，集中化的一個自相矛盾的方面是需要在全球范圍內分發數據。 您組織的不同部門需要訪問統一的數據集。 在分解地理位置不同的中心內或中心之間不必要的孤島時，您將要避免傳播延遲。 可能存在法律問題，需要對數據進行本地化。 出于這些原因，我預測許多組織將希望使用一種具有安全可靠方法的系統來維護可以快速同步的多個數據中心。

專題：醫療保健

我認為醫療保健行業中的大數據使用有望在2016年實現快速擴展。人們認識到使用數據來減少欺詐并通過使用電子病歷，機器的長期維護記錄來改善醫療保健的力量。 ，以及傳感器信息流。 對于這些用例而言，出色的數據安全性和治理無疑將非常重要。

專題：電信

電信將在2016年在大數據領域中脫穎而出的另一個領域。 電信公司已經有很好的大數據用例：將ETL的壓力轉移到Hadoop，同時維持企業倉庫的復雜賬單； 對進出蜂窩塔的數據進行異常檢測以發現并快速響應突然的使用變化，并在通話中斷后采用實時分析快速響應用戶，以改善體驗并減少用戶流失。

流數據架構和技術（如上所述）的擴展將使電信受益。 但是，即使您自己不使用電信，這種特殊情況也可能會影響您。 越來越多的非電話應用正在利用電信網絡。 例如，汽車中的傳感器通常通過電信網絡發送數據。 綜上所述，我預計您可能會在2016年將高級電信與大數據結合起來。

最好的預測：你會讓我驚訝

我對2016年的最佳預測是，您將想出一些創新的方法來使用尚未出現的大數據。 也許它將以一種新穎的方式解決我已經意識到的問題。 也許這將是全新的東西。 無論哪種方式，到2017年1月，我都會“記住未來”，即使我的其他五個預測都是準確的，我也會為新事物感到驚訝。

其他資源

對于作者的相關內容，請參見以下免費資源：

• 實用機器學習：異常檢測的新視角
• 真實世界的Hadoop
• O'Reilly Radar博客上有關Apache Drill的文章

翻譯自: https://www.javacodegeeks.com/2016/01/will-2016-apache-spark-kafka-drill.html

總結

以上是生活随笔為你收集整理的您在2016年会做什么？ Apache Spark，Kafka，Drill等的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。