連續智能，DataOps，數據民主化和數據網格是我最近觀察到的數據和分析的四個主要趨勢。 所有這些因素都可能在2021-21財年與您的業務相關，這不是因為它們是"最新的東西"，而是因為存在三大推動這些趨勢向前發展的潛在因素。 他們會以一種或另一種形式來找您。

　　

　　> Analytics & data strategy: the three forces, data demand, data growth, and complexity growth with

　　在本文中，我將解釋：

　　· 這三種力量將在未來十年內定義分析策略。

　　· 這三種力量目前呈現出的四種趨勢是什么，這些趨勢將在2021-21年出現。

　　· 通過與資源的鏈接可以更詳盡地了解趨勢，這比我以往所能理解的要好得多。

　　讓我們深入探討會破壞您的分析策略的三種力量和四種趨勢！

　　趨勢概述

　　我一次又一次地偶然發現了四個趨勢，我相信這四個趨勢將在2021-21年與幾乎每個分析領域相關。 這四個趨勢是

　　· 數據網格：數據不是副產品，而是實際產品。 生產團隊的所有權。 ThoughtWorks引入的概念。

　　· 數據民主化：為公司中的每個人（包括無技術雇員）訪問大量數據，例如在AirBnB中使用（采用率接近50％）。

　　· 持續智能：通過機器學習以及大量連續數據提取和處理來實現近乎實時的自動決策支持和制定。

　　· DataOps：專注于通過數據交付價值，并介紹當今常見的軟件工程實踐，例如持續集成（CI）和持續交付（CD），以及將更多內容引入數據管道。

　　但是，為什么這四個趨勢變得如此重要？ 我認為他們會這樣做，因為有三大力量推動了這些趨勢。

　　推動這些趨勢的潛在力量

　　據我所知，推動這些趨勢的潛在力量將在未來10年以上繼續發展。 這就是我認為這些趨勢還將持續一段時間的原因。

　　對數據的需求不斷增長：隨著機器學習者，數據科學家以及其他發現越來越多應用的人的需求，對產品的數據需求正在飛速增長。 4年前，幾乎任何公司的數據科學家和機器學習工程師都樂于將數據作為副產品使用，并將其從他們可以找到的任何地方撤出。 現在，越來越多的公司擁有100多名數據科學家和機器學習工程師，他們都需要適當地照顧數據。 公共API的使用正在爆炸式增長。 以及僅出于數據科學目的的公共和公司內部數據集。

　　不斷增長的數據量：可用數據以及捕獲數據的設備的數量激增，似乎每三年翻一番。

　　

　　> (Source: Data Age 2025, forbes/sites/tomcoughlin/2021/11/27/175-zettabytes-by-2025

　　市場日益復雜：我確實相信，隨著市場的發展，我們所工作的市場和競爭環境變得越來越復雜。 定性的原因在" Edge：價值驅動的數字化轉型"一書中給出。 我還想相信知識的增長與世界的復雜性相關，因此學術論文的指數增長可能是看到復雜性增長的另一個好點。

　　

　　> (Source: Jinha, Arif. (2010). Article 50 million: An estimate of the number of scholarly articles

　　所有這些力量本質上為掌握數據處理技術并將其轉變為決策和行動的公司帶來了巨大的競爭優勢。 讓我們詳細探討有助于建立競爭優勢的四個趨勢。

　　趨勢一：持續智能的細節

　　持續智能是現在存在的可能性，而以前是不存在的。

　　是從數據到決策和行動的循環持續不斷的可能性，而不是"一次"！

　　事實證明，一個基本的"推薦引擎"可以在Amazon上向您顯示產品推薦，從而可以對用戶行為的改變或A / B測試的結果做出快速反應。 這些推薦引擎已經完成了從數據到行動到一個連續流程的循環。

　　但是，這項技術的變體可以應用于幾乎任何類型的動作和任何類型的數據。 它可能以其他形式出現，例如"決策支持"或統計信息，但確實存在。

　　在其他公司中，此周期只是一次線性的事情，但在某些公司中，這已經變成了巨大的競爭優勢。 例如Google搜索，亞馬遜建議，二手車定價中的" wirkaufendeinauto.de"等等。

　　情報循環是將行動創建的原始數據再次轉換為新的決策和行動的方式。 ThoughtWorks對它的描述如下：

　　

　　> (Source: thoughtworks/insights/articles/intelligent-enterprise-series-models-enter

　　＃1如何應對這種趨勢：將公司置于智能成熟度模型上。 然后想一想，您所在行業中的其他公司可能正在這個領域。 這實際上決定了您是追趕追趕者，還是能夠獲得競爭優勢。

　　

　　> (Source: (Source: thoughtworks/insights/articles/intelligent-enterprise-series-mod

　　＃2不評估此趨勢的原因：我認為沒有理由不評估此趨勢。 連續智能已經應用在您不會懷疑的行業，醫院，工業組織中，以優化機器吞吐量并發現錯誤或損壞機器，并且貫穿整個行業。 如上所述，數據呈指數增長，其他公司也因此有機會破壞您的數據。 但是，我確實認為您公司的時間表取決于您的競爭環境以及內部情況。

　　＃3首先考慮其他趨勢的原因：如果您沒有為使公司中的數據可用而付出任何努力，則不要認為自己是數據驅動的或受數據啟發的，而是您可能首先要考慮其他趨勢。

　　＃4其他資源：ThoughtWorks提供了有關該主題的大量資源，特別好地解釋了機器學習連續循環的工作方式，以及決策支持的外觀：

　　· ThoughtWorks編寫的智能企業系列第1部分

　　· ThoughtWorks編寫的智能企業系列第2部分。

　　· ThoughtWorks編寫的智能企業系列第3部分。

　　趨勢2：詳細了解DataOps

　　DataOps是現在已采用適當形式的趨勢的名稱。 集成產品和價值觀點以及將軟件工程的當前最佳實踐集成到常規數據工作的趨勢。

　　這種趨勢是由DataOps宣言，dataKitchen＆data Bricks公司推動的。

　　DataOps意味著我們運用了DevOps思維方式，并結合了精益生產中常用的方法和敏捷的思維方式來處理數據。 關鍵模型包括如下所示的數據和想法管道的想法：

　　

　　> (Source: (medium/data-ops/dataops-is-not-just-devops-for-data-6e03083157b7)

　　＃1為什么現在如此重要？ 這三方面的力量都迫使數據和分析部門專注于在瞬息萬變的環境中創造價值。 實際上，dataOps只是在整理需要正確完成的工作。

　　＃1評估此趨勢的原因：如果您的公司和競爭環境變得越來越復雜，那么數據世界將隨之而來。

　　＃2評估此趨勢的原因：如果您的數據和分析團隊正在努力在SCRUM之類的敏捷框架中工作，那么他們應該這樣做。 如果您沒有產品經理來負責您的分析和數據團隊，那么應該這樣做。

　　＃3進一步的資源：這種趨勢沒有采取系統的形式，但是一些信息是可取的，包括宣言和一些博客文章。 這是其中兩個：

　　· DataOps中博客文章

　　· DataOps宣言

　　數據民主化的細節

　　一句話中的數據民主化意味著"為所有人提供數據訪問權限"。 多年來，Airbnb，Zynga，eBay和Facebook等公司一直在積極地實現數據民主化。 有很多陷阱，也需要向這些公司學習很多東西，這就是為什么我已經寫過關于它們的原因：

　　

　　> (Source: by me from a post on data-democratization)

　　＃1為什么現在如此重要？ 世界日益復雜，這意味著實際上需要更多數據來制定決策。 沒有它，在這個日趨復雜的世界中，其他決策方式（直覺）遲早會破滅。 實際上，數據量的增長意味著您必須提供給人們更多的數據。

　　＃2評估此趨勢的原因：您公司中有多少人可以訪問數據？ 30％以下？ 然后，您肯定處于行動下限（行業平均水平在30％至40％之間變化）。

　　＃3不評估此趨勢的原因：您擁有大量的自助式分析設置？ 直接SQL訪問還是對您公司中的大多數人而言相當的東西？ 因此，沒有理由更深入地研究這一趨勢。

　　＃4資源：

　　· 我寫了一篇關于這個話題的文章。

　　· 博客文章解釋了朝這個方向發展的一些原因。

　　數據網格詳細

　　DDD，微服務和DevOps改變了我們在過去十年中開發軟件的方式。 但是，分析部門的數據未能趕上這一步。 為了采用現代開發方法加速基于公司數據的決策，分析和軟件團隊需要進行更改。

　　（1）軟件團隊必須將數據視為他們為其他人服務的產品，包括分析團隊

　　（2）分析團隊必須在此基礎上，停止堆積數據，而是按需提取數據

　　（3）分析團隊必須開始將其數據湖/數據倉庫也視為數據產品。

　　數據網格看起來可能像這樣：

　　

　　> (Source: Z. Dehghani: martinfowler/articles/data-monolith-to-mesh.html)

　　＃1考慮構建數據網格的原因：復雜的域，龐大的組織結構，大量數據以及內部對數據的不斷增長的需求都是考慮這種趨勢的充分理由。

　　＃2不考慮數據網格的原因：如果您認為自己的域仍然很簡單，容易，例如可以由一個分析部門進行管理，那么我認為沒有理由切換到數據網格。 就像微服務一樣，數據網格是靈活性（通過數據網格獲得的）和復雜性（隨著數據網格增長的）之間的折衷。 如果復雜性成本不值得，請采用集中式方法。

　　＃3資源：基于數據網格的資源在不斷增長，在此我想重點介紹三個。

　　· 原始數據網格文章來自ThoughtWorks的Z. Dehghani。

　　· 我在該主題上寫的更實用的版本。

　　· Zalando網絡研討會解釋了與ThoughtWorks一起實現的數據網格版本。

　　· Zalando解釋了他們的數據網格版本。

　　僅此而已！

　　我希望聽到一些關于我可能會錯過的其他趨勢，您認為這三種力量如何推動未來分析策略的反饋。

總結

以上是生活随笔為你收集整理的4种趋势将在2021-2021年改变您的数据和分析策略的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。