2018年9月大數據計算服務 MaxCompute 又發布新功能啦！

【新功能】MaxCompute窗口函數支持WINDOW_CLAUSE

參考文檔

適用客戶

數據開發人員在進行數據開發過程中，用到調用window函數窗口時，SQL里反復寫上OVER語句會顯得冗余，MaxCompute在該版本中支持WINDOW語句預定義窗口，避免了這一現象。

發布功能

為了避免多次調用window函數窗口時，SQL里反復寫上OVER語句會顯得冗余，MaxCompute在該版本中支持WINDOW語句預定義窗口。

【新功能】子查詢支持SCALAR SUBQUERY?
參考文檔

適用客戶

適用于數據開發人員，在做數據開發時，遇到SUBQUERY的輸出結果為單行單列的時候，可以當做標量來使用。

發布功能

MaxCompute SQL 中當SUBQUERY的輸出結果為單行單列的時候，可以當做標量來使用。

【新功能】MaxCompute SQL-支持OUTER LATERAL VIEW?
參考文檔

適用客戶

適用于數據開發人員，在做數據拆分的同時進行聚合的需求時，使用Outer Lateral View功能和split、explode等UDTF一起封裝使用。

發布功能

Lateral view通常和split、explode等UDTF一起封裝使用，它能夠將一行數據拆成多行數據，在此基礎上可以對拆分后的數據進行聚合。
Lateral view首先為原始表的每行調用UDTF，UDTF會把一行拆分成一行或者多行，Lateral view再把結果聚合，產生一個支持別名表的虛擬表。
Lateral view outer：當table function不輸出任何一行時，對應的輸入行在Lateral view結果中依然保留，且所有table function輸出列為null。

【新功能】MaxCompute 支持使用UDJ(User Defined Join)自定義SQL的Join操作?
參考文檔

適用客戶

數據開發人員在遇到很多跨表操作的需求時，原來要依賴于內置join + 各種UDF/UDTF+復雜的SQL語句來完成，一些情況下還只能完全自定義MR來完成，這兩個方式門檻高且執行效率低。MaxCompute在UDF框架中新近引入的一種新擴展機制：UDJ(User Defined Join)，來實現靈活的跨表、多表自定義操作，同時減少不得不通過MR等方式對分布式系統底層細節的操作。

發布功能

MaxCompute在UDF框架中新近引入的一種新擴展機制：UDJ(User Defined Join) 來實現靈活的跨表、多表自定義操作，同時減少不得不通過MR等方式對分布式系統底層細節的操作。

【新功能】MaxCompute支持使用UDT在SQL中直接引用第三方語言的類或者對象，獲取其數據?
參考文檔

適用客戶

適用于數據開發人員在進行數據開發過程中，為了實現一些簡單的功能而用到第三方語言的類或對象時，之前只能使用UDF這個過程繁雜的方式，通過UDT則可以直接在SQL中直接調用，提升了SQL語言編譯過程的易用性與語言的表達能力，進而提升數據開發人員的工作效率。

發布功能

MaxCompute的UDT提供了調用第三方庫的功能，不需要用特殊的DDL語法來定義類型的映射，直接在SQL中使用。

【新功能】國際站開啟FullScan限制功能?
參考文檔

適用客戶

追求成本控制的MaxCompu用戶。

發布功能

通過限制全表掃描，可以控制SQL/MR計算量，避免用戶因暴力掃描導致的貴賬單。

【體驗優化】MaxCompute優化器(Optimizer)性能提升

MaxCompute優化器(Optimizer)基于MaxCompute-bench測試集合整體性能在生產環境可以提高約7%。

優化功能

1、Advanced Shuffle Remove：可以支持Sorted Merge Join和Sorted Aggregate的排序和分布屬性被后續操作利用，從而減少Shffle操作。
2、Dynamic Parallelism： 對運行時的數據量動態估計reduce數量。
3、Auto Map Parallelism：Map split size支持列裁剪和壓縮比估計。
4、Map Join小表匯集： Map Join小表將首先匯集到單節點，提升broadcast的效率。
5、多處優化性能調優：分區裁剪、代價估計算法的性能有多處調優，優化做得更快。
6、更完整的Join Grouping。

【新地域/可用區】大數據計算服務 MaxCompute 英國（倫敦）節點正式開服售賣?
現在開通

大數據計算服務 MaxCompute 英國（倫敦）節點開服售賣。 可在國際站、中文站、日本站購買迪拜節點資源，在控制臺按需求開通project。

原文鏈接
本文為云棲社區原創內容，未經允許不得轉載。

總結

以上是生活随笔為你收集整理的阿里云 MaxCompute 2018-09 新功能发布的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。