python修饰器原理_Python修饰器的函数式编程
Python的修飾器的英文名叫Decorator,當你看到這個英文名的時候,你可能會把其跟Design Pattern里的Decorator搞混了,其實這是完全不同的兩個東西。雖然好像,他們要干的事都很相似——都是想要對一個已有的模塊做一些“修飾工作”,所謂修飾工作就是想給現有的模塊加上一些小裝飾(一些小功能,這些小功能可能好多模塊都會用到),但又不讓這個小裝飾(小功能)侵入到原有的模塊中的代碼里去。但是OO的Decorator簡直就是一場惡夢,不信你就去看看wikipedia上的詞條(Decorator Pattern)里的UML圖和那些代碼,這就是我在《?從面向對象的設計模式看軟件設計》“餐后甜點”一節中說的,OO鼓勵了——“厚重地膠合和復雜層次”,也是《?如此理解面向對象編程》中所說的“OO的狂熱者們非常害怕處理數據”,Decorator Pattern搞出來的代碼簡直就是OO的反面教程。
Python 的 Decorator在使用上和Java/C#的Annotation很相似,就是在方法名前面加一個@XXX注解來為這個方法裝飾一些東西。但是,Java/C#的Annotation也很讓人望而卻步,太TMD的復雜了,你要玩它,你需要了解一堆Annotation的類庫文檔,讓人感覺就是在學另外一門語言。
而Python使用了一種相對于Decorator Pattern和Annotation來說非常優雅的方法,這種方法不需要你去掌握什么復雜的OO模型或是Annotation的各種類庫規定,完全就是語言層面的玩法:一種函數式編程的技巧。如果你看過本站的《函數式編程》,你一定會為函數式編程的那種“描述你想干什么,而不是描述你要怎么去實現”的編程方式感到暢快。(如果你不了解函數式編程,那在讀本文之前,還請你移步去看看《函數式編程》) 好了,我們先來點感性認識,看一個Python修飾器的Hello World的代碼。
Hello World
下面是代碼:
當你運行代碼,你會看到如下輸出:
你可以看到如下的東西:
1)函數foo前面有個@hello的“注解”,hello就是我們前面定義的函數hello
2)在hello函數中,其需要一個fn的參數(這就用來做回調的函數)
3)hello函數中返回了一個inner函數wrapper,這個wrapper函數回調了傳進來的fn,并在回調前后加了兩條語句。
Decorator 的本質
對于Python的這個@注解語法糖- Syntactic Sugar 來說,當你在用某個@decorator來修飾某個函數func時,如下所示:
其解釋器會解釋成下面這樣的語句:
func= decorator(func)
尼瑪,這不就是把一個函數當參數傳到另一個函數中,然后再回調嗎?是的,但是,我們需要注意,那里還有一個賦值語句,把decorator這個函數的返回值賦值回了原來的func。 根據《函數式編程》中的first class functions中的定義的,你可以把函數當成變量來使用,所以,decorator必需得返回了一個函數出來給func,這就是所謂的higher order function高階函數,不然,后面當func()調用的時候就會出錯。 就我們上面那個hello.py里的例子來說,
被解釋成了:
foo= hello(foo)
是的,這是一條語句,而且還被執行了。你如果不信的話,你可以寫這樣的程序來試試看:
沒了,就上面這段代碼,沒有調用wfg()的語句,你會發現, fuck函數被調用了,而且還很NB地輸出了我們每個人的心聲!
再回到我們hello.py的那個例子,我們可以看到,hello(foo)返回了wrapper()函數,所以,foo其實變成了wrapper的一個變量,而后面的foo()執行其實變成了wrapper()。
知道這點本質,當你看到有多個decorator或是帶參數的decorator,你也就不會害怕了。
比如:多個decorator
相當于:
func= decorator_one(decorator_two(func))
比如:帶參數的decorator:
相當于:
func= decorator(arg1,arg2)(func)
這意味著decorator(arg1, arg2)這個函數需要返回一個“真正的decorator”。
帶參數及多個Decrorator
我們來看一個有點意義的例子:
在上面這個例子中,我們可以看到:makeHtmlTag有兩個參數。所以,為了讓?hello = makeHtmlTag(arg1, arg2)(hello)?成功,makeHtmlTag 必需返回一個decorator(這就是為什么我們在makeHtmlTag中加入了real_decorator()的原因),這樣一來,我們就可以進入到 decorator 的邏輯中去了—— decorator得返回一個wrapper,wrapper里回調hello。看似那個makeHtmlTag() 寫得層層疊疊,但是,已經了解了本質的我們覺得寫得很自然。
你看,Python的Decorator就是這么簡單,沒有什么復雜的東西,你也不需要了解過多的東西,使用起來就是那么自然、體貼、干爽、透氣,獨有的速效凹道和完美的吸收軌跡,讓你再也不用為每個月的那幾天感到焦慮和不安,再加上貼心的護翼設計,量多也不用當心。對不起,我調皮了。
什么,你覺得上面那個帶參數的Decorator的函數嵌套太多了,你受不了。好吧,沒事,我們看看下面的方法。
class式的 Decorator
首先,先得說一下,decorator的class方式,還是看個示例:
上面這個示例展示了,用類的方式聲明一個decorator。我們可以看到這個類中有兩個成員:
1)一個是__init__(),這個方法是在我們給某個函數decorator時被調用,所以,需要有一個fn的參數,也就是被decorator的函數。
2)一個是__call__(),這個方法是在我們調用被decorator函數時被調用的。
上面輸出可以看到整個程序的執行順序。
這看上去要比“函數式”的方式更易讀一些。
下面,我們來看看用類的方式來重寫上面的html.py的代碼:
上面這段代碼中,我們需要注意這幾點:
1)如果decorator有參數的話,__init__() 成員就不能傳入fn了,而fn是在__call__的時候傳入的。
2)這段代碼還展示了 wrapped(*args, **kwargs) 這種方式來傳遞被decorator函數的參數。(其中:args是一個參數列表,kwargs是參數dict,具體的細節,請參考Python的文檔或是StackOverflow的這個問題,這里就不展開了)
用Decorator設置函數的調用參數
你有三種方法可以干這個事:
第一種,通過 **kwargs,這種方法decorator會在kwargs中注入參數。
第二種,約定好參數,直接修改參數
第三種,通過 *args 注入
Decorator的副作用
到這里,我相信你應該了解了整個Python的decorator的原理了。
相信你也會發現,被decorator的函數其實已經是另外一個函數了,對于最前面那個hello.py的例子來說,如果你查詢一下foo.__name__的話,你會發現其輸出的是“wrapper”,而不是我們期望的“foo”,這會給我們的程序埋一些坑。所以,Python的functool包中提供了一個叫wrap的decorator來消除這樣的副作用。下面是我們新版本的hello.py。
當然,即使是你用了functools的wraps,也不能完全消除這樣的副作用。
來看下面這個示例:
你會發現,即使是你你用了functools的wraps,你在用getargspec時,參數也不見了。
要修正這一問,我們還得用Python的反射來解決,下面是相關的代碼:
當然,我相信大多數人的程序都不會去getargspec。所以,用functools的wraps應該夠用了。
一些decorator的示例
好了,現在我們來看一下各種decorator的例子:
給函數調用做緩存
這個例實在是太經典了,整個網上都用這個例子做decorator的經典范例,因為太經典了,所以,我這篇文章也不能免俗。
上面這個例子中,是一個斐波拉契數例的遞歸算法。我們知道,這個遞歸是相當沒有效率的,因為會重復調用。比如:我們要計算fib(5),于是其分解成fib(4) + fib(3),而fib(4)分解成fib(3)+fib(2),fib(3)又分解成fib(2)+fib(1)…… 你可看到,基本上來說,fib(3), fib(2), fib(1)在整個遞歸過程中被調用了兩次。
而我們用decorator,在調用函數前查詢一下緩存,如果沒有才調用了,有了就從緩存中返回值。一下子,這個遞歸從二叉樹式的遞歸成了線性的遞歸。
Profiler的例子
這個例子沒什么高深的,就是實用一些。
注冊回調函數
下面這個示例展示了通過URL的路由來調用相關注冊的函數示例:
注意:
1)上面這個示例中,用類的實例來做decorator。
2)decorator類中沒有__call__(),但是wrapper返回了原函數。所以,原函數沒有發生任何變化。
給函數打日志
下面這個示例演示了一個logger的decorator,這個decorator輸出了函數名,參數,返回值,和運行時間。
上面那個打日志還是有點粗糙,讓我們看一個更好一點的(帶log level參數的):
但是,上面這個帶log level參數的有兩具不好的地方,
1) loglevel不是debug的時候,還是要計算函數調用的時間。
2) 不同level的要寫在一起,不易讀。
我們再接著改進:
你可以看到兩點,
1)我們分了兩個log level,一個是info的,一個是debug的,然后我們在外尾根據不同的參數返回不同的decorator。
2)我們把info和debug中的相同的代碼抽到了一個叫_basic_log的函數里,DRY原則。
一個MySQL的Decorator
下面這個decorator是我在工作中用到的代碼,我簡化了一下,把DB連接池的代碼去掉了,這樣能簡單點,方便閱讀。
線程異步
下面量個非常簡單的異步執行的decorator,注意,異步處理并不簡單,下面只是一個示例。
總結
以上是生活随笔為你收集整理的python修饰器原理_Python修饰器的函数式编程的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: javascript中encodeURL
- 下一篇: python 知乎 合并 pdf_pyt