5 分钟掌握 Python 中常见的配置文件
為什么要寫配置文件
在開發過程中,我們常常會用到一些固定參數或者是常量。對于這些較為固定且常用到的部分,往往會將其寫到一個固定文件中,避免在不同的模塊代碼中重復出現從而保持核心代碼整潔。
這個固定文件我們可以直接寫成一個?.py?文件,例如?settings.py?或?config.py,這樣的好處就是能夠在同一工程下直接通過?import?來導入當中的部分;但如果我們需要在其他非 Python 的平臺進行配置文件共享時,寫成單個?.py?就不是一個很好的選擇。這時我們就應該選擇通用的配置文件類型來作為存儲這些固定的部分。目前常用且流行的配置文件格式類型主要有?ini、json、toml、yaml、xml?等,這些類型的配置文件我們都可以通過標準庫或第三方庫來進行解析。
ini
ini?即 Initialize 初始化之意,早期是在 Windows 上配置文件的存儲格式。ini?文件的寫法通俗易懂,往往比較簡單,通常由節(Section)、鍵(key)和值(value)組成,就像以下形式:
[localdb] host = 127.0.0.1 user = root password = 123456 port = 3306 database = mysqlPython 本身內置的?configparser?標準庫,我們直接就可以用來對?ini文件進行解析。如我們將上述內容保存在一個名為?db.ini?的文件中,然后使用?read()?方法來進行解析和讀取,最后通過?items()?方法來獲取指定節點下的所有鍵值對。
>>>?from?configparser?import?ConfigParser >>>?cfg?=?ConfigParser() >>>?cfg.read("/Users/Bobot/db.ini") ['/Users/Bobot/db.ini'] >>>?cfg.items("localdb") [('host',?'127.0.0.1'),?('user',?'root'),?('password',?'123456'),?('port',?'3306'),?('database',?'mysql')]需要注意的是,configparser?默認將值以字符串的形式呈現,所以這也就是為什么我們在?db.ini?文件中沒有加引號而是直接將字面量寫在上面的原因。
獲取到鍵值對后,我其實直接就將其轉換成字典,然后通過解包的方式進行穿參,保持代碼簡潔:
#!pip?install?pymysql import?pymysql from?configparser?import?ConfigParsercfg?=?ConfigParser() cfg.read("/Users/Bobot/db.ini") db_cfg?=?dict(cfg.items("localdb"))con?=?pymysql.connect(**db_cfg)json
json?格式可以說是我們常見的一種文件形式了,也是目前在互聯網較為流行的一種數據交換格式。除此之外,json?有時也是配置文件的一種。
比如?npm(JavaScript 包管理工具類似 Python 的?pip)、以及微軟出品的目前被廣泛使用的 VSCode 編輯器,都使用?json?編寫配置參數。
和?configparser?一樣,Python 也內置了?json?標準庫,可以通過load()?和?loads()?方法來導入文件式和字符串的?json?內容。
{"localdb":{"host":?"127.0.0.1","user":?"root","password":?"123456","port":?3306,"database":?"mysql"} }我們將上述內容保存為?db.json?后進行讀取和解析,json?庫讀取 json 文件相對簡單容易,而且很容易解析成 Python 的字典對象。
>>>?import?json >>>?from?pprint?import?pprint >>>? >>>?with?open('/Users/Bobot/db.json')?as?j: ...?????cfg?=?json.load(j)['localdb'] ...? >>>?pprint(cfg) {'database':?'mysql','host':?'127.0.0.1','password':?'123456','port':?3306,'user':?'root'}使用?json?文件配置的缺點就是語法標準嚴格限制,為人所詬病之一的就是無法在當中寫注釋,除非采取?json?類型的其他超集作為替代方案(VSCode 中能寫注釋的?json?參數配置文件便是代替方案的一種);同時存在嵌套過深的問題,容易導致出錯,不宜用來寫過長或復雜的參數配置信息。
toml
toml?格式(或?tml?格式)是 Github 聯合創始人 Tom Preston-Werner 所提出的一種配置文件格式。根據維基百科的資料,toml?最開始提出時是在 2013年7月份,距今已有七年時間;它在某些方面也與后面要談到的?yaml?文件有些類似,但如果當你知道 yaml 的規范有幾十頁(沒有錯,真的就是幾十頁……)的時候,可能你真的就不太愿意去寫那么復雜的配置文件,toml?格式則倒是個不錯的選擇。
從這里可以看出?toml?有點類似于前面所講的?ini?文件。但是它比?ini擴展了更多的內容。
在樣例圖片中我們可以看到,除了基本的字符串以外,例如時間戳、布爾值、數組等都進一步支持,而且樣式和 Python 的原生寫法十分類似。
當然這里不會過多介紹?toml?格式的一些規范說明,有人已經對官方的規范文檔進行了翻譯,有興趣的朋友可以直接查閱。
這么契合 Python 方式的配置文件類型已經有開發者造出了相應的「輪子」,目前在 Github 上 Stars 數最多的是則?uiri/toml?的版本,不過該版本僅通過了 v0.5 版本?toml?規范,但在使用上還是蠻簡潔的,我們可以通過?pip?命令進行安裝
pip?install?toml該庫的解析方式很簡單,也有點類似于?json?庫的解析用法,即通過load()?或?loads()?來進行解析;同理轉換并導出也是同樣類似的用法。
比如我們現在將以下內容寫入到?config.toml?中:
[mysql] host = "127.0.0.1" user = "root" port = 3306 database = "test"[mysql.parameters]pool_size = 5charset = "utf8"[mysql.fields]pandas_cols = [ "id", "name", "age", "date"]緊接著我們就可以通過?toml?庫中的?load()?方法來進行讀取:
>>>?import?toml >>>?import?os >>>?from?pprint?import?pprint >>>?cfg?=?toml.load(os.path.expanduser("~/Desktop/config.toml")) >>>?pprint(cfg) {'mysql':?{'database':?'test','fields':?{'pandas_cols':?['id',?'name',?'age',?'date']},'host':?'127.0.0.1','parameters':?{'charset':?'utf8',?'pool_size':?5},'port':?3306,'user':?'root'}}可以看到?toml?文件被間接地轉化成了字典類型,當然這也就是?json?版的寫法(將單引號替換成雙引號即可),方便我們后續調用或者傳參。
yaml
yaml?格式(或?yml?格式)是目前較為流行的一種配置文件,它早在 2001 由一個名為 Clark Evans 的人提出;同時它也是目前被廣泛使用的配置文件類型,典型的就是 Docker 容器里的?docker-compose.yml?配置文件,如果經常使用 Docker 進行部署的人對此不會陌生。
yaml?文件的設計從 Python、XML 等地方獲取靈感,所以在使用時能很清楚地看到這些部分的影子。
在上一節?toml?內容里我曾提到,yaml?的規范內容可以說是冗長和復雜,足足有80頁之多(斗尊強者,恐怖如斯……)。
所以感興趣的朋友可以再自行了解相關用法。
YAML 官方早已經提供了相應的 Python 庫進行支持,即?PyYAML;當然也同樣需要我們事先進行安裝:
pip?install?pyyaml同?json?庫和?toml?庫一樣,通過?load()?方法來進行加載。
需要注意的是,使用?load()?方法會存在一定的安全隱患,從思科 Talos 的這份報告中我們可以看到,如果加載了未知或不信任的?yaml?文件,那么有可能會存在被攻擊的風險和網絡安全隱患,因為它能夠直接調用相應的 Python 函數來執行為攻擊者所需要的命令,比如說在?yaml?文件中寫入這么一段:
#?使用Linux和macOS的朋友不要輕易嘗試 !!python/object/apply:os.system?["rm?-rf?/"]因此最好是使用?safe_load()?來代替?load()?方法。
這和 Python 內置的?string?標準庫中?Template?類的?substitute()?模板方法一樣存在著同樣的安全隱患,所以使用?safe_substitute()?來替代是一樣的道理。
如我們現在將之前的一些配置信息寫入?config.yaml?文件中:
mysql:host:?"127.0.0.1"port:?3306user:?"root"password:?"123456"database:?"test"parameter:pool_size:?5charset:?"utf8"fields:pandas_cols:?-?id-?name-?age-?date然后我們通過?safe_load()?方法進行解析:
>>>?import?os >>>?from?pprint?import?pprint >>>? >>>?with?open(os.path.expanduser("~/config.yaml"),?"r")?as?config: ...?????cfg?=?yaml.safe_load(config) ...? >>>?pprint(cfg) {'mysql':?{'database':?'test','fields':?{'pandas_cols':?['id',?'name',?'age',?'date']},'host':?'127.0.0.1','parameter':?{'charset':?'utf8',?'pool_size':?5},'password':?'123456','port':?3306,'user':?'root'}}可以看到最后結果和前面的?toml?庫的解析結果基本一致。
結尾
本文列舉了一些主流且常見的配置文件類型及其 Python 的讀取方法,可能有的讀者會發現當中沒有?xml?格式類型的內容。對于?xml?配置文件可能與 Java 系語言打交道的朋友遇見得會多一些,但?xml?文件的可讀性實在是讓人望而生畏;對?xml?文件不了解的朋友可以使用 Chrome 瀏覽器隨便進入一個網站然后按下 F12 進入開發者后查看那密密麻麻的 html 元素便是?.xml?的縮影。
除了這些主流的配置文件類型之外,像一些?.cfg、.properties?等都可以作為配置文件,甚至和開頭提到的那樣,你單獨用一個?.py?文件來書寫各類配置信息作為配置文件進行導入都是沒問題,只是在跨語言共享時可能會有些障礙。因此本文就不過多介紹,感興趣的朋友可以進一步自行了解。
在本文里列舉的配置文件類型其復雜性由上到下依次增加:ini < json ≈ toml < yaml,它們之間各有優劣,可以根據自己實際的需求和團隊協作要求來具體選擇。
與50位技術專家面對面20年技術見證,附贈技術全景圖總結
以上是生活随笔為你收集整理的5 分钟掌握 Python 中常见的配置文件的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 资深项目经理的10条项目管理心得
- 下一篇: websocket python爬虫_p