常用内建模块
一.datetime
1.模塊導入:
from datetime import datetime
2.獲取當前日期和時間:
>>> now = datetime.now() >>> print(now) 2019-01-13 14:19:38.181000
3.獲取指定日期和時間:
>>> dt = datetime(2019,1,10,15,0) >>> print(dt) 2019-01-10 15:00:00
4.datetime轉換為timestamp
from datetime import datetimenow = datetime.now() print(now.timestamp())
注意:
Python的timestamp是一個浮點數。如果有小數位，小數位表示毫秒數。
?
5.timestamp轉換為datetime
#本地時區時間 datetime.fromtimestamp(1547360695.313724) #UTC標準時區的時間 print(datetime.utcfromtimestamp(1547360695.313724))
6.str轉換為datetime
datetime.strptime('2015-6-1 18:19:59', '%Y-%m-%d %H:%M:%S')
7.datetime轉換為str
now = datetime.now() print(now.strftime('%a, %b %d %H:%M'))
8.datetime加減
from datetime import datetime, timedelta now = datetime.now() new_time = now + timedelta(hours=10) print(new_time)
9.本地時間轉換為UTC時間
from datetime import datetime, timedelta, timezone tz_utc_8 = timezone(timedelta(hours=8)) now = datetime.now() dt = now.replace(tzinfo=tz_utc_8) print(dt)
10.時區轉換
from datetime import datetime, timedelta, timezone# 強制設置時區為UTC+0:00: utc_dt = datetime.utcnow().replace(tzinfo=timezone.utc) print(utc_dt) # 利用astimezone()將轉換時區為北京時間: bj_dt = utc_dt.astimezone(timezone(timedelta(hours=8))) print(bj_dt)
注意:
如果要存儲datetime，最佳方法是將其轉換為timestamp再存儲，因為timestamp的值與時區完全無關
?
?二.collections
1.namedtuple:給tuple屬性命名
from collections import namedtuplePoint = namedtuple('Point', ['x', 'y', 'z'])
p = Point(1,3,9)
print(p.x, p.y, p.z)
2.deque
使用list存儲數據時，按索引訪問元素很快，但是插入和刪除元素就很慢了，因為list是線性存儲，數據量大的時候，插入和刪除效率很低。
deque是為了高效實現插入和刪除操作的雙向列表，適合用于隊列和棧:
3.defaultdict
使用dict時，如果引用的Key不存在，就會拋出KeyError。如果希望key不存在時，返回一個默認值，就可以用defaultdict
from collections import defaultdictd = defaultdict(lambda : 'N/A') d['l'] = 100 print(d['l']) print(d['m'])
4.OrderedDict
使用dict時，Key是無序的。OrderedDict的Key會按照插入的順序排列,可以實現FIFO
from collections import OrderedDictd1 = OrderedDict() d1['a'] = 1 d1['b'] = 2 d1['c'] = 3 print(d1)
輸出:
OrderedDict([('a', 1), ('b', 2), ('c', 3)])
?
5.ChainMap
ChainMap可以把一組dict串起來并組成一個邏輯上的dict。ChainMap本身也是一個dict，但是查找的時候，會按照順序在內部的dict依次查找
from collections import ChainMap import osdefault_dict = {'platform': os.name} user_select = {'platform': 'posix'}d = ChainMap(user_select, default_dict) print(d['platform'])
如果user_select存在platform就是用該值,否則就使用默認的
?
6.Counter
Counter是一個簡單的計數器
from collections import Counterc = Counter() for ch in 'helloworld':c[ch] += 1print(c)
輸出:
Counter({'l': 3, 'o': 2, 'h': 1, 'e': 1, 'w': 1, 'r': 1, 'd': 1})
?
三.base64
Base64是一種用64個字符來表示任意二進制數據的方法,Base64編碼會把3字節的二進制數據編碼為4字節的文本數據，長度增加33%，好處是編碼后的文本數據可以在郵件正文、網頁等直接顯示。
如果要編碼的二進制數據不是3的倍數，最后會剩下1個或2個字節怎么辦？Base64用\x00字節在末尾補足后，再在編碼的末尾加上1個或2個=號，表示補了多少字節，解碼的時候，會自動去掉。
示例代碼:
import base64# base64編碼 base64_encode = base64.b64encode(b'52222') # base64安全編碼,會將可能出現的字符字符+和/替換為-和_ base64_safe_encode = base64.urlsafe_b64encode(b'52222') print(base64_encode) print(base64_safe_encode)# 解碼 print(base64.b64decode(base64_encode)) print(base64.urlsafe_b64decode(base64_safe_encode))
輸出:
b'NTIyMjI='
b'NTIyMjI='
b'52222'
b'52222'
?
四.struct
Python提供了一個struct模塊來解決bytes和其他二進制數據類型的轉換
import struct# 變成字節,>表示字節順序是big-endian，也就是網絡序，I表示4字節無符號整數 print(struct.pack('>I', 10240099)) # 字節變成相應的數據類型,根據>IH的說明，后面的bytes依次變為I：4字節無符號整數和H：2字節無符號整數。 print(struct.unpack('>IH', b'\xf0\xf0\xf0\xf0\x80\x80'))
五.hashlib
md5/SHA1解密加密
1.md5加密(32位長度)
import hashlib#加密 md5 = hashlib.md5() md5.update('hello'.encode('utf-8')) print(md5.hexdigest())
2.SHA1(40位長度)
import hashlibsha1 = hashlib.sha1() sha1.update('hello'.encode('utf-8')) print(sha1.hexdigest())
六.hmac
它通過一個標準算法，在計算哈希的過程中，把key混入計算過程中
import hmachmac_encode = hmac.new(b'salt', b'message', 'MD5') print(hmac_encode.hexdigest())
七.itertools
1.count:會創建一個無限的迭代器,是自然數序列:
import itertoolsfor i in itertools.count(1):print(i)
2.cycle:會把傳入的一個序列無限重復下去
import itertoolsfor i in itertools.cycle('abc'):print(i)
3.repeat:負責把一個元素無限重復下去，不過如果提供第二個參數就可以限定重復次數
4.無限序列雖然可以無限迭代下去，但是通常我們會通過takewhile()等函數根據條件判斷來截取出一個有限的序列
?
import itertoolsnatuals = itertools.count(1) ns = itertools.takewhile(lambda x: x <= 10, natuals) print(list(ns))
5.chain: 可以把一組迭代對象串聯起來，形成一個更大的迭代器
import itertoolsfor i in itertools.chain('abc', 'def'):print(i)
輸出:
a
b
c
d
e
f
?
6.groupby:把迭代器中相鄰的重復元素挑出來放在一起
import itertoolsfor key, group in itertools.groupby('AAABBBCCAAA'):print(key, group)
輸出:
A <itertools._grouper object at 0x000001C32D2A3550>
B <itertools._grouper object at 0x000001C32D2DCDA0>
C <itertools._grouper object at 0x000001C32D2A3550>
A <itertools._grouper object at 0x000001C32D2DCD68>
?
八.contextlib(with)
任何對象，只要正確實現了上下文管理，就可以用于with語句.要使用with實現上下文管理是通過__enter__和__exit__這兩個方法實現的
1.通過類實現:
class Query:def __enter__(self):print('enter')return selfdef query(self, params):print(params)return 100def __exit__(self, exc_type, exc_val, exc_tb):if exc_type:print('error')else:print('exit')with Query() as query:query.query('rorshach')
2.更加簡便的通過@contextmanager和yield實現:
from contextlib import contextmanagerclass Query:def query(self, params):print(params)return 100@contextmanager def make_context_query():q = Query()yield qwith make_context_query() as query:query.query('rorshach')
很多時候，我們希望在某段代碼執行前后自動執行特定代碼，也可以用@contextmanager實現:
from contextlib import contextmanager@contextmanager def tag():print('<h1>')yieldprint('</h1>')#yield沒有生成值,with語句中就不需要寫as子句了 with tag() as tag:print('hello')
輸出:
<h1>
hello
</h1>
如果出錯,關閉對象示例:
from contextlib import contextmanager from urllib.request import urlopen@contextmanager def closing(thing):try:yield thingfinally:thing.close()with closing(urlopen('http://www.baidu.com')) as page:for line in page:print(line)
九.urllib
1.get請求
from urllib import requestreq = request.Request('http://www.baidu.com/') # 設置ua req.add_header('User-Agent', 'Mozilla/6.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/8.0 Mobile/10A5376e Safari/8536.25') with request.urlopen(req) as f:print('Status:', f.status, f.reason)for k, v in f.getheaders():print('%s: %s' % (k, v))print('Data:', f.read().decode('utf-8'))
2.post請求
from urllib import request, parseprint('Login to weibo.cn...') email = input('Email: ') passwd = input('Password: ') login_data = parse.urlencode([('username', email),('password', passwd),('entry', 'mweibo'),('client_id', ''),('savestate', '1'),('ec', ''),('pagerefer', 'https://passport.weibo.cn/signin/welcome?entry=mweibo&r=http%3A%2F%2Fm.weibo.cn%2F') ])req = request.Request('https://passport.weibo.cn/sso/login') req.add_header('Origin', 'https://passport.weibo.cn') req.add_header('User-Agent', 'Mozilla/6.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/8.0 Mobile/10A5376e Safari/8536.25') req.add_header('Referer', 'https://passport.weibo.cn/signin/login?entry=mweibo&res=wel&wm=3349&r=http%3A%2F%2Fm.weibo.cn%2F')with request.urlopen(req, data=login_data.encode('utf-8')) as f:print('Status:', f.status, f.reason)for k, v in f.getheaders():print('%s: %s' % (k, v))print('Data:', f.read().decode('utf-8'))
十.XML
1.DOM:
DOM會把整個XML讀入內存，解析為樹，因此占用內存大，解析慢，優點是可以任意遍歷樹的節點
示例代碼:
from xml.parsers.expat import ParserCreateclass DefaultSaxHandler(object):def start_element(self, name, attrs):print('sax:start_element: %s, attrs: %s' % (name, str(attrs)))def end_element(self, name):print('sax:end_element: %s' % name)def char_data(self, text):print('sax:char_data: %s' % text)xml = r'''<?xml version="1.0"?> <ol><li><a href="/python">Python</a></li><li><a href="/ruby">Ruby</a></li> </ol> '''handler = DefaultSaxHandler() parser = ParserCreate() parser.StartElementHandler = handler.start_element parser.EndElementHandler = handler.end_element parser.CharacterDataHandler = handler.char_data parser.Parse(xml)
2.SAX是流模式，邊讀邊解析，占用內存小，解析快，缺點是我們需要自己處理事件
十一.HTMLParser
from html.parser import HTMLParserclass MyHTMLParser(HTMLParser):def handle_starttag(self, tag, attrs):print('<%s>' % tag)def handle_endtag(self, tag):print('</%s>' % tag)def handle_startendtag(self, tag, attrs):print('<%s/>' % tag)def handle_data(self, data):print(data)def handle_comment(self, data):print('<!--', data, '-->')def handle_entityref(self, name):print('&%s;' % name)def handle_charref(self, name):print('&#%s;' % name)parser = MyHTMLParser() parser.feed('''<html> <head></head> <body> <!-- test html parser --><p>Some <a href=\"#\">html</a> HTML?tutorial...<br>END</p> </body></html>''')
?
轉載于:https://www.cnblogs.com/itfenqing/p/10275132.html
總結
- 上一篇： 判断mysql的关键字_mysql中查询
- 下一篇： Louvain、Lpa、Infomap算