【Python line_profiler memory_profiler】分析每一行代码的耗时及内存占用情况
生活随笔
收集整理的這篇文章主要介紹了
【Python line_profiler memory_profiler】分析每一行代码的耗时及内存占用情况
小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.
一、Python 借助 line_profiler 模塊 查看每一行耗了多少時間?
1. 安裝
windows10、python3.7.4安裝,安裝得個2分鐘左右
pip install line_profiler
2. 使用
from line_profiler import LineProfilerdef func_line_time(follow=[]):def decorate(func):@wraps(func)def profiled_func(*args, **kwargs):try:profiler = LineProfiler()profiler.add_function(func) # 增加每列的行數(shù)for f in follow:profiler.add_function(f)profiler.enable_by_count() # enable_by_count進行執(zhí)行以獲取消耗的時間return func(*args, **kwargs)finally:profiler.print_stats() # 顯示結(jié)果return profiled_funcreturn decorate@func_line_time()
def process(self, params):import pandas as pd`在這里插入代碼片`pass
3. 結(jié)果
- Hit:代碼運行次數(shù);
- %Time:代碼占了它所在函數(shù)的消耗的時間百分比,通常直接看這一列。
- 在這里我們主要觀察%Time 所占用的百分比,對百分比較高的行數(shù)進行優(yōu)化為第一選擇。
二、Python 借助內(nèi)存分析庫 memory_profiler 查看每一行消耗了多少內(nèi)存?
1. 安裝
pip install memory_profiler
2. 使用
# 2. 借助內(nèi)存分析庫 memory_profiler 查看每一行消耗了多少內(nèi)存?
from memory_profiler import profile# precision 精確到小數(shù)點后幾位
# stream 此模塊分析結(jié)果保存到‘memory_profiler.log’ 日志文件。如果沒有此參數(shù),分析結(jié)果會在控制臺輸出
# @profile(precision=4, stream=open('memory_profiler.log', 'w+'))
@profile(precision=4)
def process():print('memory analysis------------')passprocess()
print('------------endl------------')
3. 結(jié)果
- Mem 是總消耗的內(nèi)存
- Increment 是第幾行代碼運行完后增加的內(nèi)存
- 通過memory_profiler 我們可以分析到每一行運行完后占用的內(nèi)存。這部分內(nèi)存在進程沒結(jié)束的時候是不好被回收掉的,因此在這里如果有哪一行邏輯運行一直在增加內(nèi)存消耗,則這行可能是罪魁禍?zhǔn)住?/li>
參考:
- https://blog.csdn.net/qq_35869630/article/details/106731783?utm_medium=distribute.pc_aggpage_search_result.none-task-blog-2allfirst_rank_v2~rank_v25-1-106731783.nonecase&utm_term=python%E6%9F%A5%E7%9C%8B%E5%87%BD%E6%95%B0%E6%B6%88%E8%80%97%E7%9A%84%E5%86%85%E5%AD%98
總結(jié)
以上是生活随笔為你收集整理的【Python line_profiler memory_profiler】分析每一行代码的耗时及内存占用情况的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Java CSV文件读取、写入及追加
- 下一篇: Java测试List<Object>根据