生活随笔
收集整理的這篇文章主要介紹了
pytorch-pretrained-bert的模型下载慢的问题
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
原文地址:https://blog.csdn.net/w5688414/article/details/103666409
今天需要用到pytorch-pretained-bert,但是下載預訓練的模型花費了好長時間,這里來分享以下解決方法,其安裝過程為:
pip install pytorch-pretrained-bert
如果調用BertModel等模型的時候,需要下載相應的預先訓練模型,下載后的文件存放在cache文件夾:~/.pytorch_pretrained_bert/
但是這個下載的過程我是等到了絕望.
后面就自己手動下載了該模型,放到了自己的一個目錄文件夾下(../temp/bert-base-uncased,cache_dir可以不管),然后直接調用:
model = BertModel.from_pretrained(
'../temp/bert-base-uncased', cache_dir=temp_dir)
然后就可以正常加載自己下載的模型了。預訓練模型的下載鏈接為:
PRETRAINED_MODEL_ARCHIVE_MAP = { 'bert-base-uncased': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-uncased.tar.gz", 'bert-large-uncased': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-large-uncased.tar.gz", 'bert-base-cased': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-cased.tar.gz", 'bert-base-multilingual': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-multilingual.tar.gz", 'bert-base-chinese': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-chinese.tar.gz",} 如果自己下載很慢,可以求助一些下載代理或者找國外的朋友幫你下載。
相應的vocab的文件下載地址為:
PRETRAINED_VOCAB_ARCHIVE_MAP = { 'bert-base-uncased': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-uncased-vocab.txt", 'bert-large-uncased': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-large-uncased-vocab.txt", 'bert-base-cased': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-cased-vocab.txt", 'bert-large-cased': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-large-cased-vocab.txt", 'bert-base-multilingual-uncased': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-multilingual-uncased-vocab.txt", 'bert-base-multilingual-cased': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-multilingual-cased-vocab.txt", 'bert-base-chinese': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-chinese-vocab.txt",} 參考文獻
[1].?BERT-Pytorch demo初探.?https://zhuanlan.zhihu.com/p/50773178
總結
以上是生活随笔為你收集整理的pytorch-pretrained-bert的模型下载慢的问题的全部內容,希望文章能夠幫你解決所遇到的問題。
如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。