在讀取https://github.com/Embedding/Chinese-Word-Vectors中的中文詞向量時，選擇了一個有3G多的txt文件，之前在做詞向量時用的是word2vec，所以直接導入模型然后indexword即可。

因為這是一個txt大文件，嘗試了DataFrame，np.loadtxt等，都沒有成功，其中主要遇到的問題是：

如何讀取完整的大文件，而不會出現內存不足memery error等問題

將讀取出來的文件，保存為npy文件

根據詞找到對應的向量

解決辦法：

嘗試使用的代碼：

代碼1:

try:

lines=np.loadtxt(filepath)

catch:

感覺這塊不會寫了咦，，，

print(ValueError)

但這樣的話，它就不會繼續循環去讀上邊的txt了呢

代碼2：

lines=[]

with open(filepath) as f:

for line in f:

lines.append()

np.save(filepath,lines)

代碼3

def readEmbedFile(embedFile):

# embedId = {}

# input = open(embedFile,'r',encoding="utf-8")

# lines = []

# a=0

# for line in input:

# lines.append(line)

# a=a+1

# print(a)

# nwords = len(lines) - 1

# splits = lines[1].strip().split(' ') # 因為第一行是統計信息，所以用第二行

# dim = len(splits) - 1

# embeddings=[]

# # embeddings = [[0 for col in range(dim)] for row in range(nwords)]

# b=0

# for lineId in range(len(lines)):

# b=b+1

# print(b)

# splits = lines[lineId].split(' ')

# if len(splits) > 2:

# # embedId賦值

# embedId[splits[0]] = lineId

# # embeddings賦值

# emb = [float(splits[i]) for i in range(1, 300)]

# embeddings.append(emb)

# return embedId, embeddings

代碼4：

def load_txt(filename):

lines=[]

vec_dict={}

with open(filename,r) as f:

for line in f:

list=line.strip()

lines.append(line)

for i, line in emuate(lines):

if i=0:

continue

line=line.split(" ")

wordID=line[0]

wordvec=[float line[i] for i in range(1,300)]

vec_dict[wordId]=np.array(wordvec)

return vec_dict

具體內存不足主要的原因是：

我的虛擬機中確實內存不太夠，后來使用實驗室32G的主機后，可以得到idvec，而得不到向量的，報的錯還是memory error.

另一個原因，是需要把詞向量轉換為float形式，在python中str 占的內存>float類型，如代碼所示：

print("str",sys.getsizeof(""))

print("float",sys.getsizeof(1.1))

print("int",sys.getsizeof(1))

print("list",sys.getsizeof([]))

print("tuple",sys.getsizeof(()))

print("dic",sys.getsizeof([]))

str 49

float 24

int 28

list 64

tuple 48

dic 64

在我的電腦，64位操作系統，64位的python, 所占內存大小排序為：

dic=list>str>tuple>int>float

讀取時候可以用np.load().item就可以復原原來的字典，主要參照下述文件：

https://www.sogou.com/link?url=DOb0bgH2eKh1ibpaMGjuy0bRPfNjeyc9FrxJzwU1-HIm3Pojx-sH_K8z0b4lhih2oEAZ19hjAo8.

然后通過python的字典操作就可以遍歷得到每個詞的詞向量了，dic[vocab]

心得：

距離完全解決項目的問題還有5~6的大關卡,但靜下心來，一步步地做總會突破的呀！

原文：https://blog.csdn.net/weixin_38527856/article/details/90704116

版權聲明：本文為博主原創文章，轉載請附上博文鏈接！

總結

以上是生活随笔為你收集整理的python读取大文件的坑_python读取大文件踩过的坑——读取txt文件词向量的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。