問題1：CUDA_ERROR_OUT_OF_MEMORY: How to activate multiple GPUs from Keras in Tensorflow

import keras.backend as Kconfig = K.tf.ConfigProto() config.gpu_options.allow_growth = True session = K.tf.Session(config=config)

讀作者的code就能了解數(shù)據(jù)的格式了。
在process_data.py檔案裡。

稍微解釋一下。

###原始數(shù)據(jù)###
老 B-PER
王 I-PER
很 O
喜 O
歡 O
中 B-LOC
國 I-LOC
妹 O
子 O

###要丟進LSTM的數(shù)據(jù)###
X_train應該是長這樣[0, 1, 15, 24, 65, 102, 103, 54, 63]之類的，這裡代表每個字的index。
y_train應該是長這樣 [1, 2, 0, 0, 0, 3, 4, 0, 0]之類的，代表對應到的字的NE。
最後再把每個句子做個padding就能丟進LSTM了。

至於怎麼轉換成數(shù)據(jù)序列的，就請您自行研究研究process_data.py唄！

?
配置顯存
https://www.jianshu.com/p/99fca5b7fd8a

==================================
使用預訓練詞向量
=================================

Keras 模型中使用預訓練的詞向量

Word2vec，為一群用來產(chǎn)生詞嵌入的相關模型。這些模型為淺而雙層的神經(jīng)網(wǎng)絡，用來訓練以重新建構語言學之詞文本。網(wǎng)絡以詞表現(xiàn)，并且需猜測相鄰位置的輸入詞，在word2vec中詞袋模型假設下，詞的順序是不重要的。訓練完成之后，word2vec模型可用來映射每個詞到一個向量，可用來表示詞對詞之間的關系。該向量為神經(jīng)網(wǎng)絡之隱藏層。
https://zh.wikipedia.org/wiki/Word2vec

在這篇?在Keras模型中使用預訓練的詞向量?講述了如何利用預先訓練好的 GloVe 模型，本文基本大同小異。只寫一些不同的地方，更想的可以看這篇文章。

總體思路就是給?Embedding?層提供一個?[ word_token : word_vector]?的詞典來初始化向量，并且標記為不可訓練。

解析 word2vec 模型，其中：

• word2idx?保存詞語和 token 的對應關系，語料庫 tokenize 時候需要。
• embeddings_matrix?存儲所有 word2vec 中所有向量的數(shù)組，用于初始化模型?Embedding?層

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

import numpy as np from gensim.models import Word2Vec model = Word2Vec.load(model_path) word2idx = {"_PAD": 0} # 初始化 `[word : token]` 字典，后期 tokenize 語料庫就是用該詞典。 vocab_list = [(k, model.wv[k]) for k, v in model.wv.vocab.items()] # 存儲所有 word2vec 中所有向量的數(shù)組，留意其中多一位，詞向量全為 0， 用于 padding embeddings_matrix = np.zeros((len(model.wv.vocab.items()) + 1, model.vector_size)) for i in range(len(vocab_list)): word = vocab_list[i][0] word2idx[word] = i + 1 embeddings_matrix[i + 1] = vocab_list[i][1]

使用方法：

1 2 3 4 5 6 7 8

from keras.layers import Embedding EMBEDDING_DIM = 100 #詞向量維度 embedding_layer = Embedding(len(embeddings_matrix), EMBEDDING_DIM, weights=[embeddings_matrix] trainable=False)

?

轉載于:https://www.cnblogs.com/yjybupt/p/10333831.html

總結

以上是生活随笔為你收集整理的BI-LSTM and CRF using Keras的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。