zhishui3

显存几乎沾满，利用率却很低

2

不管数据量有多大，显存本身24000MB 多 占用了23000MB多(并且这个数量不变)，请问这是怎么回事啊？ 用了各种方式都不管用：1、tf.data.TFRecordDataset.cache()，2、tf.data.TFRecordDataset.shard，3、把tf_record 分成多份读取，4、epoch 和batch_size 分别改成 1和16， 最后只能用 session_config.gpu_options.per_process_gpu_memory_fraction @macanv 求大佬指点！

Multilingual Embeddings - 2. Cross-lingual Sentence Similarity.ipynb questions["tfidf_en_sim"] = [cosine_similarity(q1.reshape(1, -1), q2.reshape(1, -2))[0,0] for q1, q2 in zip(questions1_all_en_tfidf_en, questions2_all_en_tfidf_en)] 22 23 questions["tfidf_enfr_sim"] = [cosine_similarity(q1.reshape(1, -1), q2.reshape(1, -2))[0,0] ~\AppData\Roaming\Python\Python36\site-packages\scipy\sparse\base.py in reshape(self,...

ReadCodes error

2

Loading codes from data/processed/XLM_en_zh/50k/codes ... fast: fastBPE/fastBPE.hpp:458: void fastBPE::readCodes(const char*, std::unordered_map&, std::unordered_map&): Assertion `codes.find(pair) == codes.end()' failed. kev123456 said (https://github.com/glample/fastBPE/issues/7#issue-404186789) Delete extra “o o 0” line in codes files. --...