dengxiaotian123

python 2 和3 都可以，TensorFlow我用的1.13 和1.10 都可以

Hello ,I want to know which tensorflow version is

> I also got this problem. How to solve this? 因为编码问题，utils/cnews_loader.py python2中不能直接支持中文编码 所以必须要用utf-8格式，所以用codes将文件读成以及写入都搞成utf-8格式 例如categories = ['体育', '财经', '房产', '家居', '教育', '科技', '时尚', '时政', '游戏', '娱乐'] categories = [categorie.decode('utf-8') for categorie...

I want to know which tensorflow version

请问怎么解决的，我和你遇到一样的问题

> 试着调整 **encoder_vocab_size**, **decoder_vocab_size**这两个参数 self.encoder_vocab_size = data_map.get("Q_vocab_size")是根据词表的个数来的，并非自行设置的，应该是没有错的吧，只要训练step超过100就会报错。训练到101 就会报错

可以弄一点假数据吗，想看一下sample.txt的格式

> [Synonyms] on loading vectors [/home/XXXXX/anaconda3/envs/1.4-tf-gpu/lib/python3.7/site-packages/synonyms/data/words.vector.gz] ... > 这个目录能支持自定义么？ 因为使用docker部署，这个文件需要从外部配置 我觉得你可以在docker 里下载一下，看一下下载的路径，然后在Dockerfile 中，把words.vector.gz cp 过去

https://github.com/gongel/PaddleNLP/blob/e1e2264208a23cd0303395fd57d1831a114afab6/model_zoo/ernie-1.0/preprocess/docs/CLUECorpusSmall.md 这里可以下到，3GB，应该是有一点点区别，但是下载速度很快

model = AutoModelForCausalLM.from_pretrained("../baichuan-inc/baichuan-7B", device_map="auto", torch_dtype=torch.float16, trust_remote_code=True) 这样有效