iamhere
内存问题
您好，请问下en_onto5的实验大概需要多少内存？ 我申请了80G内存，还是内存不够正常吗？ 报错信息： 
您好，请教下，这行代码的意思是什么？max_tokens_for_doc这个变量已经减去过 len(query_tokens)了 https://github.com/ShannonAI/mrc-for-flat-nested-ner/blob/master/data_loader/mrc_utils.py#L146 另外，https://github.com/ShannonAI/mrc-for-flat-nested-ner/blob/master/data_loader/mrc_utils.py#L187 这行代码中的input_mask.append(1) 作用是什么？ 后面直接有语句input_mask = [1] * len(input_tokens)，好像input_mask.append(1) 没起作用？
Hi, Thanks for your great work! I encounter a "file not found" error when I run the program with the following command: sh text2video_tts_chinese.sh "正在为您查询合肥的天气情况。今天是2020年2月24日，合肥市今天多云，最低温度9摄氏度，最高温度15摄氏度，微风。" xuesong m I find the...
机器配置：32G GPU 实验步骤： 1. 将这里 (https://github.com/ymcui/Chinese-LLaMA-Alpaca#%E6%A8%A1%E5%9E%8B%E4%B8%8B%E8%BD%BD) Chinese-Alpaca-Plus-7B 模型和原版LLaMA进行合并，得到一个新的模型new_chinese； 2. 使用本项目说明文档提到的方法 （https://github.com/tpoisonooo/llama.onnx），将new_chinese模型转为onnx模型 new_chinese_onnx； 3. 使用本项目说明文档提到的方法 （https://github.com/tpoisonooo/llama.onnx），将new_chinese_onnx模型转化为精度是fp16的模型new_chinese_onnx_fp16； 4. 运行python3 demo_llama.py， 使用GPU：模型加载完毕之前，程序会因显存不足报错； 使用CPU，能加载成功 问题： 在转onnx之前，模型可以被加载到显存并成功执行inference; 转onnx之后，无论是否继续转为精度fp16的模型，都因显存不足而报错。 请问，对于当前的32G显存gpu, 有什么方法，可以使用转化后的onnx模型来做预测吗？