Cocoa

用作者的模型在360万数据集的测试集的36万多张图片上测试，val accuracy只有78.4%

7

由于作者的代码train和validation是在一起的，我把validation的部分提出来单独用作者训练好的模型对360万数据集的36万多张图片做validation，但是效果并不好,val accuracy只有78.4%  作者说的验证准确率可以finetune到97.7%是指我需要在mixed_second_finetune_acc97p7.pth模型的基础行再进行finetune才能val accuracy才能从78.4%变成97.7%么？ 或者是我validation出了问题？ ``` from __future__ import print_function from torch.utils.data import DataLoader import argparse import random import torch import torch.backends.cudnn as cudnn import torch.optim as optim import...

is it possible that I implement this method using Keras?

1

I cannot use pytorch to do my research for some reason., so I'm trying to "translate" the code to keras form. Now I've completed the dataloader (data generator in Keras)...

训练时报错 tensorflow.python.framework.errors_impl.InvalidArgumentError: Labels length is zero in batch 8 [[{{node ctc/CTCLoss}}]] 发现batchsize设置很小的时候（比如说2）可以正常运行，但是batchsize设置为32，64或者更大的时候就会报这个错，图片和label都能对上，有时可以正常跑完一个epoch但是第二个epoch报这个错...卡了几天了，我的label_length都是10没有是0的情况...求大神指点

两张v100部署失败

2

本人环境 两张v100（32G*2） cuda11.0 pytorch版本 1.7.1 由于pytorch版本比较低，无法支持量化版本，所以选择部署fnlp/moss-moon-003-sft这个模型，但是fp16精度会报以下错 `File "/root/anaconda3/envs/mossgpu/lib/python3.8/site-packages/torch/tensor.py", line 547, in __rpow__ return torch.tensor(other, dtype=dtype, device=self.device) ** self RuntimeError: "pow" not implemented for 'Half'` 所以只好改成 ` raw_model = MossForCausalLM._from_config(config, torch_dtype=torch.float32)...