nl2sql icon indicating copy to clipboard operation
nl2sql copied to clipboard

关于结果问题

Open mikezhang95 opened this issue 6 years ago • 18 comments

跑出的结果比较差, 想问一下作者的比赛成绩是只用了这一个模型么?模型的参数和脚本里的相同么?

mikezhang95 avatar Oct 24 '19 11:10 mikezhang95

你好,你的代码里使用的pytorch_model.bin怎么获取的?

zyc1310517843 avatar Nov 01 '19 03:11 zyc1310517843

https://github.com/ymcui/Chinese-BERT-wwm

这里可以下模型

mikezhang95 avatar Nov 03 '19 16:11 mikezhang95

https://github.com/ymcui/Chinese-BERT-wwm 这里可以下模型

建议你使用哈工大的BERT预训练模型

zyc1310517843 avatar Nov 04 '19 02:11 zyc1310517843

非常感谢,我在验证集的exec accuracy在89%左右

mikezhang95 avatar Nov 04 '19 15:11 mikezhang95

非常感谢,我在验证集的exec accura我有训练集数据,没有验证集,可以提供一下吗?顺便问一下你有该代码的ppt演讲稿吗?

zyc1310517843 avatar Nov 05 '19 01:11 zyc1310517843

https://github.com/ymcui/Chinese-BERT-wwm 这里可以下模型

我有两个问题,一是下载下来的BERT模型如何转换成pytorch_model.bin,二是你用的哪个框架的,torch tf?

zyc1310517843 avatar Nov 05 '19 01:11 zyc1310517843

网站上有pytorch版本的模型,可以直接下载

mikezhang95 avatar Nov 08 '19 05:11 mikezhang95

你好,我的一直[Errno 2] No such file or directory: './log/error_cases.json'这个错误,但是我已经在log下面新建了这个文件,但是还是有这个错误,可以请教一下是为什么嘛,您是否也遇到了?

karong0818 avatar Apr 28 '20 16:04 karong0818

路径问题,换个路径改改代码试试

---原始邮件--- 发件人: "karong0818"<[email protected]> 发送时间: 2020年4月29日(周三) 凌晨0:05 收件人: "eguilg/nl2sql"<[email protected]>; 抄送: "Comment"<[email protected]>;"暗夜猎手"<[email protected]>; 主题: Re: [eguilg/nl2sql] 关于结果问题 (#7)

你好,我的一直[Errno 2] No such file or directory: './log/error_cases.json'这个错误,但是我已经在log下面新建了这个文件,但是还是有这个错误,可以请教一下是为什么嘛,您是否也遇到了?

— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.

zyc1310517843 avatar Apr 28 '20 22:04 zyc1310517843

路径问题,换个路径改改代码试试 ---原始邮件--- 发件人: "karong0818"<[email protected]> 发送时间: 2020年4月29日(周三) 凌晨0:05 收件人: "eguilg/nl2sql"<[email protected]>; 抄送: "Comment"<[email protected]>;"暗夜猎手"<[email protected]>; 主题: Re: [eguilg/nl2sql] 关于结果问题 (#7) 你好,我的一直[Errno 2] No such file or directory: './log/error_cases.json'这个错误,但是我已经在log下面新建了这个文件,但是还是有这个错误,可以请教一下是为什么嘛,您是否也遇到了? — You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe

路径问题,换个路径改改代码试试 ---原始邮件--- 发件人: "karong0818"<[email protected]> 发送时间: 2020年4月29日(周三) 凌晨0:05 收件人: "eguilg/nl2sql"<[email protected]>; 抄送: "Comment"<[email protected]>;"暗夜猎手"<[email protected]>; 主题: Re: [eguilg/nl2sql] 关于结果问题 (#7) 你好,我的一直[Errno 2] No such file or directory: './log/error_cases.json'这个错误,但是我已经在log下面新建了这个文件,但是还是有这个错误,可以请教一下是为什么嘛,您是否也遇到了? — You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.

好的 谢谢

karong0818 avatar Apr 29 '20 06:04 karong0818

非常感谢,我在验证集的exec accuracy在89%左右

@mikezhang95 , hi,你好,请问大佬,你的exec accuracy 89% 是怎么训练得到的?我用这份代码和数据训练的loss>16, exec accuracy接近0,请问你有遇到这样的情况吗?

shufan007 avatar Feb 14 '23 09:02 shufan007

时间有点久远,具体怎么实现的我忘记了。可以换换预训练模型,检查一下训练数据看看

mikezhang95 avatar Feb 14 '23 10:02 mikezhang95

时间有点久远,具体怎么实现的我忘记了。可以换换预训练模型,检查一下训练数据看看

预训练模型也换了,训练数据查看也没看出有什么问题,结果还是一样,你当时有做了什么印象深刻的改动吗?

shufan007 avatar Feb 14 '23 11:02 shufan007

不好意思不太记得了,但是我当时一开始exec acc也不是0,就是没达到很高。如果是0的话可能还是数据读入哪里有问题

mikezhang95 avatar Feb 14 '23 12:02 mikezhang95

不好意思不太记得了,但是我当时一开始exec acc也不是0,就是没达到很高。如果是0的话可能还是数据读入哪里有问题

训练了20个epoch,exec acc只有0.004,Sel-Num 准确率比较大

511| Sel-Num: 0.994, Sel-Col: 0.131, Sel-Agg: 0.380, W-Num: 0.965, W-Col: 0.095, W-Op: 0.036, W-Val: 0.042, W-Rel: 0.965 512| Train loss = 16.388 513| Dev Logic Form Accuracy: 0.000, Execution Accuracy: 0.004 514| Best Logic Form: 0.000 at epoch 1 515| Best Execution: 0.004 at epoch 3 516| Best Mean: 0.002 at epoch 3

shufan007 avatar Feb 14 '23 14:02 shufan007

不好意思不太记得了,但是我当时一开始exec acc也不是0,就是没达到很高。如果是0的话可能还是数据读入哪里有问题

训练了20个epoch,exec acc只有0.004,Sel-Num 准确率比较大

511| Sel-Num: 0.994, Sel-Col: 0.131, Sel-Agg: 0.380, W-Num: 0.965, W-Col: 0.095, W-Op: 0.036, W-Val: 0.042, W-Rel: 0.965 512| Train loss = 16.388 513| Dev Logic Form Accuracy: 0.000, Execution Accuracy: 0.004 514| Best Logic Form: 0.000 at epoch 1 515| Best Execution: 0.004 at epoch 3 516| Best Mean: 0.002 at epoch 3

你好,我也遇到了这个问题,请问您现在解决了嘛

longborn avatar Apr 23 '23 10:04 longborn

您好 我也是这个问题,请问解决了吗? @shufan007

shuoshuo0 avatar Jul 04 '23 03:07 shuoshuo0

您好,我遇到一些问题,是否可以交流一下? @mikezhang95 可以加我微信嘛?15531294696

shuoshuo0 avatar Jul 06 '23 01:07 shuoshuo0