Agent-FLAN

Agent-FLAN copied to clipboard

zy20031230

模型推理代码

4

您好，想求一份Agent-flan的推理代码！ p.s 貌似模型中没有定义template中的special tokens比如这种，ി\n，不清楚推理中具体是怎么处理的。 以及template中好像没有定义Function的。

xinyiqin

文中提到 为了解决幻觉问题，构建了一些负样本。请问训练的时候这些负样本 的loss。是如何设计呢？

yanzia12138

想请教一些关于训练的事情

9

1. 文章中说"对于Agent-FLAN实验，我们遵循AgentTuning中的做法，将ShareGPT和Agent语料库以1:1的混合比例混合进行训练。"  我注意到你们给出了数据集，想请教一下你们数据量和配比是什么呢？（包括flan版本和你们复现的agenttuning版本）（shareGPT应该就90000多条吧，你们是把这几个怎么混合（or过采样）到一样的呢？） 2.想在了解一下超参数的问题，因为我看agenttuning有一些非常奇怪的超参数，您这里是直接使用deepspeed默认的超参数吗？（for example 10%的warmup，最大token是2048还是4096之类的）

Fu-Dayuan

怎么获得Agent-H？

1

yansonglee

请问会开源训练代码吗

3

请问会开放训练代码吗，会支持基于书生20B的模型完成训练，并且在langent中上线使用嘛？

aidejieceng

HuggingFace -> Hugging Face

eltociear

Share advancements on contribution to the agent research community:)

2

Congratulations on your new interesting work release: "Agent-FLAN: Designing Data and Methods of Effective Agent Tuning for Large Language Models." It's always exciting to see new advancements that contribute to...

jianguoz

Hey, Great observations and work on disentangling the format following from reasoning! Could we share details on evaluation dataset we used and how we can reproduce the result in the...

JasonZhu1313

Paper第6页H_score的公式有问题，应该有一个raw response而不是两个respective format hallucination

1


Lucas-TY