IzumiSunshine

[BUG/Help] <推理时，如何使用数据并行呢？>

3

### Is there an existing issue for this? - [X] I have searched the existing issues ### Current Behavior 求问各路大佬，在做推理时，如何使用数据并行在多张卡上同时进行推理呢（每张卡显存为32G）？ 我尝试了传统模型（BERT）做数据并行的方式，相关代码如下： 然后发现并不能在多卡上放置多个模型备份，且运行时会报错，猜想项目中应该有实现好的关于 “推理数据并行”的函数，不过菜鸡的我还没有找到，希望各路大神指点！！ @cifangyiquan @yfyang86 ```python os.environ['CUDA_VISIBLE_DEVICES'] = args.gpu device...

### Is there an existing issue for this? - [X] I have searched the existing issues ### Current Behavior 求问各路大佬，在做推理时，如何使用数据并行在多张卡上同时进行推理呢（每张卡显存为32G）？ 我尝试了传统模型（BERT）做数据并行的方式，相关代码如下： 然后发现并不能在多卡上放置多个模型备份，且运行时会报错，猜想项目中应该有实现好的关于 “推理数据并行”的函数，不过菜鸡的我还没有找到，希望各路大神指点！！ @cifangyiquan @yfyang86 ```python os.environ['CUDA_VISIBLE_DEVICES'] = args.gpu device...

请问各位大佬以及宝藏博主 ，Win11系统 的搜狗输入法，如何才能开启光标提示功能呢？

求教如何设置 解码方式=贪婪解码（greedy decoding）？

1

问题如上，经查看 /blob/main/modeling_baichuan.py 文件，发现可以为 chat() 方法设置 generation_config 参数来更改解码方式，故有如下实现： `generation_config = { "pad_token_id": 0, "bos_token_id": 1, "eos_token_id": 2, "user_token_id": 195, "assistant_token_id": 196, "max_new_tokens": 2048, "temperature": 0.3, "top_k": 5, "top_p": 0.85, "repetition_penalty": 1.1,...

可以详细介绍下中资料中的面经和工具踩坑的经验吗

2

嘉宁博主您好，我看过您在各大公众号上分享的很多 nlp 领域的知识干货，当前主要对面试经验较感兴趣，想问下您这次整理的面试经验丰富吗，可否更加详细地介绍下呢？ 期待您的回复，祝好！

各位大佬好，想问一下 hugnlp 框架对于 NER 任务的使用，在 readme 中看到了结合了 NER 的关系抽取示例，但没有找到仅执行 NER的示例，请问有同学试过吗，或者作者大大可以给一个相关的案例吗？