nlp-pang

> 好的，谢谢，那能适配分布式训练吗，在分布式训练的基础上会有速度的提升吗

好的，谢谢！ 发自我的iPhone ------------------ 原始邮件 ------------------ 发件人: Random ***@***.***> 发送时间: 2022年8月11日 14:27 收件人: NetEase-FuXi/EET ***@***.***> 抄送: nlp-pang ***@***.***>, Author ***@***.***> 主题: Re: [NetEase-FuXi/EET] 请问能在megatron基础上使用吗 (Issue #9)

好的，谢谢。那文档的特征向量是由词向量相加得到的吗？ 发自我的iPhone ------------------ 原始邮件 ------------------ 发件人: Dr. Liang Yao 发送时间: 2019年7月26日 22:54 收件人: yao8839836/text_gcn 抄送: pangsg , Mention 主题: 回复：[yao8839836/text_gcn] 特征矩阵X以及最后的分类问题 (#49) @pangsg 也可以对词按照文档分类分类，但词都没有label，所以像文中表3那样定性展示，不能定量评价。 — You are receiving this because...

嗯嗯，谢谢！如果有问题就再给您留言，再次感谢！ 发自我的iPhone ------------------ 原始邮件 ------------------ 发件人: Dr. Liang Yao 发送时间: 2019年7月27日 00:13 收件人: yao8839836/text_gcn 抄送: pangsg , Mention 主题: 回复：[yao8839836/text_gcn] 特征矩阵X以及最后的分类问题 (#49) 不是简单相加，每个节点的向量都是由它自身和它的二阶邻居加权求和得到，二阶邻居包括直接相连的节点和与直接相连的节点相连的其他节点。 ---原始邮件--- 发件人: "pangsg" 发送时间: 2019年7月26日(星期五) 上午10:04 收件人:...

好的谢谢，assign_pos_是老版本的方法，昨天我fix了 ---Original--- From: "La Eako ***@***.***> Date: Sun, Feb 18, 2024 11:02 AM To: ***@***.***>; Cc: ***@***.******@***.***>; Subject: Re: [laekov/fastmoe] [BUG] AttributeError: module 'fmoe_cuda' has noattribute 'assign_pos_' (Issue #195) fmoe_cuda...

好的谢谢，我也是这个思路，正常尝试进行集成 ---原始邮件--- 发件人: "La Eako ***@***.***> 发送时间: 2024年2月4日(周日) 下午3:26 收件人: ***@***.***>; 抄送: ***@***.******@***.***>; 主题: Re: [laekov/fastmoe] 请问fastmoe能被集成到VLLM里吗 (Issue #191) FastMoE 的单卡版本或多卡并行版本并不涉及对 kv-cache 进行变动. 理论上和 page attention 是正交关系. 可以一起用. — Reply...

定义MOE的时候，需要显式的self.moe().cuda()这样去把fastmoe layer放到GPU上吗

谢谢！之前已经得到你们的邮件回复！

thanks a lot

yes, please contact me by e-mail