neavo
neavo
Still unable to identify the root cause of the issue, but a "silly" solution has been found. I observed that when FA2 is enabled and causes abnormal GPU memory usage,...
> Hello, Thanks for the thorough investigation! Clearing memory should not be required when training, so I think there is indeed a need for a cleaner fix. IIRC, I saw...
Hello everyone, is there anything to update? I eventually completed the training using SDPA [modern_bert_multilingual](https://huggingface.co/neavo/modern_bert_multilingual) but it would be even better if the memory issue on FA2 could be resolved.
很早期的版本是直接剔除纯汉字词的 因为那个时候模型都挺弱智的，术语表基本上只起到一个固定译名的作用 但现在模型的能力要强多了，除了固定译名以外，术语表还起到提供辅助信息辅助翻译的作用 比如最典型的场景：提供性别信息来协助模型确定人称代词 在这种情况下，即使是纯汉字词保留在术语表中也是有意义的，这是目前的思路
这个可以有
已完成 [MANUAL_BUILD_v0.28.2](https://github.com/neavo/LinguaGacha/releases/tag/MANUAL_BUILD_v0.28.2)
> 这项目的管线看起来挺像RAG的，可以在提示词里面也加入GraphRAG一样的示例： https://github.com/microsoft/graphrag/blob/main/graphrag/prompts/index/entity_extraction.py > > 另外，有啥好用的本地LLM推荐的吗？能同时支持中日双语又足够“聪明”的开源模型可不好找。 细分任务和流程确实可以提升最终效果 但是同时也会大幅度增加 时间 与 Token 的消耗，也对模型的能力提出了更高的要求，所以是需要权衡的 项目最近的改进方向正好相反 即在保证效果的前提下，尽可能合并任务，来减少消耗，同时保证本地小模型也能有一个尚可的效果 开发用的就是一键包里面的 Qwen2.5-7B
这个是做不到的，因为每种文本提取器的提取规则不一样 一般来说，文本的提取/注入必须使用相同的工具 所以即使使用 MTool 的文本生成 T++ 项目，实际上绝大部分文本也无法注入生效
The UI library used by LinguaGacha sometimes freezes during shutdown (thereby preventing the system from shutting down) I'll take a closer look when I have time
> 如题。 在MAC Mini部署了大模型，直接本地调用，会比较方便。 mac 可以直接从源码运行，已经有用户实测过了