see2023

Is there a plan for support vector similarity queries?

8

I used isar in my [app](https://github.com/see2023/see_me_now) and he did a great job. Now I'm trying to add something like autogpt, you know it can't easily run directly in flutter. But...

微调后执行autoawq量化出错

1

微调参考的是 https://qwen.readthedocs.io/zh-cn/latest/training/SFT/example.html 使用jsonl格式。 ``` Qwen1.5/examples/sft/finetune.sh --use_lora True --deepspeed ds_config_zero2.json ``` 量化参考的是https://qwen.readthedocs.io/zh-cn/latest/quantization/awq.html 量化时AutoAWQForCausalLM的model加载提示没有 config.json，用AutoModelForCausalLM的config保存： ``` config = model.config config.save_pretrained(model_path) ``` 再执行: ``` from awq import AutoAWQForCausalLM from transformers import AutoTokenizer quant_config...

* 已测试： * [GPT-SoVITS 表情测试](https://www.bilibili.com/video/BV1GD42177B9/) * 暂时使用的方法是从Bert-VITS2-ext里直接把后验部分以及表情生成部分模型复制到GPT-SoVITS里测试。 * 这会导致一次重复的计算，以及更多的预测偏差 * 需要在GPT-SoVITS项目内从头训练，并从隐变量直接生成表情