李毅

Baichuan2-13B-Chat-4bits 跑不起来

2

你好，我在windows下，使用torch-2.2.2+cu121+python3.10 ，然后安装了requirements.txt的环境，以下为代码： import torch from transformers import AutoModelForCausalLM, AutoTokenizer from transformers.generation.utils import GenerationConfig path="D:/pythonworkspace/MyPET/model/Baichuan2-13B-Chat-4bits/" tokenizer = AutoTokenizer.from_pretrained(path, revision="v2.0", use_fast=False, trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained(path, revision="v2.0", device_map="auto", torch_dtype=torch.bfloat16, trust_remote_code=True) model.generation_config = GenerationConfig.from_pretrained(path,...

否可直接使用bge-m3的dense和sparse用于检索任务

4

您好，请教两个问题： 1.是否可以不微调而直接对文档库使用bge-m3进行embeding,将dense和sparse导入milvus用于检索任务(没有正例和负例样本) 2. 我发现获取的sparse向量的维度是跟句子分词后的长度是对应的（我理解sparse向量类似于词袋模型 ，维度应该是vocab的维度），这就是说不同的句子sparse的维度是不同的?