wws
wws
> 可以使用一下加速方式，如https://github.com/huggingface/text-embeddings-inference 有没有办法在tei推理的基础上，完成三路的集成？
获取 reranker 产生的向量，在外部计算score 如何操作？
> > 获取 reranker 产生的向量，在外部计算score 如何操作？ > > reranker不能用于产生向量，其生成的向量没有实际意义。 因为openai并没有提供rerank类似的api，要做兼容，所以需要形式上的统一
> > > 获取 reranker 产生的向量，在外部计算score 如何操作？ > > > > > > reranker不能用于产生向量，其生成的向量没有实际意义。 > > 因为openai并没有提供rerank类似的api，要做兼容，所以需要形式上的统一 以及gpu与cpu分离部署带来的管理便利，考虑到这两项，需要外部计算rerank分数。
Efficient Batching 在m3 的pretrain 中有脚本吗？类似https://github.com/FlagOpen/FlagEmbedding/blob/master/FlagEmbedding/BGE_M3/split_data_by_length.py 这样的脚本
candle not support 120
4 month passed ，blackwell not work
My 5090 is rusty because it has been waiting for too long.
wait for Support News