maiquanshen

No conversion is registered for the model configuration Blip2Config

2

hi, is the current version not supporting the blip2 model? Do you have plans to support it ？

ch_PP-OCRv3_rec_slim_infer int8量化问题

6

python3.7 tools/save_quant_model.py --quant_model_path=./ch_PP-OCRv3_rec_slim_infer --quant_model_filename=inference.pdmodel --quant_params_filename=inference.pdiparams --int8_model_save_path=./ch_PP-OCRv3_rec_slim_infer/int8 --- Fused 0 subgraphs into layer_norm op. --- fused 0 pairs of fc lstm patterns --- fused 0 pairs of fc gru patterns ---...

请问embedding之后的向量数据，是怎么输入到大模型的

1

Kinfey，你好，有几个问题想请教一下你的： 1、请问embedding之后的向量数据，是怎么输入到大模型的？ 2、openai chatGPT是如何实现上下文内容关联的？也是讲上文的文本使用embedding向量化之后输入如到GPT4？ 3、chatGPT对话中，如果一次生成的内容超出限制的token数量，我们接着输入“继续“，它会在接着回答，这个功能在调用api接口的方式时改如何实现呢？