CPM-Bee icon indicating copy to clipboard operation
CPM-Bee copied to clipboard

问题:请问cpm-bee中的微调是指finetuning吗?cpm-bee可以进行Prompt enginering吗?(指令微调,或者chain of thoutht微调)

Open summerghw opened this issue 9 months ago • 2 comments

summerghw avatar Sep 18 '23 08:09 summerghw

image 1。这里看到BM体系里是包含finetuning 和prompt的。但是在文档中,只找到了一个微调的段落。请问该微调属于哪一种? image

  1. 请问cpm-bee属于第一种还是第二种模型? image

summerghw avatar Sep 18 '23 08:09 summerghw

  1. 文档里面的全量微调是指图里面的fine tuning,增量微调是指delta tuning
  2. 第一种,但是你的描述不准确,一般来说都是先训练出来基座模型(比如 qwen-base,然后用基座模型SFT出来一个SFT模型(比如 qwen-chat),所以你不应该问CPMBee是哪种模型,而是问开源出来的这个模型参数是哪种模型,答案是基座模型。

EnHuiPug avatar Sep 23 '23 08:09 EnHuiPug