[Umbrella #268] Assistant: の後と stop_sequences をカスタマイズする機能

[kazuhitogo]

https://docs.google.com/presentation/d/1zxkSI7lLUBrZycA-_znwqu8DDyVhHLkQGScvzaZrUns/edit#slide=id.g28c5d1d047d_0_165 のテクニックで、例えば JSON 文字列を出力させたい場合は prompt の最後を、

…

Assistant: {

とすると、JSON 文字列だけを出力しやすくなる。併せて、stop_sequences に } を入れられればそこで出力が止められ、システムに組み込みやすくなるのと、出力トークンの削減になる。

システムプロンプト同様、カスタマイズできるようにし、それぞれの usecases にも取り込みたい。

[kazuhitogo]

#268 に対する手段の一つ