generative-ai-use-cases
generative-ai-use-cases copied to clipboard
タイトル生成に使用する基盤モデルを別途指定可能とする
現状、タイトル生成に使用する基盤モデルは、modelIdsの最初に記載されているものが使用される。
タイトル生成には軽量なanthropic.claude-instant-v1等が適するため、modelIdsの記載にかかわらずタイトル生成用のモデルを選択できるようにする。
Note: instantは100Kトークンまで対応のため、モデルの入力トークン制限に合わせてプロンプトの量を調節する仕組みが必要?
Instant V1 のアクティベートが必須になってしまうというのが課題で今の仕様になっています。やるとしたらデフォルトは今の動作で、特別に cdk.json などで指定できるようにする、という仕様でしょうか。
はい、cdk.jsonに、titlePredictModelIdのようなオプションを用意しておき、デフォルトclaude v2にしておいても問題ないかと思います。