generative-ai-use-cases icon indicating copy to clipboard operation
generative-ai-use-cases copied to clipboard

タイトル生成に使用する基盤モデルを別途指定可能とする

Open okamoto-aws opened this issue 1 year ago • 2 comments

現状、タイトル生成に使用する基盤モデルは、modelIdsの最初に記載されているものが使用される。 タイトル生成には軽量なanthropic.claude-instant-v1等が適するため、modelIdsの記載にかかわらずタイトル生成用のモデルを選択できるようにする。 Note: instantは100Kトークンまで対応のため、モデルの入力トークン制限に合わせてプロンプトの量を調節する仕組みが必要?

okamoto-aws avatar Jan 15 '24 21:01 okamoto-aws

Instant V1 のアクティベートが必須になってしまうというのが課題で今の仕様になっています。やるとしたらデフォルトは今の動作で、特別に cdk.json などで指定できるようにする、という仕様でしょうか。

tbrand avatar Jan 16 '24 00:01 tbrand

はい、cdk.jsonに、titlePredictModelIdのようなオプションを用意しておき、デフォルトclaude v2にしておいても問題ないかと思います。

okamoto-aws avatar Jan 16 '24 01:01 okamoto-aws