aws-ml-jp icon indicating copy to clipboard operation
aws-ml-jp copied to clipboard

add LLM training scripts

Open maekawataiki opened this issue 2 years ago • 1 comments

Issue #, if available:

Description of changes: 大規模言語モデルの分散学習での Pre-training、Fine-tuning、Instruction-tuning のサンプルを追加。

By submitting this pull request, I confirm that you can use, modify, copy, and redistribute this contribution, under the terms of your choice.

maekawataiki avatar Jul 30 '23 04:07 maekawataiki

コードの配置場所ですが、サンプルの内容が明確になるようフォルダ名を training から distributed-training にしていただくことはできるでしょうか ?

  • Notebook で実行する形式と思いますが、各 Notebook の正常終了を確認していたら PR にその旨の記載をお願いいたします。
  • amazon-sagemaker-examples からの移植と思いますので、元の実装にアップデートがあれば反映をお願いします ( マージが遅れて済みませぬ )

本 PR とは別ですが、 Continuous Pretraining については今実装例がないので、 text-to-text/instruction-tuning と並列のフォルダで text-to-text/continuous-pretraining のフォルダを作りたいところです。

icoxfog417 avatar Nov 02 '23 09:11 icoxfog417