aws-ml-jp
aws-ml-jp copied to clipboard
add LLM training scripts
Issue #, if available:
Description of changes: 大規模言語モデルの分散学習での Pre-training、Fine-tuning、Instruction-tuning のサンプルを追加。
By submitting this pull request, I confirm that you can use, modify, copy, and redistribute this contribution, under the terms of your choice.
コードの配置場所ですが、サンプルの内容が明確になるようフォルダ名を training から distributed-training にしていただくことはできるでしょうか ?
- Notebook で実行する形式と思いますが、各 Notebook の正常終了を確認していたら PR にその旨の記載をお願いいたします。
- amazon-sagemaker-examples からの移植と思いますので、元の実装にアップデートがあれば反映をお願いします ( マージが遅れて済みませぬ )
本 PR とは別ですが、 Continuous Pretraining については今実装例がないので、 text-to-text/instruction-tuning と並列のフォルダで text-to-text/continuous-pretraining のフォルダを作りたいところです。