llm-lora-classification

llm-lora-classification copied to clipboard

@hppRC 素晴らしいリポジトリを公開して頂きありがとうございます。 色々なLLMで実験をしており、非常に勉強になっています。 Expeiment.evaluate() での loss の計算が適正ではないように思いましたので Issue をあげさせて頂きます。 実装では最後のバッチの loss をdataset 数で割っているようですが、total_loss / len(dataloader.dataset) が適切ではないでしょうか。 https://github.com/hppRC/llm-lora-classification/blob/dd233acdcda94e405b9900afa151d55b69412291/src/train.py#L236-L242

u-masao