loss の計算方法：loss -> total_loss ??

[u-masao]

@hppRC

素晴らしいリポジトリを公開して頂きありがとうございます。 色々なLLMで実験をしており、非常に勉強になっています。

Expeiment.evaluate() での loss の計算が適正ではないように思いましたので Issue をあげさせて頂きます。

実装では最後のバッチの loss をdataset 数で割っているようですが、total_loss / len(dataloader.dataset) が適切ではないでしょうか。

https://github.com/hppRC/llm-lora-classification/blob/dd233acdcda94e405b9900afa151d55b69412291/src/train.py#L236-L242