starkgao

'InternLMTokenizer' object has no attribute 'sp_model' 这个问题后来解决了，根据模型的config安装对应的transformers版本 但是新的问题出现了找不到对应优化器 ValueError: paged_adamw_32bit is not a valid OptimizerNames, please select one of ['adamw_hf', 'adamw_torch', 'adamw_torch_fused', 'adamw_torch_xla', 'adamw_apex_fused', 'adafactor', 'adamw_bnb_8bit', 'adamw_anyprecision', 'sgd', 'adagrad']