oneflow
oneflow copied to clipboard
Add LBFGS optimizer
添加LBFGS优化方法 对标torch.optim.LBFGS 目前应用于天枢框架下某力学计算任务,指标基本一致,应该能适用于大部分任务上 不过torch本身对这个算子的实现并不是很好,test_case里面有很多的if_else分支没有跑到
先占坑,算法大体写完了,接口和测试还没有写好,过两天编译过了会陆续上传。实现过程中碰到很多问题,所以开了个issue。
提交了第一部分。 算法内部有个小问题: lbfgs的torch版本里有个to_dense()方法解决稀疏矩阵等问题的,不过这个if分支暂时是应该没有跑到。 oneflow里没有找到类似算子。所以实现过程中直接把这部分注释掉了,不知道会不会在一些特殊任务上报错?