append-only

Add sync data for to_global function

2

为to_global function添加sync_data参数，在python端调用时可指定参数sync_data为true or false, 默认值为true。相应的, local_to_global function添加sync_data参数。修改对应的docstr文档。

对照oneflow的这个pr: https://github.com/Oneflow-Inc/oneflow/pull/10430 在libai的 get_batch中的to_global添加对应的check_meta与sync_data参数

主要修改: 1. 在src/cypher/arithmetic/arithmetic_expression 中实现point(), linestring()等空间数据创建相关函数; 2. 在cypher/procedure中实现distance等空间数据查询相关函数 3. 在test_cypher中添加相关测试样例; TODO: 1. 增添相关测试样例;(spatial function的spatial类型) 2. 添加更多空间数据查询函数，如disjoint等。 3. 在python端添加空间计算函数测试。

### **需求描述** - 在cypher层面支持date与datetime的大小比较。 ### **Brief Description** - support comparision between date and datetime at the cypher level

支持spatial类型的导入导出，在完成spatial index后开始实现。

[QUESTION] why the time of one iter in nsys longer than that in the ouput log?

1

I want to compare the speed of training llama2-7b between libai(https://github.com/Oneflow-Inc/libai) and Megatron-LM in NVIDIA A800-SXM4-80G. But I find the time of one iter in nsys is longer than the...

modify clip_grad with no to_global

23

去掉clip_grad 范数计算中的第一个to_global, 以减少在tensor parallel情况下不必要的 all gather

Support to consolidate and reshard xls fsdp checkpoints offline. ToDO: 1. The time test of 70b model.

support save&load of fsdp_optim_state

1

What this pr do: 1. suport flatten(including padding before shard) and unflatten full_optim_state_dic save and load and test with ut. 2. support save and load of shard_optim_state_dict. TODO: 1. test...