data-juicer
data-juicer copied to clipboard
以ray模式启动,当内存不足的时候,会溢写到磁盘吗?
Before Asking 在提问之前
-
[x] I have read the README carefully. 我已经仔细阅读了 README 上的操作指引。
-
[x] I have pulled the latest code of main branch to run again and the problem still existed. 我已经拉取了主分支上最新的代码,重新运行之后,问题仍不能解决。
Search before asking 先搜索,再提问
- [x] I have searched the Data-Juicer issues and found no similar questions. 我已经在 issue列表 中搜索但是没有发现类似的问题。
Question
以ray模式启动,当内存不足的时候,会溢写到磁盘吗?我在处理104G数据,内存消耗却达到了500多g
Additional 额外信息
No response
有解决吗,
当前 Ray Object Store 确实支持磁盘映射,但是仅适用于存储于 Object Store 中的数据,如果是 Ray Actor 或 Task 本身超过了内存限制则无法处理,详细情况建议参考 Ray 的官方文档
Close this stale issue.