文件复制时存在很大的内存占用
Please make sure of the following things
-
[X] I have read the documentation. 我已经阅读了文档。
-
[X] I'm sure there are no duplicate issues or discussions. 我确定没有重复的issue或讨论。
-
[X] I'm sure it's due to
AListand not something else(such as Network ,DependenciesorOperational). 我确定是AList的问题,而不是其他原因(例如网络,依赖或操作)。 -
[X] I'm sure this issue is not fixed in the latest version. 我确定这个问题在最新版本中没有被修复。
AList Version / AList 版本
v3.34.0
Driver used / 使用的存储驱动
ALIST V3
Describe the bug / 问题描述
从本地存储复制一个5GB左右的文件到另一个 ALIST V3 时出现高内存占用 heap.zip
Reproduction / 复现链接
无
Config / 配置
无
Logs / 日志
No response
Thanks for opening your first issue here! Be sure to follow the issue template!
占用内存是正常的情况,不然如何复制到另一个存储呢。
是否可以对其进行限制,或者文件流的形式进行上传,以降低大文件对内存的占用?
主机的内存被耗尽,然后alist 会重启导致复制任务中断
heap_4.zip
重启后任务都没有了,也没有失败的记录
当然可以通过docker对内存进行限制,但仍会导致重启。增加 Swap 内存后可以避免。
resty似乎也有讨论 https://github.com/go-resty/resty/issues/309
同时复制文件数量设置的少一点
同时复制文件数量设置的少一点
这个和文件数量应该无关,是因为使用的 resty 在请求时会一次性读取全部的文件到内存,导致内存的大量占用所引起的。 目前有一个解决方法,只需要挂载为 webdav 就可以解决这个问题。
This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your contributions.
Hello @, this issue was closed due to inactive more than 52 days. You can reopen or recreate it if you think it should continue. Thank you for your contributions again.