alist
alist copied to clipboard
alist-org
S3,BT,aria2 能不能不要默认启动, 应该给与配置开关由admin手动按需开启。
Please make sure of the following things
- [X] I have read the documentation.
- [X] I'm sure there are no duplicate issues or discussions.
- [X] I'm sure this feature is not implemented.
- [X] I'm sure it's a reasonable and popular requirement.
Description of the feature / 需求描述
特别是S3， 集群环境host网络部署, S3会占用默认端口(第一步全新裸部署就占用端口影响其他编排)，尤其是BT访问8080冲突!!! 而且用不到的情况，这个开启有点浪费端口...
2024-04-27T20:06:35.071175056Z WARN[2024-04-27 20:06:35] init tool qBittorrent failed: Post "http://localhost:8080/api/v2/auth/login": dial tcp [::1]:8080: connect: connection refused
WARN[2024-04-27 20:06:35] init tool aria2 failed: failed get aria2 version: Post "http://localhost:6800/jsonrpc": dial tcp [::1]:6800: connect: connection refused
INFO[2024-04-27 20:06:35] init tool SimpleHttp success: ok
INFO[2024-04-27 20:06:35] start HTTP server @ 0.0.0.0:5244
2024-04-27T20:06:35.073028161Z INFO[2024-04-27 20:06:35] start S3 server @ 0.0.0.0:5246
Suggested solution / 实现思路
No response
Additional context / 附件
No response
而且S3 将来会给alist带来一个bug,
S3没有真实文件夹一说，都是虚拟映射。 所以，一个文件夹下面可以10w+无限个子文件/文件夹，
而很多网盘是有限制数量的， 比如阿里云盘，一个文件夹下面就限制max文件数(不是1W就是10W)。//当初迁移1T文件的时候特意咨询过阿里云盘那边,
这个就涉及到直接用S3接口上传文件间接到云盘那边报错文件数超限，导致S3上传失败。再考虑下内置轻量db性能，没有缓存的情况下，想拉平S3文件tree结构和各家云盘tree结构，底层过程可能需要很多个分页http请求才能得到目标文件。
如果S3接口限制一个文件夹下面 子文件数量上限，就没意义使用S3接口了..
首先，针对这个issue，可以close了，在3.34.0的这个commit：https://github.com/alist-org/alist/pull/6291 中，已经搞定了
根据这个问题，在如下我作出回答
而且S3 将来会给alist带来一个bug,
S3没有真实文件夹一说，都是虚拟映射。 所以，一个文件夹下面可以10w+无限个子文件/文件夹，
而很多网盘是有限制数量的， 比如阿里云盘，一个文件夹下面就限制max文件数(不是1W就是10W)。//当初迁移1T文件的时候特意咨询过阿里云盘那边,
我知道确实是虚拟路径实现的文件夹，但是实际上只是说响应的时候以虚拟文件夹文件名的映射，在网盘中的储存依然是以你网盘中的路径结构来的，最终反映出来的结果也是网盘的路径结构
这个就涉及到直接用S3接口上传文件间接到云盘那边报错文件数超限，导致S3上传失败。再考虑下内置轻量db性能，没有缓存的情况下，想拉平S3文件tree结构和各家云盘tree结构，底层过程可能需要很多个分页http请求才能得到目标文件。
如果S3接口限制一个文件夹下面 子文件数量上限，就没意义使用S3接口了..
这个问题确实存在，所以以后可以加入文件深度控制来防止无限向下遍历