Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

S3,BT,aria2 能不能不要默认启动, 应该给与配置开关由admin手动按需开启。 #6401

Closed
4 tasks done
gowy222 opened this issue Apr 28, 2024 · 5 comments
Closed
4 tasks done
Labels
enhancement New feature or request

Comments

@gowy222
Copy link

gowy222 commented Apr 28, 2024

Please make sure of the following things

  • I have read the documentation.
  • I'm sure there are no duplicate issues or discussions.
  • I'm sure this feature is not implemented.
  • I'm sure it's a reasonable and popular requirement.

Description of the feature / 需求描述

特别是S3,
集群环境host网络部署, S3会占用默认端口(第一步全新裸部署就占用端口影响其他编排),尤其是BT访问8080冲突!!! 而且用不到的情况,这个开启有点浪费端口...

2024-04-27T20:06:35.071175056Z WARN[2024-04-27 20:06:35] init tool qBittorrent failed: Post "http://localhost:8080/api/v2/auth/login": dial tcp [::1]:8080: connect: connection refused 
WARN[2024-04-27 20:06:35] init tool aria2 failed: failed get aria2 version: Post "http://localhost:6800/jsonrpc": dial tcp [::1]:6800: connect: connection refused 
INFO[2024-04-27 20:06:35] init tool SimpleHttp success: ok             
INFO[2024-04-27 20:06:35] start HTTP server @ 0.0.0.0:5244             
2024-04-27T20:06:35.073028161Z INFO[2024-04-27 20:06:35] start S3 server @ 0.0.0.0:5246   

Suggested solution / 实现思路

No response

Additional context / 附件

No response

@gowy222 gowy222 added the enhancement New feature or request label Apr 28, 2024
@pongfcnkl
Copy link

s3可以换开发版可以关闭

@JsonSong89
Copy link

附议
s3其实算是非常小众的需求了

@gowy222
Copy link
Author

gowy222 commented May 11, 2024

而且S3 将来会给alist带来一个bug,

S3没有真实文件夹一说,都是虚拟映射。
所以,一个文件夹下面可以10w+无限个子文件/文件夹,

而很多网盘是有限制数量的,
比如阿里云盘,一个文件夹下面就限制max文件数(不是1W就是10W)。//当初迁移1T文件的时候特意咨询过阿里云盘那边,

这个就涉及到直接用S3接口上传文件间接到云盘那边报错文件数超限,导致S3上传失败。再考虑下内置轻量db性能,没有缓存的情况下,想拉平S3文件tree结构和各家云盘tree结构,底层过程可能需要很多个分页http请求才能得到目标文件。

如果S3接口限制一个文件夹下面 子文件数量上限,就没意义使用S3接口了..

@itsHenry35
Copy link
Member

首先,针对这个issue,可以close了,在3.34.0的这个commit:#6291 中,已经搞定了

@itsHenry35
Copy link
Member

itsHenry35 commented May 11, 2024

根据这个问题,在如下我作出回答

而且S3 将来会给alist带来一个bug,

S3没有真实文件夹一说,都是虚拟映射。 所以,一个文件夹下面可以10w+无限个子文件/文件夹,

而很多网盘是有限制数量的, 比如阿里云盘,一个文件夹下面就限制max文件数(不是1W就是10W)。//当初迁移1T文件的时候特意咨询过阿里云盘那边,

我知道确实是虚拟路径实现的文件夹,但是实际上只是说响应的时候以虚拟文件夹文件名的映射,在网盘中的储存依然是以你网盘中的路径结构来的,最终反映出来的结果也是网盘的路径结构

这个就涉及到直接用S3接口上传文件间接到云盘那边报错文件数超限,导致S3上传失败。再考虑下内置轻量db性能,没有缓存的情况下,想拉平S3文件tree结构和各家云盘tree结构,底层过程可能需要很多个分页http请求才能得到目标文件。

如果S3接口限制一个文件夹下面 子文件数量上限,就没意义使用S3接口了..

这个问题确实存在,所以以后可以加入文件深度控制来防止无限向下遍历

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
enhancement New feature or request
Projects
None yet
Development

No branches or pull requests

4 participants