fluid
fluid copied to clipboard
[FEATURES] Multiple datasets correspond to an Alluxio Runtime cluster
What feature you'd like to add:
When creating a new dataset, you can select the corresponding Alluxio Runtime cluster. For example, bind to an existing cluster
Why is this feature needed: We know there is a cost to pulling up a cluster, especially the time cost
6. 用 fluid 创建的每个 dataset 都必须同步创建一组 alluxio runtime 吗,runtime 里 mater,worker 和 fuse 的数量关系是怎样的,有什么要求吗
May I know where's the time cost from? Do you mean pulling docker image? If so, how about updating the mount points?
我们遇到同样的问题 目前产品设计是一个namespace一个alluxioruntime 对应一个dataset 这样我们如果dataset中mount了不同的s3 数据源 这样我在进行挂载时,不同的pod能访问到不同的s3数据源,这样对我们来说是不安全,也是不合理的. 咱们产品的namespace会比较多,如果每个数据源都起一个alluxio,会导致资源浪费、overhead也比较大 所以咱们是否能支持多个dataset对应一个runtime,这样也可以使用到不同s3 相同数据cache