fluid icon indicating copy to clipboard operation
fluid copied to clipboard

[FEATURES] Multiple datasets correspond to an Alluxio Runtime cluster

Open allenhaozi opened this issue 2 years ago • 2 comments

What feature you'd like to add:

When creating a new dataset, you can select the corresponding Alluxio Runtime cluster. For example, bind to an existing cluster

Why is this feature needed: We know there is a cost to pulling up a cluster, especially the time cost

【20220312】Alluxio Office Hour

6. 用 fluid 创建的每个 dataset 都必须同步创建一组 alluxio runtime 吗,runtime 里 mater,worker 和 fuse 的数量关系是怎样的,有什么要求吗

allenhaozi avatar Mar 14 '22 06:03 allenhaozi

May I know where's the time cost from? Do you mean pulling docker image? If so, how about updating the mount points?

cheyang avatar Mar 14 '22 11:03 cheyang

我们遇到同样的问题 目前产品设计是一个namespace一个alluxioruntime 对应一个dataset 这样我们如果dataset中mount了不同的s3 数据源 这样我在进行挂载时,不同的pod能访问到不同的s3数据源,这样对我们来说是不安全,也是不合理的. 咱们产品的namespace会比较多,如果每个数据源都起一个alluxio,会导致资源浪费、overhead也比较大 所以咱们是否能支持多个dataset对应一个runtime,这样也可以使用到不同s3 相同数据cache

uniqueni avatar Mar 14 '22 12:03 uniqueni