XiXiTan

Results 4 comments of XiXiTan

写alluxio的客户端有增加如下配置,也同样报错 // 设置RPC重试参数 properties.set(PropertyKey.USER_RPC_RETRY_BASE_SLEEP_MS, "30000ms"); properties.set(PropertyKey.USER_RPC_RETRY_MAX_SLEEP_MS, "2min"); properties.set(PropertyKey.USER_RPC_RETRY_MAX_DURATION, "5min");

> 写alluxio的客户端有增加如下配置,也同样报错 // 设置RPC重试参数 properties.set(PropertyKey.USER_RPC_RETRY_BASE_SLEEP_MS, "30000ms"); properties.set(PropertyKey.USER_RPC_RETRY_MAX_SLEEP_MS, "2min"); properties.set(PropertyKey.USER_RPC_RETRY_MAX_DURATION, "5min"); ### 写alluxio代码, 配置相关 ` AlluxioProperties properties = new AlluxioProperties(); //将master节点设置成当前你alluxio服务器的IP地址或hostname properties.set(PropertyKey.MASTER_HOSTNAME, this.masterHost); properties.set(PropertyKey.MASTER_RPC_PORT, this.masterPort); //操作alluxio集群的用户名,一般为运行alluxio-start.sh命令的用户 properties.set(PropertyKey.SECURITY_LOGIN_USERNAME, "alluxio"); // 设置RPC重试参数 properties.set(PropertyKey.USER_RPC_RETRY_BASE_SLEEP_MS,...

请问目前alluxio 2901的设计,是只要worker 进程挂了,读写alluxio的作业就会失败。没有考虑故障转移,也就是把问题的worker的任务,转移到正常的worker继续提供服务么?

另一个小问题: 如果worker缓存设置为512M,实际会使用1024M。这超过了缓存设置512,和woker缓存使用预期不符。 MEM HDD capacity 30.50GB 512.00MB 30.00GB used 4083.94MB (13%) 1024.00MB 3059.94MB 源码中只看到对于未设定缓存时的默认值,会取系统获取2/3内存或者给1g。没有看到对于指定缓存时,会取其他值的逻辑。 ` public static final PropertyKey WORKER_RAMDISK_SIZE = dataSizeBuilder(Name.WORKER_RAMDISK_SIZE) .setAlias(Name.WORKER_MEMORY_SIZE) .setDefaultSupplier(() -> { try { OperatingSystemMXBean operatingSystemMXBean...