melin

Results 162 comments of melin

您好,你们 k8s 集群跑 spark 任务,有选用Graviton 芯片机型吗? 总体成本是否有下降? 有这方面经验可以分享吗?

看到你资料,我们还是大学校友。:)

> [@melin](https://github.com/melin) 额这么巧的吗?你安建大的? 是的,安建大。

你好,你以前 部署 eks + kanpenter,是基于 cloudformation 部署的吗? 是否有相关模板?

![Image](https://github.com/user-attachments/assets/1a60b9cf-e508-4355-a427-5e8eca757487) ![Image](https://github.com/user-attachments/assets/52b514fa-db13-4793-80c5-dd1b1c407a33) 一站式数据平台,支持hadoop,云原生架构,支持spark和flink,各种OLAP,非常轻量化,平台不依赖太多外部组件。如果有机会可以合作。 平台数据集成引擎:https://github.com/melin/datatunnel。

spark 升级到spark 3.5,是为更好的兼容性。

> Are there any required features in spark 3.5 version? 有计划发布新版本支持spark 3.5? @gnehil @JNSimba

unitycatalog is an Apache license. Why can unitycatalog be used? https://github.com/unitycatalog/unitycatalog/?tab=Apache-2.0-1-ov-file#readme

Can eclipse collection be removed? > Calcite is referenced by arrow jdbc. Since arrow jdbc is not used yet, the related dependency will be removed in the next version.