byzer-lang

byzer-lang copied to clipboard

[refactorory] include 的实现参考Maven

1

Sprint 04-22 的目标是出一个重构的 BIP，不要求代码产出

chncaesar

Output 关键词识别区分

3

Lindsaylin

support ranger

1

spark 有第三方的支持ranger的插件做权限控制 ，byzer 是否能复用这部分能力，做数据权限的控制

lordk911

用户在load 语句中使用了 json 字符串作为 where 条件。 此时会报错：  原因在于：  在 load/train/run 语法中，目前默认都是打开该选项的，也就是会对每个 where 语句中的 kv中的v 进行 dynamicly evaluate expression, 也就是满足分支语法的条件表达式。但实际上大部分 数据源和 ET 扩展都不需要开启该功能。并且如果默认针对每个数据源开启，也会存在一些冲突。只有数据源/扩展的开发者显示的申明支持 DynamicEvaluation 我们才应该开启。

allwefantasy

load kafka.`` options kafka.bootstrap.servers="ip:9092" and subscribe="test-topic-006" and startingOffset=''' {"test-topic-006":{"0":10,"1":20,"2":3}} ''' as newkafkatable1;

anan0120

MLSQLRest's code only runs in Driver, and executors stay idle. If users run Byzer-lang on K8S/Yarn/Standalone mode, processing power is limited to Driver. We should refactor code in `load` and...

chncaesar

根据https://zhuanlan.zhihu.com/p/491545059 文章，展示了当前关于 Byzer lang 的变量作用域，目前对于 变量的级别分为两种： - perRequestSession - perUserSession PerRequest 的 session 在一次性脚本执行完就销毁，session 中的临时变量不会被重复使用。而对于 perUserSession 级别的变量和临时表，则是和 UserSession 的声明周期绑定，对于一个用户来讲，如果有多个变量，会在不同的脚本或项目之间无法隔离（尤其是针对上层应用产品，比如 notebook，这里需要在 perRequestSession 和 perUserSession 中间找到一个中间的隔离级别，比如 perUserNamespace， 这样对于一个用户来讲，可以将根据不同的脚本或项目划分到不同的 namespace， namespace 之间的变量是相互隔离的

ZhengshuaiPENG

目前有些算法支持 predict 语法，有些不支持，需要做一些整理： - 对算法进行分类，对需要做predict 支持的进行梳理 - 整理出应该支持但实际上没有支持的算法，后续进行 fix

ZhengshuaiPENG

集成 Jacoco 和 sonar

1

- 目前没有代码检查和 UT 的覆盖率监检测，因此需要进行控制 - 参考 Byzer Notebook

wangcheng15

[byzer-python] Logs in python are not visible in `yarn` mode

1

## Logs in python are not visible in yarn mode Registering the Ray prediction service, logs can be printed normally in `select` query `local` mode, but cannot be displayed in...

hellozepp