byzer-lang
byzer-lang copied to clipboard
byzer-org
Byzer (former MLSQL): A low-code open-source programming language for data pipeline, analytics and AI.
Byzer 在文件系统的操作能力比较薄弱，目前仅支持部分命令，诸如 `!fs -ls ` , `!fs mv` 等常见能力。但现实中对文件系统的操作要求是很复杂的。比如这个需求：https://github.com/byzer-org/byzer-lang/issues/1810 或者这个需求：https://zhuanlan.zhihu.com/p/552065988? 当然还有更复杂的需求。 有两个层面解决： 1. 通过 ET 来根据具体需求解决。这个一般适合一些定制化或者非泛化的需求，是个不错的主意。 2. 通过扩展 `!fs` 来解决，可以提供一些特有的选项，为了和以前的做区别，要求第一个参数是 `utils`. 举例： ``` !fs utils rename "/tmp/*.csv" "/tmp/sub" "(\\.csv)$" ".txt";...
# What changes were proposed in this pull request? Test Script: ```sql load delta.`python_data.vega_datasets` as vega; save overwrite vega as csv.`/tmp/vega` where fileNum="4" and header="true"; !fs -rm /tmp/output.csv; -- !fs...
# What changes were proposed in this pull request? #1806 ，实现思路参考 issue 中的描述。[ 插件 PR ](https://github.com/byzer-org/byzer-extension/pull/47/ ) # How was this patch tested? 错误信息配置文件： ```json [ { "regexp": "MLSQL Parser...
## 背景 当前 Byzer 引擎执行脚本时，返回的报错信息大部分都是 stacktrace，可读性很差，用户无法获得具体信息 ## 需求 做一套基于 文本的配置模板的方式，能够让用户定义 key - value，其中 key 可以匹配 api 返回中的error message 的文本，将value中的文件进行替代返回，增强 API 错误信息的可读性 **注意** - 该文本需要在 `byzer.properties` 中可配置，默认为 `$BYZER_HOME/conf/err-msg-template.%{format}`, format 可以在技术实现中定义 -...
# What changes were proposed in this pull request? - [ ] Finshed changes describe # How was this patch tested? - [ ] Testing done # Are there and...
引擎中有些部分的实现利用 print 和 printlin 以及 e.printstacktrace 进行了日志的输出，需要规范的使用 logger 来进行处理。 需要注意 info 和 debug 级别的区别
## 需求 当前 csv 数据源在 load 时不支持跳过首尾行，为了帮助用户处理一些并不是特别标准的 csv 文件时，可以提高加载的效率 需要考虑在 where 语句中，加入如下参数： - `skipFirstNLines`, 值为自然数，注意参数的检查报错 ，加载时跳过首几行 - `skipLastNLines`，值为自然数，注意参数的检查报错， 加载时跳过尾几行 需要注意的是需要同时考虑支持单文件和标准分片文件目录的两种方式。 - 其中目录中为单文件的情况为， notebook 中 csv 上传，然后写 load 语句加载 - 目录中包含多个数据分片文件，一般为...
问题描述 我在使用异步执行run/script接口时，发现callback不支持设置header，而这个header在我的业务中是一个必要操作，否则会导致callback请求失败。 代码实例 添加了一个可选参数callbackHeader，使用方式如下： params.put("callback", config.getNotebookUrl() + "/api/job/callback"); params.put("async", "true"); params.put("callbackHeader", "{\"Authorization\":\"Bear xxxxx\"}");
Code: -- save insights into a new sheet in the original Excel file -- use append mode here to keep the original data select count(*) as order_num from order as...
