byzer-lang
byzer-lang copied to clipboard
byzer-org
Byzer (former MLSQL): A low-code open-source programming language for data pipeline, analytics and AI.
load statement ``` load excel.`/tmp/upload/example_en.xlsx` where header="true" as example_en_table; ``` Exception: ``` Your InputStream was neither an OLE2 stream, nor an OOXML stream java.io.IOException: Your InputStream was neither an OLE2...
目前 Byzer-lang 对 excel 多sheet页识别有问题，需要能够提供支持。scope 会涉及到 load/save 以及在 load save 操作中碰到的以下问题： 1. 字符集的问题 2. skip first n lines 3. 第一行是否为 header（如果有 skip first n lines，则该参数是在去除 n 行后的首行） 关联issue， 需要同步修复： -...
 如图所示，在通过 xml 数据源关键字进行 LOAD xml 文件时，提示缺少依赖
- 数据结构  - 返回内容 
当前 byzer 在执行 load 语句时，比如 ```sql SET dataPath="/tmp/path" LOAD parquet.`${dataPath}` as tab; ``` 实际这个 `/tmp/path` 并非是绝对路径，而是在 Byzer 存储系统工作目录上的按用户隔离的目录, 真实的路径为 `/${user_name}/tmp/path` , 其中 `${user_name}` 是执行该脚本的用户，是由系统直接进行拼接而成的, 所以在上述示例中 `/tmp/path` 的真实路径其实是 `/${user_name}/tmp/path` 这样带来的问题是 byzer...
目前 Byzer 引擎自带的前端 Web Console 依赖的前端插件被扫描有漏洞，需要统一对依赖版本进行统一升级
在 Byzer All in one 2.3.1 产品包中内置的 OpenJDK 版本为 jdk `1.8.0_262` , 该版本的 jdk 会导致引擎在写文件到存储系统中出现失败，比如 Notebook 中的文件上传会不显示， 需要对该 JDK 进行更新
Sourcecode : `DeltaCommandWrapper`
目前 Byzer 语言没有提供 drop 临时表的方式，而是通过用户 session 过期的方式，将临时表变量清除，但如果某个临时表背后有持久化在用户目录的表，就会残留成相应的文件。 可以给用户提供一个宏命令 `!drop table {table_name}` 的命令，允许用户进行 drop table 的操作： - 如果该 table 有byzer系统内部的持久化存储（内置 delta lake 或 file system），则同步 drop 背后的持久化存储 - 如果该 table 对应的是原始数据源的，比如...
当前在 Byzer lang 的引擎中可以通过网络和离线的方式进行安装插件， 官方文档见 [插件安装](https://docs.byzer.org/#/byzer-lang/zh-cn/extension/README)  但这里有三个问题： 1. 插件库的地址是 hard code 的, 见如下代码： PluginUtils line 39 ``` object PluginUtils extends Logging with WowLog { val TABLE_ETRecord = "__mlsql__.etRecord" val...