Jeffrey(Xilang) Yan

roger that! leesf ***@***.***> 于2022年11月10日周四 07:40写道： > @yantzu hi, thanks for merging the PR. Please > use squash and merge button to merge the commits in the future to keep...

@tprelle could you attach the screen capture of UI ,both before and after your change

Retrigger the test.

We haven't tried Spark 3.3 yet, but Spark 3.2 should work. The log show error happens in Spark's code /pyspark.zip/pyspark/find_spark_home.py which seems not related to Livy, 2 suggestion: 1, set...

你设置了SPARK_HOME就不会执行find_spark_home.py了，所以可以工作，Spark3最好用python 3 cocdkl ***@***.***> 于2023年5月22日周一 08:51写道： > 感谢您抽出时间帮我解答问题 > 我在 livy-env.sh中进行了如下配置 > SPARK_HOME=/home/cocdkl/soft/spark-3.2.4-bin-hadoop2.7 > SPARK_CONF_DIR=/home/cocdkl/soft/spark-3.2.4-bin-hadoop2.7/conf > > 并且通过python -V 得到的版本为 2.7.16 > > 我尝试过通过spar直接执行 pyspark命令，可以正常操作。 > > 我写改过 /pyspark.zip/pyspark/find_spark_home.py >...

对Spark3.2的支持我我们没改过代码，就是支持的。 你设置的环境变量里很多都是Livy不需要的吧，我不确定有没有影响，你可以本地debug一下livy，看看Livy里的Spark启动类（ *SparkProcessBuilder或者**ContextLaunche*r）在提交任务的时候环境变量对不对。 cocdkl ***@***.***> 于2023年5月29日周一 09:59写道： > 或者您有编译好的可以支持spark3.2的livy吗，可以提供一下或者更新一下官网下载包吗？我看官网还是0.7.1。 > > — > Reply to this email directly, view it on GitHub > , > or unsubscribe > > ....

debug就是正常的java程序debug。 livy代码里对scala 2.11和scala2.12分别有支持，需要兼容的地方有两个maven模块 cocdkl ***@***.***> 于2023年6月4日周日 08:40写道： > 首先感谢您的回答。 > 然后是通过源码查看还是在哪里配置debug选项？ > > 最后，您说没有修改代码，那您的pom有修改吗？我看默认的pom是配置的是spark2.4.5和Scala2.11。您能否分享一下你那边支持spark3.2.0的pom文件？ > > — > Reply to this email directly, view it on GitHub > , >...

在程序直接调用System.exit()退出的时候，会调用metaq注册的shutdownhook，shutdownhook会调用SimpleFetchManager.stopFetchRunner()方法, 这个方法会判断条件this.requestQueue.size() < this.fetchRequestCount， 如果满足就会进入一个循环不停的等待。这个条件的退出，依赖于fetch线程退出，将requestQueue加回，但是此时fetch线程正好执行到代码SelectorManager.awaitReady()方法，SelectorManager此时已经被执行stop(), 所以条件一直被满足，进入一个死循环。结果就是fetch线程不退出，而shutdownhook等待fetch线程退出，jvm等待shutdownhook退出

提交了一个gecko的PR，https://github.com/killme2008/gecko/pull/5