metero20000

The attention mask and the pad token id were not set. As a consequence, you may observe unexpected behavior. Please pass your input's `attention_mask` to obtain reliable results. Setting `pad_token_id`...

OOM代码行： JSONReader reader = new JSONReader(bufferedReader); 代码说明： 在Flink中要对一个500M左右的JSON处理，仅仅是打开就OOM，这里不应该消耗大量的缓存。 具体日志： Caused by: java.lang.OutOfMemoryError: Java heap space at java.util.Arrays.copyOf(Arrays.java:3332) at com.alibaba.fastjson2.JSONReaderUTF16.(JSONReaderUTF16.java:111) at com.alibaba.fastjson2.JSONReader.of(JSONReader.java:3506) at com.alibaba.fastjson.JSONReader.(JSONReader.java:22) at com.alibaba.fastjson.JSONReader.(JSONReader.java:17) at org.lxh.JsonFileSource.run(JsonFileSource.java:29)

[BUG] JSONReader OOM

3

### 问题描述 *简要描述您碰到的问题。* JSONReader 在构造时候出现了OOM。 查看代码，内部调用了JSONReaderUTF16。该构造函数中读取了整个文件内容Arrays.copy到内存中，感觉这不是正常的流式数据访问。不清楚 如何正确使用？ ### 环境信息 *请填写以下信息：* - OS信息： [e.g.：CentOS 8.4.2105 4Core 3.10GHz 16 GB] - JDK信息： [e.g.：Openjdk 1.8.0_312] - 版本信息：[e.g.：Fastjson2 2.x.x] ### 重现步骤 *如何操作可以重现该问题：* 1. 使用...

### How are you running AnythingLLM? Docker (local) ### What happened? This is my setting: OLLAMA_HOST = 0.0.0.0 Enable network discovery C:\Users\xiaoh>netstat -ano |findstr 11434 TCP 127.0.0.1:11434 0.0.0.0:0 LISTENING 24448...