内存占用不释放

[BugChang]

这是我的docker-compose配置，我在启动docker时内存占用只有几兆，但当有下载任务的时候，内存直接就有多少吃多少，我虚拟机8G内存直接占满了，当没有下载任务的时候内存仍然不释放，一直保持高占用，无奈限制了2G内存，只有我自己是这样么

version: '3.9'

services:
  aria2-pro:
    image: p3terx/aria2-pro
    deploy:
      resources:
        limits:
          memory: 2048M
    container_name: aria2-pro
    restart: unless-stopped
    ports:
      - 6800:6800
      - 6888:6888
    environment:
      - PUID=0
      - PGID=0
      - RPC_SECRET=xxx
      - RPC_PORT=6800
      - LISTEN_PORT=6888
    volumes:
      - /root/aria2/config:/config
      - /mnt/appdata/nextcloud/admin/files/下载:/downloads
  ariang:
    image: p3terx/ariang
    container_name: ariang
    restart: unless-stopped
    ports:
      - 6880:6880