gigachain icon indicating copy to clipboard operation
gigachain copied to clipboard

DOC: Пример с суммаризацией книги не работает без streaming=True

Open e41q opened this issue 6 months ago • 1 comments

Контрольный список

  • [X] Добавлен исчерпывающий заголовок.
  • [X] Приложена ссылка на страницу, на которой обнаружена проблема (если применимо).

Проблема с существующей документацией:

https://github.com/ai-forever/gigachain/blob/master/hub/prompts/summarize/map_reduce/summarize_examples.ipynb

Запрос на доработку:

Пытался воспроизвести пример summarize_examples.ipynb

Создавал объект модели так

giga = GigaChat(
    credentials="MjM4Y...ZiMQ==",
    model="GigaChat-Pro",
    )

И на шаге

res = chain.invoke({"input_documents": documents})

Получал результат

Giga generation stopped with reason: blacklist
Giga generation stopped with reason: blacklist
Giga generation stopped with reason: blacklist
Giga generation stopped with reason: blacklist

Чтобы результат был нормальным, надо создавать объект чата с аргументом streaming=True

giga = GigaChat(
    credentials="MjM4Y...ZiMQ==",
    model="GigaChat-Pro",
    streaming=True
    )

Тогда шаг проходит нормально.

e41q avatar Aug 05 '24 15:08 e41q