graphrag icon indicating copy to clipboard operation
graphrag copied to clipboard

[bugfix]Using original string to embedding when quering instead of deliver tokenized list to embedding model.

Open KylinMountain opened this issue 1 year ago • 1 comments

Description

It will deliver tokenized query string to embedding service, which is not accepted sometimes.

{
  "input": [
    67933,
    12774,
    228,
    37687,
    37687,
    37985,
    40862,
    98657,
    52084,
    50285,
    13870,
    118,
    45059,
    10110,
    49,
    1929,
    7705,
    34208,
    85315,
    115,
    40862,
    96511,
    46729,
    10110,
    10754,
    36,
    7705,
    9554,
    98897,
    42052,
    51611,
    11883,
    20119,
    114,
    78935,
    198
  ],
  "model": "text-embedding-ada-002",
  "encoding_format": "base64"
}

Related Issues

[Reference any related issues or tasks that this pull request addresses.]

Proposed Changes

  • decode the token to original string instead of token just like what index do.

Checklist

  • [x] I have tested these changes locally.
  • [x] I have reviewed the code changes.
  • [ ] I have updated the documentation (if necessary).
  • [ ] I have added appropriate unit tests (if applicable).

Additional Notes

[Add any additional notes or context that may be helpful for the reviewer(s).]

KylinMountain avatar Jul 26 '24 11:07 KylinMountain

https://github.com/ValdikSS/GoodbyeDPI/wiki/How-to-make-traffic-dump-with-Wireshark

ValdikSS avatar Aug 01 '24 11:08 ValdikSS

https://github.com/ValdikSS/GoodbyeDPI/wiki/How-to-make-traffic-dump-with-Wireshark

Извините, я встреваю в чужую ветку, но похоже в 0.2.3rc1 отвалилась возможность подключаться к серверам очень многих игр. Не только к тем, на взаимосвязь которых с goodbyedpi тут жалуются.

Сегодня днем сообщали, что к Genshin Impact, а также к Honkai Star Rail и Zenless Zone Zero не получается подключиться. Ошибки там в духе "не получилось получить список серверов", короче говоря пользователи не пробиваются даже до выбора региона Европа/Азия/Америка. При этом если включить goodbyedpi уже после входа на сервер, то проблем нет.

Просто делюсь информацией. Лично от себя добавить ничего не могу, сейчас не до игр.

21387A avatar Aug 01 '24 21:08 21387A

Без дампа трафика невозможно сказать, почему так происходит. Многие игры просто проверяют наличие драйвера WinDivert и отказываются работать, если он присутствует.

ValdikSS avatar Aug 01 '24 21:08 ValdikSS

Согласен с вами. Хотя, на примере вышеописанных игр, версия 0.2.2 осложнений не вызывала, несмотря на WinDivert. Ладно, я надеюсь, у кого сейчас возможность есть - дампы доставят. Прощу прощения за беспокойство еще раз.

21387A avatar Aug 01 '24 21:08 21387A

Zenless Zone Zero

Сервер принимает данные, отправленные опцией --wrong-seq. Либо отключите её, либо используйте blacklist только на определённые сайты.

ValdikSS avatar Aug 02 '24 13:08 ValdikSS

У меня то же перестал работать LoL.... Началось после того как установил GoodbyeDPI как службу. sc stop "GoodbyeDPI" sc delete "GoodbyeDPI" sc stop "WinDivert" sc delete "WinDivert" результатов не принесло.

Сделал дамп трафика lol.zip Помогите разобраться.

TiBiDO avatar Aug 03 '24 09:08 TiBiDO

@TiBiDo Сервер не отвечает на пакеты. Проблем не в программе.

ValdikSS avatar Aug 03 '24 10:08 ValdikSS