alpaca.cpp icon indicating copy to clipboard operation
alpaca.cpp copied to clipboard

Does not perceive other languages

Open WindEger opened this issue 1 year ago • 5 comments

How to change/allow other languages, I write in Russian, but the AI does not understand what I am writing and answers the wrong topic. (I use Windows) Here I wrote hello, and she answers about the symbols. I tried it on versions 7 and 13, nothing changes. What did I do wrong? Скриншот 13-04-2023 124301

WindEger avatar Apr 13 '23 09:04 WindEger

К сожалению ситуацию вообще никак не исправить. Модель обучалась на английском языке, поэтому кроме него она ничего не понимает. И моделей с другими языками в скором времени также думаю ожидать не стоит.

Вы писали, что проверяли на 13b модели, оно работает??? У меня кроме 7b ничего не работало и 13b скачивал штук 4-5 разных, но всегда bad magic. Если у вас работало 13b, можете поделиться ссылкой, пожалуйста?

NeiroNext avatar Apr 13 '23 14:04 NeiroNext

https://btcache.me/torrent/053B3D54D2E77FF020EBDDF51DAD681F2A651071 - 13B Перекинуть в корневую папку Alpaca. Если не сработает пересобери альпаку Батник на рабочем столе создать можно для удобства: (просто 2 строчки в батник скопировать) Bat:

cd C:\Alpaca (или другой путь, где `корневая папка)`
.\Release\chat.exe -m ggml-alpaca-13b-q4.bin

К сожалению, никак не исправить. Модель обучалась на английском языке, поэтому кроме него она ничего не переводит. И модели с другими языками в скором времени также ожидаются не стоит.

Вы писали, что проверяли на модели 13b, оно работает??? У меня кроме 7b ничего не работало и 13b скачивал штук 4-5 разных, но всегда плохая магия. Если у вас работало 13б, можете поделиться, пожалуйста?

WindEger avatar Apr 13 '23 14:04 WindEger

Спасибо! Скачал торрент файл и обнаружил, что эту модель уже скачивал, торрент мне это подсказал. Попробую тогда пересобрать, возможно с последнего раза были какие-то обновы, которые пропустил.

NeiroNext avatar Apr 18 '23 15:04 NeiroNext

К сожалению ситуацию вообще никак не исправить. Модель обучалась на английском языке, поэтому кроме него она ничего не понимает. И моделей с другими языками в скором времени также думаю ожидать не стоит.

That's not true. The model understands Russian language and can produce output in Russian (of very average quality imo). I guess the problem could be in Windows build of the chat application (wrong encoding perhaps).

image

More complicated output examples:

> Расскажи о человеке по имени Христофор Колумб, дай ответ на русском языке.

Христофор Колумб (исп. Cristóbal Colón) — итальянский мореплаватель, который в 1492 году открыл для европейцев Новый Свет, будучи нанятым испанской короной. Он был первым европейцем, кто достиг берегов Америки, хотя предполагается, что до него это сделали норвежские викинги. Колумб был решительным исследователем, который отправился в плавания по собственной воле, несмотря на то, что его идея была подвергнута сомнению ведущими учеными того времени. Он также является автором иллюстрированных рукописей об открытиях, которые помогли ему завоевать признание со стороны королевского двора Испании.

> Розкажи про людину на ім'я Христофор Колумб. Відповідь дай українською мовою.

Христофор Колумб — італійський мореплавець, який увійшов в історію як перший європеєць, що відкрив Америку для Європи. Він був родом з Генуї й мав прізвище Колумб (Cristoforo Colombo), але його звали Христофором, тобто «християнським». У 1492 році завдяки християнському королю Іспанії Фердинанду Арагонському Колумб отримав кошти на будівництво кораблів та команду на захід до Індії. Проте через помилкове твердження про те, що Земля кругова, Колумб виявився в Америці. Замість Індії Колумб відкрив нову землю, яку назвали Новим Світом.

> クリストファー・コロンブスについて教えてください。日本語で答えてください。

クリストファー・コロンブスは、イタリア出身の旅行者、地理学者、海洋家、航海家、貿易家などの多彩性を持った人物であり、1492年に西ヨーロッパから約70万キロメートルの長い旅行をし、新世界を発見し、普天間違いを解消するとしていました。 これが当初の歴史的の事件だったことを認識し、その後は横断越しをしていき、アフリカやインドの植民地など多数の国へ移り、海洋貿易を開始していました。

> บอกฉันเกี่ยวกับชายชื่อคริสโตเฟอร์ โคลัมบัส ตอบเป็นภาษาไทย

Khawp khwam Christopher Columbus, khawp khwam thang phrof khawng klumbas, khaa chaiyai khong yuu hai Thai.


I'm not very good in Japanese language, but it seems to me, the Russian output has much better quality than Japanese one. Thai language output is a disaster. 🤦🏻‍♂️

ArtemKo7v avatar Apr 18 '23 16:04 ArtemKo7v

К сожалению ситуацию вообще никак не исправить. Модель обучалась на английском языке, поэтому кроме него она ничего не понимает. И моделей с другими языками в скором времени также думаю ожидать не стоит.

Это неправда. Модель понимает русский язык и может выдавать выходные данные на русском языке (imo, очень среднего качества). Я предполагаю, что проблема может быть в сборке приложения для чата в Windows (возможно, неправильная кодировка).

изображение

Более сложные примеры вывода:

> Расскажи о человеке по имени Христофор Колумб, дай ответ на русском языке.

Христофор Колумб (исп. Cristóbal Colón) — итальянский мореплаватель, который в 1492 году открыл для европейцев Новый Свет, будучи нанятым испанской короной. Он был первым европейцем, кто достиг берегов Америки, хотя предполагается, что до него это сделали норвежские викинги. Колумб был решительным исследователем, который отправился в плавания по собственной воле, несмотря на то, что его идея была подвергнута сомнению ведущими учеными того времени. Он также является автором иллюстрированных рукописей об открытиях, которые помогли ему завоевать признание со стороны королевского двора Испании.

> Розкажи про людину на ім'я Христофор Колумб. Відповідь дай українською мовою.

Христофор Колумб — італійський мореплавець, який увійшов в історію як перший європеєць, що відкрив Америку для Європи. Він був родом з Генуї й мав прізвище Колумб (Cristoforo Colombo), але його звали Христофором, тобто «християнським». У 1492 році завдяки християнському королю Іспанії Фердинанду Арагонському Колумб отримав кошти на будівництво кораблів та команду на захід до Індії. Проте через помилкове твердження про те, що Земля кругова, Колумб виявився в Америці. Замість Індії Колумб відкрив нову землю, яку назвали Новим Світом.

> クリストファー・コロンブスについて教えてください。日本語で答えてください。

クリストファー・コロンブスは、イタリア出身の旅行者、地理学者、海洋家、航海家、貿易家などの多彩性を持った人物であり、1492年に西ヨーロッパから約70万キロメートルの長い旅行をし、新世界を発見し、普天間違いを解消するとしていました。 これが当初の歴史的の事件だったことを認識し、その後は横断越しをしていき、アフリカやインドの植民地など多数の国へ移り、海洋貿易を開始していました。

> บอกฉันเกี่ยวกับชายชื่อคริสโตเฟอร์ โคลัมบัส ตอบเป็นภาษาไทย

Хауп хвам христофор колумб, хауп хвам тханг фроф хаунг клумбас, каа чайяй хонг юу хай тай.

Я не очень силен в японском языке, но мне кажется, русский вывод намного качественнее японского. Вывод на тайском языке - это катастрофа. 🤦🏻‍♂️

Did u use original model? If u used other model, leave a link, please.

pettamancer avatar Apr 24 '24 14:04 pettamancer