English version

Easy_sign

Easy_sign - опенсорс проект по распознаванию Русского жестового языка, спроектированный для развёртывания через Streamlit. В проекте используется "лёгкая" ML-модель, способная работать на CPU.

О проекте

Easy_sign использует ML-модель для распознавания отдельных жестов Русского жестового языка. Модель была обучена на ~180 000 примеров жестов. Приблизительно 20 000 из которых были взяты из датасета Slovo. Модель распознаёт 1598 жестов Русского жестового языка и может обеспечить распознавание 3-3.5 жестов в секунду на процессоре Intel(R) Core(TM) i5-6600 CPU @3.30GHz. Список распознаваемых жестов содержится в файле RSL_class_list.txt.

Больше информации о проекте - в статье на habr.

Порядок установки

conda create --name fleury-env python=3.10
conda activate fleury-env
pip install -r requirements.txt

Использование

streamlit run app.py

Ссылки

Команда ПИН-КОД выпустила на базе easy_sign тренажёр для изучения РЖЯ. Статья на хабр, репозиторий

S3D модели, обученные на датасете Slovo для различного количества кадров, подаваемых на вход.

Лицензия

This work is licensed under the Creative Commons Attribution-ShareAlike 4.0 International License.