tou>

AI и язык

Chertma

Печатаешь ASCII — получаешь правильную узбекскую новую латиницу: ş ç ö ğ. Офлайн. Под ним открытый лексикон на 28 млн строк.

4.89Mсловоформ, открыто

Задача

Узбекская новая латиница (ş ç ö ğ) на обычной клавиатуре — мучение. Люди пропускают знаки. Поиск ломается. Клавиатуры делают вид, что язык — это ASCII.

Ограничение

Вошло с клавиатуры — вышло со знаками. Без установки, без аккаунта, работает в авиарежиме.

Что вышло

Конвертер, Telegram-бот и датасет: 4,89 млн словоформ, 23,2 млн биграмм, скелет-индекс для неразличимых на клавиатуре форм. CC BY 4.0. Датасет кормит инструмент.

Самое сложное

Формы, неразличимые на клавиатуре. Продукт — это скелет-индекс. Бот только дверь.

Vanilla JSTelegram botHugging Face