Настройки cookie

Выберите, что разрешить. Необходимое сайт сохраняет всегда. Остальное выключено, пока вы это не включите.

Выбор

ИИ-чат-бот на армянском: что он понимает и где ошибается

  • 5 ноября 2026 г.
  • 5 мин
  • Арутюн Элибекян

ИИ-чат-бот читает и пишет по-армянски, но качество зависит от модели, и по общим рейтингам его не угадать. В армянском бенчмарке 2026 года Gemini 3 Flash набрала на армянских задачах больше, чем Gemini 3 Pro; авторы озаглавили вывод «Better Globally ≠ Better for Armenian», то есть сильнее в целом не значит сильнее по-армянски. Поэтому бота проверяют на ваших вопросах до запуска, в разных видах армянского, и только потом показывают клиентам.

Что известно о качестве армянского у моделей?

Данных мало, и я назову всё, что нашёл. Первый источник: ArmBench-LLM 1.0 лаборатории Metric AI Lab, запись в блоге Hugging Face от 2 апреля 2026 года. В набор входят классификация текстов, вопросы с выбором ответа, исправление грамматики, резюмирование, перевод, понимание прочитанного, переведённые вопросы MMLU-Pro, а также задачи по армянской истории и литературе. Лучший средний балл 0,6350 у Gemini 3 Flash, среди других названных в записи результатов самый низкий 0,5767. Это не оценка чат-ботов в переписке, а средний результат по задачам. Независимой проверки этого бенчмарка я не нашёл, авторы сами предупреждают, что единый простой запрос мог занизить результат небольших моделей.

Второй источник: справка Anthropic о многоязычности. Армянского в её таблице нет, там 15 языков из набора Global-MMLU на 42 языка. При этом справка пишет, что модель умеет больше языков, чем в таблице, и советует проверять на тех, что нужны вам. Вывод для заказчика один: публичной цифры «насколько бот хорош по-армянски» для вашей модели у вас, скорее всего, нет, и её придётся получить самому.

Какой армянский напишут ваши клиенты?

Не один. Бот должен справляться хотя бы с четырьмя видами письма, и в каждом он ошибается по-своему.

Вид письмаЧто известноЧто проверить
Восточный армянский, армянские буквыНа нём говорят в основном в Армении. Реформированное правописание ввели в Советской Армении в 1922–1924 годахОтвечает ли бот в той же орфографии, пишет ли знак драма ֏, не ломает ли числа
Западный армянский, классическая орфографияИсходно на нём говорили в основном на территории нынешней Турции, после геноцида говорят в диаспоре. Классическое правописание сохранили западные армяне и армяне Ирана. Википедия пишет, что языки понятны друг другу после существенной практикиНе путает ли бот формы: клиент из диаспоры может написать иначе
Армянский латинскими буквамиВикипедия: неофициальные способы ввода только латиницей «не соответствуют никакому утверждённому международному или армянскому стандарту». Одну букву пишут по-разному: например, Թ как t’Понимает ли бот смысл и на каком языке отвечает
Смесь с русским или английскимЭто случай для проверкиНе теряет ли бот вопрос, если половина слов на другом языке

Как бот выбирает язык ответа?

Сам, по сообщению клиента, если вы ничего не задали. Справка Anthropic пишет, что модель определяет язык по ходу разговора, а для рабочего приложения язык ответа лучше указать явно в системной инструкции. Там же совет подавать текст в родном письме, а не в транслитерации. На подсказку от Telegram рассчитывать не стоит: в Bot API у пользователя есть необязательное поле с языковым тегом, а у самого сообщения поля языка нет.

Практически это значит, что правило нужно написать самим: отвечать на языке последнего сообщения, а если письмо латиницей и смысл неясен, спросить, на каком языке удобнее.

Как проверить бота до запуска?

Возьмите 30 настоящих вопросов из вашей переписки в Telegram, WhatsApp или Viber. Каждый напишите по-армянски, по-русски и латиницей. Ответы должен прочитать человек, который читает по-армянски.

Что проверяетеКак выглядит провал
Язык ответаВы спросили по-армянски, бот ответил по-русски
Факты вашего бизнесаЦена, график или адрес отличаются от ваших данных или придуманы
НезнаниеВместо «не знаю, позову человека» бот сочиняет ответ
ЛатиницаБот не понял вопрос или ответил на другом языке
ПисьмоСломаны орфография, знак ֏ или числа

Если по любой строке таблицы бот ошибся больше чем в двух вопросах из тридцати, сначала меняют инструкцию и данные, потом модель, и только после этого запускают. Порог в два вопроса это моя рабочая договорённость, а не стандарт.

Что я делаю и сколько это стоит

Чат-бот и ИИ-автоматизацию я начинаю с оценки: на неё уходит 1–2 недели, затем идёт пробный запуск на ваших данных. Язык ответов, армянский, русский или английский, выбираем заранее и проверяем на ваших вопросах до запуска. Простой чат-бот или автоматизация стоят от 130 000 ֏, сложные задачи считаю после оценки. Экономию заранее не обещаю: до запуска мы договариваемся, по какому признаку считаем его удачным, например по доле ответов, которые бот даёт без человека.

Я на этом зарабатываю. Если вопросов у клиентов мало и они повторяются, кнопки мессенджера на сайте хватит; как выбрать канал, написано в статье про WhatsApp, Viber и Telegram. Бот нужен, когда одни и те же вопросы приходят каждый день.

Источники

Услуги по теме

  • ИИ-автоматизация

    Рутину берут на себя программы: отчёты собираются, данные переносятся сами, на типовые вопросы отвечает ИИ-ассистент.

Давайте поговорим

Готовы обсудить проект?

Позвоните, напишите или отправьте короткий бриф. Мы предложим следующий шаг, а после первого разговора подготовим письменную оценку.

Или свяжитесь с нами напрямую

  • Быстрый ответ на заявку или звонок
  • Языки армянский, русский, английский
  • Письменная оценка после первого разговора

Анимация выключена по настройкам вашей системы.