Почему цену русского текста нельзя сравнивать только по миллиону токенов

1 октября 2026 года автор donseo опубликовал на Хабре сравнение токенизации русского и английского текста. Главный полезный вывод не в громком множителе для одной модели: одинаковое число символов разные токенизаторы превращают в разное количество токенов, поэтому одного прайса за миллион токенов для сравнения недостаточно.

В публикации заявлена разница примерно в 3,9 раза между Claude Opus 5 и GPT 5.5 при одинаковой цене токена. Это результат конкретного небольшого замера и его допущений, а не универсальный тариф на русский язык. Сам автор подробно перечисляет ограничения, и при пересказе их нельзя выбрасывать.

Что именно сравнивали

Автор подготовил четыре пары текстов: технический абзац, разговор с поддержкой, деловое уведомление и код с комментариями. В каждой паре русский оригинал сопоставляется с английским переводом того же смысла. Всего получилось около 2500 символов прозы на язык, если не считать код.

Это полезный пробный набор, но не представительная выборка всех русскоязычных задач. Длинные юридические документы, таблицы, смешанный код, имена и разговорная переписка могут дать другое соотношение. Поэтому порядок действий важнее точного переноса коэффициента из таблицы.

Для доступных токенизаторов подсчёт выполнялся локально. Для закрытых моделей автор использовал разницу между двумя API запросами: с короткой постоянной инструкцией и с той же инструкцией плюс измеряемый текст. Так он пытался вычесть одинаковую служебную часть.

Вычитание помогает, если служебная нагрузка действительно остаётся одинаковой. Оно не раскрывает, как устроен посредник и какую модель тот реально вызывает. Для ряда систем автор проверил совпадение с открытым токенизатором, но для всех закрытых моделей такой независимой сверки не было.

Что показывают числа

В авторской таблице для русской прозы у OpenAI o200k получилось примерно четыре символа на токен, у YandexGPT 5 Lite около 5,1, у GigaChat 3 около 4,9. У проверенного Claude Opus 5 значение оказалось около одного символа. Именно этот разрыв лежит за громким сравнением в заголовке исходной статьи.

Отдельная таблица цен построена по медианам предложений посредников на 27 сентября. Это не прямой прайс разработчиков и не цена, которую обязательно получит конкретный пользователь. Автор сам отмечает, что минимум и медиана иногда расходятся очень сильно.

Есть и межмодельные допущения. Для цены GigaChat 2 Max использован токенизатор GigaChat 3, а для Grok 4.6 данные измерения Grok 4.7. Без подтверждения одинакового поведения эти строки остаются приближением. Их нельзя представлять как точную стоимость всех запросов к названным моделям.

Почему usage посредника требует внимания

Во время проверки автор встретил ответы шлюза, где количество токенов для отдельных моделей Claude точно совпадало с подсчётом OpenAI. Он предложил два объяснения: посредник сам пересчитывает токены либо обращается не к заявленной модели. Изнутри проверить это он не мог.

Поэтому публикация не доказывает подмену конкретного поставщика. Она показывает, почему поле usage в ответе посредника не всегда достаточно для вывода о настоящем токенизаторе. Для проверки полезны прямой счётчик разработчика, открытый токенизатор там, где он существует, и сверка биллинга.

Как оценить собственную задачу

Для бюджета лучше взять типичные инструкции, документы, вопросы и ответы своего продукта. Отдельно посчитать вход, выход и кэшируемые части, затем подставить условия выбранного поставщика. Стоимость одной принятой задачи полезнее абстрактной цены миллиона входных токенов.

Особенно важно учитывать долю кода и английских описаний инструментов. Запрос из большой JSON схемы и одной русской фразы отличается от страницы сплошной русской прозы. Перевод служебной части тоже нужно проверять по качеству результата, а не считать бесплатной оптимизацией по определению.

Замер с Хабра хорош как повод провести собственную проверку. Он не даёт основания обещать каждому русскоязычному проекту экономию ровно в 3,9 раза. Сначала нужно установить, что именно считает поставщик и сколько токенов занимает ваша реальная работа.

Другие составляющие стоимости и надёжности разобраны в статье о работе с GPT 6.

Источники и ссылки


Комментарии загружаются…