29 октября 2026 года Hugging Face выложила Mistral Large 4. На Hub её зовут Le Chonk. Для бота или своего API это открытые веса: текст и картинки на вход, текст на выход, окно контекста 1 млн токенов.
В анонсе размер звучит как «около 1 трлн всего и 49 млрд активных». Карточка mistralai/Mistral-Large-4-1T-A52B, на которую пост ссылается, оставляет те же 49 млрд на токен и добавляет 52 млрд вместе с эмбеддингами и выходным слоем. Поэтому в имени репозитория A52B. На этой же карточке API-имя у Mistral записано как mistral-large-4. Учили модель с нуля на 3800 NVIDIA Grace Blackwell, в собственных датацентрах Mistral в Европе. Языков больше 160, среди них все официальные языки ЕС, русский в списке тоже есть.
FP8, NVFP4 и лицензия
Официальных чекпоинта два. FP8 это mistralai/Mistral-Large-4-1T-A52B. NVFP4, с меньшим объёмом памяти, лежит в mistralai/Mistral-Large-4-1T-A52B-NVFP4. Mistral пишет, что по качеству NVFP4 держится рядом с FP8, а формат рассчитан на Blackwell: B200, B300, GB200 и GB300. В чекпоинте уже встроен черновик DSpark, им vLLM ускоряет генерацию.
GGUF собрали Unsloth и команда llama.cpp. Набор команды: ggml-org/Mistral-Large-4-1T-A52B-GGUF, кванты IQ2_XXS, Q2_K, Q4_K_M, NVFP4, Q8_0 и BF16. Отдельные GGUF есть и у Unsloth. Вся пачка собрана в коллекции Mistral Large 4.
Лицензия называется Mistral Ecosystem Open-Weight License. На карточке это изменённый MIT: коммерческое использование тоже разрешено, но сдавать модель как сервис (Model-as-a-Service) можно только по отдельному договору с Mistral. Текст лежит рядом с весами.
Пять экспертов и Pixtral
Текстовый декодер: 72 слоя, скрытый размер 6144, 64 головы внимания. Внимание собрано из MLA и индексатора DeepSeek Sparse Attention. На один запрос индексатор берёт до 2048 позиций ключей, а не весь миллион токенов подряд. Три слоя из четырёх идут с RoPE, каждый четвёртый без позиционного кодирования (NoPE). Состояние KV слои делят между собой.
Первый слой декодера плотный. Остальные 71 это смесь экспертов: softmax-роутер выбирает 4 из 128, и ещё один общий эксперт работает всегда. На токен выходит пять активных. Позиционные частоты докручены LeRope. Это YaRN, у которого на каждую частоту свой выученный множитель.
Картинки смотрит энкодер Pixtral на 1,6 млрд параметров: 30 слоёв, скрытый размер 2048, 16 голов, патч 14 на 14. На выход модель по-прежнему отдаёт текст. Рассуждение в Transformers не отключается. Поле reasoning_effort принимает low, medium и high, по умолчанию high. Если передать none, Hugging Face пишет, что останется high. На карточке для всех трёх уровней советуют temperature 1.0 и top_p 0.95. В ответе API ход рассуждения и видимый текст разведены: рассуждение в reasoning, ответ в content.
Кодинг и кибербез
На 29 октября Hugging Face ставит Le Chonk на пятое место среди открытых весов по индексу Artificial Analysis.
По коду в том же посте: 61,7% на DeepSWE v1.1, 59,4% на SWE-Atlas-QnA и 28,3% на Terminal-Bench 4. Сводный Coding Agent Index 49,8%, выше DeepSeek V4 Pro 0813 и Qwen3.8 Max. На длинных рабочих задачах 59,9% AutomationBench и 1393 Elo на AA-Briefcase.
Кибербез у них отдельная ставка. Тест внутри Artificial Analysis Cyber Index просит воспроизвести настоящую уязвимость в открытом проекте и затем её закрыть. У Large 4 там 82%, Hugging Face называет это лучшим результатом внутри индекса. Несколько закрытых моделей, по словам Mistral в этом посте, набирают около нуля: они отказываются даже начинать. На Cybench модель закрывает 93% из 40 задач с соревнований по безопасности. На бенчмарке Lakera B3 устойчивость к подмене инструкции (prompt injection) составляет 93,3%.
Mistral ставит Large 4 на разбор вредоносного кода, приоритет уязвимостей и черновики правил детекта и пишет, что специально этому её не учили. На промптах JailbreakBench, StrongREJECT и AgentHarm средний отказ выше, чем у других открытых весов. Для защитника это как раз тот случай, когда закрытый API часто режет запрос, похожий на атаку. Агента с шеллом на боевой сайт из-за этих цифр сажать не стоит: чужой репозиторий в бенчмарке и свой прод это разные вещи.
Восемь H200 и один Apple Ultra
Миллион токенов и триллион параметров задают пол по железу. Двухбитные кванты Hugging Face запускала на одном компьютере Apple Silicon Ultra с 512 ГБ общей памяти. Более тяжёлые кванты она относит к распределённому инференсу или нескольким картам NVIDIA и AMD.
На одном M3 Ultra квант Q2_K дал около 90 токенов в секунду на префилле и 15 на генерации. На четырёх RTX 6000 Pro цифры другие. NVFP4 при контексте 32K: префилл от 130 до 590 ток/с, генерация около 10. IQ2_XXS на тех же четырёх картах держит контекст 800K. На коротком контексте префилл около 500 ток/с и генерация 30, на длинном префилл падает до 129, а генерация до 3.
Локально llama.cpp и Llama App модель уже принимают. Сервер с двухбитным квантом стартует так:
llama serve -hf ggml-org/Mistral-Large-4-1T-A52B-GGUF:Q2_K
После старта интерфейс открывается на localhost:9931. Туда можно приложить картинку и сдвинуть уровень рассуждения.
Пример vLLM в том же тексте крутит NVFP4 на Blackwell, с DSpark, tensor parallel и expert parallel. В команде стоит --max-model-len 131072, то есть контекст рецепта короче полного окна весов. На Inference Endpoints готовый вариант ещё конкретнее: восемь NVIDIA H200, веса FP8, тот же vLLM и черновик DSpark. Контекст до 131 тысячи токенов и до 16 запросов сразу.
Один запрос на таком эндпоинте: около 0,6 секунды до первого токена на промпте в 1K и примерно 65 ток/с генерации. На чатовых промптах, где черновики DSpark принимаются, скорость доходит до 120-138 ток/с. Четыре промпта по 16K префиллят суммарно около 4300 ток/с, до первого токена 8-9 секунд. На тысяче диалогов ShareGPT суммарная генерация около 480 ток/с. Поднять рецепт можно так:
hf endpoints catalog deploy --repo mistralai/Mistral-Large-4-1T-A52B --name mistral-large-4
У эндпоинта в том же API есть вызов инструментов, строгий JSON, картинки на вход и поток ответа. reasoning_effort снова low, medium или high. Дообучение с первого дня подключено в TRL: пример LoRA рассчитан на FP8 и узел из восьми B300. У Dell короткий путь через CLI dell-ai, в примере NVFP4 ставится на четыре GPU узла B300. Страница рецепта: Dell Enterprise Hub.
Для чужого API имя mistral-large-4. Свои веса в рецепте Hugging Face встают на восемь H200, с контекстом до 131 тысячи, хотя у самих весов окно на миллион. Двухбитный GGUF они показали на одном Apple Ultra с 512 ГБ.
