ThinkingBox проверяет, что ИИ агент изменил в системе, а не что написал в отчёте

3 октября 2026 года Microsoft представила ThinkingBox, набор задач для проверки агентов в моделируемых бизнес-процессах. Главная идея проста: оценивать итоговое состояние системы и побочные изменения, а не уверенность заключительного сообщения.

Агент может правильно вызвать инструмент и всё равно выполнить не то действие. Например, закрыть обращение со статусом «решено», хотя по заданию его нужно было оставить в ожидании. С точки зрения API ошибок нет, но задача провалена. Именно такие случаи ThinkingBox делает видимыми.

Что находится внутри

Набор содержит 507 синтетических задач из пяти областей: розничной торговли, автострахования, путешествий, необанка и консалтинга. Для каждой предусмотрено 20 независимых попыток с чистым исходным состоянием. Поэтому результат не зависит от изменений, оставшихся после предыдущего запуска.

В 477 задачах проверяется только состояние внутренней системы. Ещё 30 используют дополнительную бинарную оценку ответа. Это не тест на красоту объяснения: критично, правильно ли изменились записи и не затронуты ли лишние данные.

Инструменты доступны через изолированную среду, а условия итоговой оценки не показываются агенту. Так авторы отделяют выполнение рабочего поручения от угадывания проверочного шаблона. При этом синтетическая среда всё равно остаётся моделью бизнеса, а не полным воспроизведением настоящей компании.

Одна удача и двадцать удач подряд

В результатах есть несколько разных показателей. Pass@1 отражает среднюю успешность отдельной попытки. Pass@20 показывает, удалось ли решить задачу хотя бы один раз из двадцати. Отдельно приводится число задач, на которых успешными оказались все двадцать запусков.

Последний показатель особенно важен для регулярной работы. Помощник, который справился один раз, может быть полезен в эксперименте. Но от помощника, ежедневно меняющего клиентские записи, обычно ждут повторяемости. Эти ожидания нельзя выразить только лучшим из многих запусков.

Показательный пример из публикации касается Kimi K3. Хотя бы одна удача была на 476 из 507 задач, то есть 93,89%. Все двадцать попыток оказались успешными только на 68 задачах, или 13,41%. Это не противоречие, а два разных взгляда на надёжность.

У Opus 5 и Opus 5.5 число задач с двадцатью успехами одинаково: 241 из 507, или 47,53%. Само наблюдение «20 из 20» также не гарантирует безошибочность всех будущих запусков. Оно описывает именно проведённую серию испытаний.

Ошибка часто выглядит как обычное завершение

В отдельном анализе 121 680 валидных запусков авторы получили 79 853 неудачи. У 67,24% таких неудач не было финальной ошибки инструмента, агент изменил состояние и штатно закончил работу. То есть журнал без красного сообщения ещё не подтверждает правильность результата.

Среди причин разбираются неверно заполненные поля, лишние действия и пропущенные изменения. Проценты этих групп пересекаются: одна неудачная попытка может содержать несколько дефектов. Складывать их как независимые доли нельзя.

Для внедрения это очень практическое наблюдение. Проверять только успешный HTTP ответ недостаточно. Нужны проверки нужных полей, запретных изменений и сохранности соседних данных. Чем больше прав у агента, тем важнее видеть не только желаемый эффект, но и то, чего он не должен был делать.

Как читать таблицу моделей

В основной таблице публикации сравниваются 18 моделей. У Opus 5.5 Pass@1 составляет 67,16%, у Opus 5 66,50%, у GPT 5.4 65,36%. Это результаты конкретного набора, его инструментов и условий, а не универсальная оценка всех помощников для бизнеса.

ThinkingBox полезен прежде всего способом постановки вопроса. Не «написал ли агент убедительный ответ», а «стало ли состояние системы именно таким, каким его просили сделать». Для реальных внедрений эта разница часто важнее небольшого преимущества одной строки в рейтинге.

Дополняют эту тему генерация задач AutoSynthData и проверка происхождения утверждений в ProvenanceGuard.

Источники и ссылки


Комментарии загружаются…