ProvenanceGuard проверяет, к тому ли источнику сослался MCP-агент

29 сентября 2026 года Multiverse Computing рассказала о ProvenanceGuard, системе проверки ответов агентов с MCP-инструментами. Она ищет не только неподтверждённые утверждения, но и случаи, когда верный факт приписан неправильному источнику.

Пример из работы понятен без специальных моделей: агент обещает возврат денег «согласно записи аккаунта», хотя срок возврата взял из общей политики компании. Сам срок может быть правильным, но ссылка на личную запись неверна. Если смешать все полученные данные в один текст, такую ошибку легко пропустить.

Источник сохраняется на каждом этапе

ProvenanceGuard работает после генерации ответа и использует сохранённую историю вызовов MCP. Выходы инструментов остаются отдельными источниками с собственными идентификаторами. Переобучать исходного агента для этой проверки не требуется.

Ответ разбивается на отдельные утверждения. Для каждого система выбирает подходящий источник, проверяет, поддерживает ли он утверждение, и сравнивает его с тем, который назван или подразумевается в ответе.

На выходе получается решение по каждому утверждению и общее разрешение или блокировка ответа. Такая детализация важна для разбора: можно увидеть не просто низкую оценку ответа, а конкретный факт и источник, между которыми возникло несоответствие.

В описанном эксперименте использовались локальные модели. MiniLM помогала выбирать источник, DeBERTa проверяла смысловую поддержку утверждения, а локальная языковая модель разбивала ответ на части. Числа, даты и идентификаторы проверялись отдельно, чтобы правдоподобная фраза не прошла без нужного значения в источнике.

Это исследованная конфигурация, а не обязательный набор моделей для любого внедрения. Другой вариант потребует собственных испытаний и настройки порогов, особенно если изменятся язык, документы или типы инструментов.

Что получилось на медицинских данных

Авторы работали с 281 реальной историей выполнения медицинского агента. В такой области особенно важно различать сведения из карты пациента и выводы общей научной статьи: приписать одно другому может быть опасно даже без выдуманного факта.

В основной отложенной проверке эксперты оценили 361 утверждение из 40 ответов. Из 139 утверждений, которые не должны были пройти, ProvenanceGuard остановила 138 и пропустила одно.

Обратная сторона осторожной настройки тоже заметна: система остановила ещё 67 утверждений, которые эксперты считали подтверждёнными. Это дополнительные случаи для проверки или исправления. Поэтому результат нельзя описывать как безошибочную фильтрацию.

Для утверждений с определяемым источником правильный источник выбирался примерно в 86% случаев. По метрике F1 для блокировки результат составил 0,802, у MiniCheck в том же сравнении 0,783. Эти числа относятся к подготовленному авторами набору, а не к любому медицинскому или корпоративному агенту.

Похожие источники остаются сложной задачей

В отдельной усложнённой проверке с несколькими похожими источниками F1 блокировки составила 0,846, но точный источник удалось выбрать только в 50,3% случаев. Сам факт наличия проверки ещё не решает задачу различения очень похожих документов.

В контролируемом опыте авторы подменили названный источник в 50 случаях, сохранив подтверждающие данные. Система обнаружила все подмены. Это показывает работу на явном несоответствии, но не отменяет более слабый результат там, где подходящих источников несколько.

После блокировки возможен цикл исправления в стиле RARR. Он пытается переписать ответ с опорой на источник или перейти к безопасному отказу от неподтверждённого ответа. Затем результат снова проходит проверку.

На полном наборе историй все 173 заблокированных ответа получили допустимое завершение, но 144 из них закончили запасным текстом вместо содержательной переработки. Здесь «исправлено» не означает, что система во всех случаях нашла и сообщила нужный ответ.

Что понадобится своему агенту

Главное практическое требование относится к журналу инструментов. Если результаты поиска, базы и документов уже смешаны без идентификаторов, потом трудно восстановить, откуда взялось утверждение. Сохранять границы источников лучше до генерации, а не после обнаружения ошибки.

Для внедрения также нужно решить, что делать с блокировкой: отправлять на человека, запрашивать дополнительный источник или возвращать ограниченный ответ. Иначе строгая проверка просто добавит задержку без понятного рабочего процесса.

ProvenanceGuard предлагает полезное различие: «это где-то написано» и «это написано в указанном источнике» не одно и то же. Результаты показывают пользу такого подхода, но вместе с ней заметны лишние блокировки и трудности выбора между похожими документами.

О ещё одной границе инструментального агента: исследовательский агент OpenAI и выход наружу через DNS.

Источники и ссылки


Комментарии загружаются…