AutoSynthData создаёт учебные задачи по ошибкам корпоративного агента

2 октября 2026 года ServiceNow CoreAI представила AutoSynthData, систему подготовки обучающих задач для корпоративных агентов. Она начинает с того, что модель уже умеет плохо, и создаёт новые проверяемые упражнения для этих возможностей.

Проблема знакомая: универсальная модель может хорошо отвечать на общие вопросы и ошибаться в конкретном рабочем процессе. Ей нужно соблюдать правила среды, вызывать доступные инструменты в подходящем порядке и менять состояние данных корректно. Одна найденная ошибка ещё не превращается в полезный обучающий набор.

У задачи должны быть условия и проверяемый результат

В AutoSynthData задача состоит из описания системы, пользовательского запроса и проверки результата. Описание задаёт ограничения среды и начальное состояние, запрос объясняет желаемое действие, проверка отличает успешное завершение от ошибки.

Хорошая задача должна быть выполнимой, похожей на реальный запрос и достаточно трудной для текущей модели. Если необходимого инструмента нет, данные недоступны или действие запрещено политикой, это не полезная сложность, а некорректное упражнение.

Проверка тоже должна соответствовать задаче. Слишком слабая засчитает неправильный результат, а слишком жёсткая отклонит рабочий вариант только потому, что он не повторяет одну эталонную последовательность действий.

Ошибки задают тему, но тест не копируется в обучение

Сначала целевую модель и более сильного учителя запускают на диагностических задачах. По результатам выделяют требуемые навыки, ошибки, инструменты, условия успеха и то, что можно менять в новых упражнениях.

Из этого создают очищенные карточки навыков. Генератор не получает исходные формулировки проверочных задач, их сущности, историю действий и детали проверки. Он использует описание способности, чтобы придумать другой запрос, состояние среды и путь решения.

Так авторы стараются учить нужному поведению, а не натаскивать модель на копии теста. Сильный учитель помогает отличить реальную слабость целевой модели от задания, которое вообще невозможно выполнить.

Сначала проверенные примеры, потом варианты

Генерация разделена на Target и Multiply. На первом этапе создаются основные задачи, каждая проходит выполнение, проверку сложности и исправление. На втором из принятых задач делают новые варианты с другими запросами и состояниями.

Вариант, созданный через Multiply, не может стать основой ещё одной цепочки размножения. Такое ограничение удерживает расширение рядом с исходным проверенным набором и уменьшает постепенный уход от нужного навыка.

В описанной настройке предпочитали задачи, которые целевая модель решала не больше одного раза из трёх, а сильный решатель не меньше двух раз из трёх. Это рабочий способ искать полезную трудность, а не универсальный порог для любого проекта.

Проверяют и правильное решение, и неправильный результат

Положительная проверка выполняет эталонную последовательность в настоящей среде и проверяет итоговое состояние. Так обнаруживаются расхождения между запросом, начальными данными и тем, что считается успехом.

Отрицательная проверка меняет части ожидаемого результата и убеждается, что неверное состояние больше не проходит. Иначе агент может получать награду за формально удобный, но неправильный исход.

Неудачные кандидаты отправляются на разбор и ограниченное число исправлений. После правки задача снова проходит проверки. Дополнительно анализируется весь набор: повторяющиеся семейства, пропущенные навыки и направления, на которые тратится много попыток без полезного результата.

Что показали эксперименты

В EnterpriseOps Gym Hybrid целевой моделью была Gemma-4-26B-A4B-it, учителем Qwen3.8-27B. Система подготовила 2000 примеров примерно за 18 часов. Лучший обученный вариант показал прирост среднего Pass@1 на 7,2 процентного пункта, а доля успеха по проверке выросла с 63,01% до 68,55%.

В домене ITSM использовали ту же целевую модель и учителя DeepSeek-V4.1-Flash. Подготовка 1994 примеров заняла 66 часов. Средний Pass@1 вырос с 18,77% до 27,18%.

Это два эксперимента в определённой среде после обучения с учителем, а не доказательство одинакового улучшения любого корпоративного агента. Более долгий ITSM-прогон авторы связывают с большим учителем и тем, что он выполнялся до последующих оптимизаций конвейера.

AutoSynthData интересна не просто генерацией большого количества текста. Система связывает реальные слабые места модели с новыми исполнимыми задачами и проверками. После улучшения модели тот же процесс можно повторить уже вокруг оставшихся ошибок.

Проверка готовых ответов решает другую часть задачи: ProvenanceGuard и правильная атрибуция источников.

Источники и ссылки


Комментарии загружаются…