5 октября 2026 года GitHub представил ReviewBench, открытый набор для оценки агентов, проверяющих код. В него вошли 219 публичных pull request из 187 репозиториев на 19 языках. Цель не просто посчитать комментарии модели, а понять, сколько полезных проблем она замечает и сколько лишнего шума создаёт.
При построении набора GitHub изучил распределения по 103,9 млн pull request. Это исходный материал для выбора корпуса, а не число PR, на которых запускается каждый участник теста. Сам набор гораздо меньше и доступен для самостоятельного изучения.
Насколько набор похож на обычную работу
Авторы старались сохранить распределения языков и размеров репозиториев. При этом размеры изменений намеренно смещены к содержательным средним и крупным PR. Иначе множество крошечных правок могло бы занять слишком большую долю и плохо показать качество настоящего ревью.
Поэтому ReviewBench не является случайной выборкой всех изменений GitHub один к одному. Это осознанно сформированный корпус со своими приоритетами. Для команды, работающей с другим стеком или особыми требованиями безопасности, полезно смотреть соответствующие срезы, а не только общую строку рейтинга.
Откуда берётся эталон проблем
Кандидаты собираются из человеческого ревью, последующих исправлений автора, статического анализа и нескольких семейств моделей. Затем совпадающие по сути замечания объединяются. Простое согласие нескольких генераторов не должно превращать одну проблему в несколько независимых находок.
После этого кандидаты оцениваются по общей рубрике. Находка должна быть верной, относиться к изменению и иметь ненулевую практическую важность. В опубликованной методике роль LLM оценщика выполняет Claude Sonnet 5.
Перед выпуском старшие инженеры, не собиравшие исходный набор, независимо разметили эталонные находки. GitHub сообщает о совпадении решений в 96,6% случаев. Это показатель согласия при данной проверке, а не гарантия, что эталон содержит все возможные дефекты.
Почему нужны два семейства метрик
Grounded метрики сравнивают замечания с уже известным набором проблем. Precision показывает долю корректных замечаний среди выданных, recall долю найденных известных проблем. F1 объединяет эти две стороны с равным весом.
Но эталон не может заранее включать всё. Если новый ревьюер находит настоящий дефект, которого там нет, автоматически считать его ошибкой было бы несправедливо. Поэтому augmented метрики дополнительно оценивают несовпавшие находки через общую процедуру проверки.
Для сравнения разных систем GitHub выделяет grounded recall. У augmented recall знаменатель расширяется с учётом новых находок конкретного агента, и прямое сравнение становится менее простым. Дополнительные показатели полезны для разбора поведения, но их нельзя бездумно смешивать в один рейтинг.
Можно также выбирать тяжесть и категорию проблемы, а через Fβ менять относительную важность полноты и точности. Команде с усталостью от ложных тревог нужен один баланс, команде с особо критичным кодом другой.
Связь с рабочим продуктом
GitHub приводит пример внутреннего эксперимента с несколькими независимыми проверками, объединёнными в одно ревью. По сообщению компании, направление изменений на ReviewBench совпало с последующим A/B тестом Copilot code review.
В рабочем эксперименте доля замечаний, после которых определялось соответствующее изменение кода, выросла на 8%, оценка полноты на 13,6%, число комментариев на 61%, а стоимость ревью снизилась на 8% относительно контроля. Это результаты конкретного эксперимента компании, а не обещание таких улучшений каждому пользователю.
Важная оговорка: рабочая оценка реакции на комментарий тоже определяется с помощью LLM и нескольких сигналов. Её не следует выдавать за прямую независимую перепроверку каждого исправления человеком.
ReviewBench полезен прозрачностью корпуса и различением полезных находок и шума. Но принимать решение о ревьюере стоит вместе с проверкой на своём коде. Общий рейтинг помогает задать вопросы, а не снимает с команды ответственность за принятие изменений.
О другой стороне той же проблемы, проверке выполненных действий, рассказывает ThinkingBox. Правила приёма кода могут быть отдельным ограничением, как показывает новый шаблон PR в COSMIC.