6 ноября 2026 OpenAI вместе с биотех-компанией Ligo опубликовала BioBasicsBench, набор из ста задач. Ligo проектирует ферменты, а набор проверяет другое: справляется ли агент с сырыми данными обычной лаборатории. Гель, чашка с колониями, кадр микроскопа, файл прибора. Анонс: Measuring how AI agents handle everyday wet-lab science.
Как пишет OpenAI, существующие бенчмарки часто собраны из графиков и картинок, которые уже отобрали для научной статьи. Такой набор пропускает мутные снимки и возню с контролем, из которой состоит обычный день за лабораторным столом. Здесь нужно назвать результат, поймать ошибку и не дописать то, чего в данных нет. Для того, кто уже вызывает GPT-6 Astra по API, речь как раз про картинку и контекст опыта.
Сто задач из лаборатории
Задачи разложены на пять обычных кусков работы: белки, снимки и цитометрия, измерения и пробы, ДНК с РНК, сборка генетических конструкций. Цитометрия здесь значит, что прибор разбирает клетки по одной. Задачи собрали учёные Ligo по своим экспериментам и к каждому вопросу приложили критерии оценки. Вычитка шла в три круга: другой учёный Ligo, внешний учёный с PhD, который сам работает в лаборатории, и ещё одна внутренняя проверка. Смотрели формулировку, данные, критерии, заметки автора и уже оценённую попытку модели.
Речь про лабораторию, где работают с образцами, а не только с таблицей на компьютере. В английском анонсе это wet lab. На входе как раз такой материал, и категории пересекаются: в одной задаче может быть и снимок, и протокол.
- снимки гелей и блотов, по ним смотрят, как легли ДНК и белки: 31 задача;
- протоколы, лабораторные записи и спецификации приборов: 27;
- таблицы и выгрузки приборов: 20;
- фото стола, пробирок и штативов: 18;
- микроскопия: 14;
- экраны приборов и графики: 13;
- файлы секвенирования: 12;
- короткие видео того, как ставят опыт: 7;
- чашки с колониями: 7;
- шкалы длин фрагментов и карты плазмид, это подсказка к снимку, а не сам опыт: 21.
Агент отвечает по форме: вывод, измерение или рекомендация и, где просят, ход мысли. Зачёт ставят по отдельным пунктам. Пункт может проверять сам вывод, число, обоснование или признание, что данных для вывода не хватает. Верный итог и наполовину собранный разбор получают разный балл.
Баллы на режиме xhigh
OpenAI прогнала семь своих моделей: GPT-5.2, GPT-5.4, GPT-5.5, GPT-5.6 Sol, GPT-6.1 Sol, GPT-6 Luna и GPT-6 Astra. Тридцать семь сочетаний модели и режима, пять попыток на каждую из ста задач, 18 500 ответов. Баллы ниже даны для режима xhigh. Это самый высокий режим, который OpenAI показала сразу для всех семи моделей. Балл, mean reward, это средняя доля пунктов, по которым ответ получил зачёт. Рядом доверительный интервал 95%. Его считали по целым задачам и не разрывали пять попыток одной задачи. Число токенов это длина ответа, не весь счёт за запрос.
- GPT-6 Astra: 66,7% (60,3-73,1%), 4 704 токена ответа на задачу;
- GPT-6.1 Sol: 62,0% (55,6-68,4%), 5 238 токенов;
- GPT-5.6 Sol: 43,8% (37,6-50,0%), 9 099 токенов;
- GPT-6 Luna: 38,3% (32,3-44,5%), 13 120 токенов;
- GPT-5.5: 35,4% (29,7-41,0%), 11 135 токенов;
- GPT-5.4: 33,2% (28,3-38,4%), 13 717 токенов;
- GPT-5.2: 31,2% (26,2-36,3%), 27 620 токенов.
Интервалы Astra и GPT-6.1 Sol наезжают друг на друга, эти два балла набор не разводит. С GPT-5.6 Sol разрыв другой: нижняя граница Astra 60,3% выше верхней границы Sol, 50,0%. При этом Astra пишет короче. На задачу у неё 4 704 токена ответа, у Sol 9 099, у GPT-5.2 27 620. OpenAI пишет, что Astra обходит Sol и на слабом режиме рассуждения, и связывает отрыв с тем, что модель лучше читает фото, видео и сырые файлы приборов.
На одной паре клеток GPT-5.6 Sol по яркости красителя записал их как мёртвые. Тот же канал мог светиться и от второго красителя, так что яркость сама по себе вывод не держит. Astra это заметила и попросила контроли, которые разделят сигналы.
В опыте со сборкой ДНК Sol увидел пустую чашку отрицательного контроля и на этом остановился. Astra прочитала подпись на ободке: там канамицин, а опыт шёл с ампициллином. Такой контроль она отбросила.
На серии кадров микроскопа клетки то пропадают, то появляются. Sol искал этому биологическую причину. Astra узнала z-стек: это снимки одной точки на разной глубине, а не клетки, которые исчезли.
Где GPT-6 Astra всё ещё промахивается
OpenAI прямо пишет: более высокий балл ещё не значит, что модели можно отдать суждение в лаборатории. На примерах Astra привычная догадка перебивает то, что уже видно на кадре.
На геле после колоний модель верно разложила полосы на две группы. Дальше она решила, что удачную сборку выдаёт более длинный фрагмент. Его получили ПЦР, копированием куска ДНК. В ответ ушли колонии 4, 6, 7 и 8. Сравнение с контролями указывает на 5, 9 и 10. По такому ответу дальше чистили бы не ту плазмиду, не ту кольцевую ДНК, которую собирали.
На снимке вакуолей, полостей внутри клетки, Astra записала, что они в целом темнее окружения. В том же поле есть и светлые: сдвиг фокуса может перевернуть контраст. Модель сама отметила, что контраст гуляет от фокуса, а в итог унесла только описание тёмных вакуолей.
Подсчёт колоний на чашке завышен примерно на 12%. Метка встаёт между двумя соседними колониями, часть видимых остаётся без метки, пустой агар получает кружок. Объём посева и разведение те же, поэтому оценка того, насколько эффективно ДНК вошла в клетки, раздувается на те же примерно 12%.
Если Astra у вас в API или в боте, 66,7% легко прочитать как «две трети задач закрыты». По счёту OpenAI это средняя доля пунктов внутри задачи. Рядом компания показывает, как уверенный ответ расходится с контролем, который модель уже видела. По этим же задачам OpenAI собирается смотреть и последствия для биобезопасности: чем лучше агент читает сырой опыт, тем важнее, где он всё ещё уверенно ошибается.
