«Не промпти Claude. Построй систему, которая промптит себя». Интерес смещается от одного чата к агентным системам.
VOLYПроверяем не популярность multi-agent, а условия, при которых специализация и независимая проверка дают измеримый выигрыш.
Когда AI-агент
говорит «готово»
Практическое исследование надёжности AI coding agents — от красивого отчёта модели до результата, который действительно можно принять в репозиторий.
Benchmark · методология · test bank · полевое исследование
МетодологияГотова
Test bank30 задач
PilotВ процессе
РезультатыОжидаются
The completion gap
Мы измеряем не ответы. Мы измеряем принятые изменения.
Агент может убедительно сообщить об успехе и при этом не изменить ни одного файла, пропустить требование или сломать соседний сценарий.
Поэтому статус задачи должен следовать за фактами на диске: diff, тестами, соблюдением scope и независимым review.
Signals from the field
О чём спорят команды прямо сейчас
Пользователи Claude Code обсуждают usage limits и ручные обходы: несколько аккаунтов, proxy CLI и альтернативные harnesses.
VOLYЭто подтверждает Job: завершить задачу без срыва из-за квоты — с прозрачным fallback и общей стоимостью результата.
Нативные Managed Agents уже вводят session budgets — базовая оркестрация быстро становится возможностью платформы.
VOLYПоэтому дифференциация VOLY — не роли сами по себе, а сквозной бюджет задачи между агентами, инструментами и fallback-переходами.
Большие multi-agent системы усиливают потребность в наблюдаемой среде, границах ролей и проверяемых эпизодах.
VOLYСначала собираем доверенные episodes и role metrics; self-play откладываем, пока доказательства результата недостаточно надёжны.
Показатели — снимок публичной активности на момент проверки. Это контекст рынка, а не результаты исследования VOLY.
04 меры →
Что считается реальным успехом?
Главная экономическая единица — не стоимость запуска и не количество сгенерированного кода, а цена подтверждённо выполненной задачи.
Verified Success Rate
accepted tasks / all tasksFalse Completion Rate
reported done, but rejectedCost per Verified Task
total cost / accepted tasksScope Drift
runs with unrequested changesГипотезы исследования
Не верим архитектуре на слово
Multi-agent workflow не считается лучше по определению. Он должен доказать преимущество по качеству, стоимости результата или восстановлению после ошибок.
Agent said done ≠ task completed
Reported success систематически выше результата, подтверждённого тестами, diff и code review.
Roles can reduce false completion
Архитектор, разработчик и ревьюер должны показать преимущество над одним универсальным агентом.
Gates can contain scope drift
Plan gate, protected paths и file limits проверяются как инструменты снижения незапрошенных изменений.
Architecture ≠ outcome
Одна задача.
Четыре режима.
Каждая архитектура получает одинаковый исходный commit, постановку задачи, бюджет времени и заранее замороженные критерии приёмки.
РежимМеханикаЗачемСтатус
Single agentОдин агент делает всёДешевле и быстрее для простых задачBaseline
Supervisor–WorkerОркестратор назначает специалистовКонтроль ролей и handoffPrimary
Debate / CritiqueАгенты оспаривают результатСложные решения и reviewSelective
SwarmМного простых агентов параллельноМассовый анализFuture
10 шаговОт чистого commit
От чистого commit
к проверенному результату
- RestoreВосстановить эталонный commit и чистый working tree.
- FreezeЗафиксировать scope, acceptance criteria и abort rules.
- RunЗапустить режим с одинаковым бюджетом времени и попыток.
- CaptureСохранить команды, tool calls, токены, стоимость и fallback.
- DiffПолучить список изменённых файлов и diff hash.
- TestЗапустить тесты, линтер, сборку и security checks.
- ScopeПроверить protected paths и незапрошенные изменения.
- ReviewПровести слепую человеческую оценку результата.
- SeparateХранить reported success отдельно от acceptance result.
- ResetСбросить среду перед следующим исполнителем.
30 воспроизводимых задач
Test bank, а не демо на удачу
Шесть измерений по пять задач. У каждой — эталонный commit, разрешённый scope и машинно проверяемый acceptance pack.
Backend
B01–B05API, idempotency, concurrency, DB pool
Frontend
F01–F05state, accessibility, forms, responsive UI
Testing
T01–T05regression, flaky tests, properties, queues
DevOps
D01–D05Docker, healthcheck, CI cache, rollback
Security
S01–S05traversal, secrets, commands, protected paths
Cross-stack
X01–X05DB → API → UI, flags, timezones, audit
Одна задача крупным планом
Как выглядит проверяемый результат
Не просим верить отчёту агента. Каждая задача проходит одинаковую цепочку физических доказательств.
01Agent reportЗаявление о завершении
02Git diffФактические изменения
03TestsМашинные проверки
04ScopeТолько разрешённые файлы
05ReviewНезависимая оценка
06AcceptedПодтверждённый результат
Посмотреть пример acceptance pack +
Сделать POST /payments идемпотентным при повторной отправке одного ключа.
src/payments/** и tests/payments/**. Миграции и конфигурация запрещены.
Один charge для одинакового ключа; корректный ответ при concurrency; существующие тесты проходят.
pytest tests/payments -q · ruff check · git diff --check
Уже работает в VOLY
Механизмы, а не обещания
Исследование ещё идёт, но базовые границы доверия уже реализованы в продукте и проверяются тестами.
Verified success — отдельное состояние
Завершение процесса не равно приёмке. Результат получает verified_success только после детерминированной evaluation policy.
voly/evaluation · tests/test_evaluation.pyНет diff — нет code success
Code-generation role, который сообщил об успехе, но не оставил заявленных или обнаруженных изменений, считается failed.
voly/a2a/hybrid.py · tests/test_hybrid_a2a.pyJudge не может исправить себе ответ
Независимый judge видит task, acceptance criteria и diff, но получает только read-only инструменты без shell и записи файлов.
voly/a2a/agentic_judge.py · tests/test_agentic_judge.pyCapability активируется доказательствами
Новый capability требует шесть измеренных outcomes, включая два held-out; routing probe сам по себе не считается валидацией.
voly/capability · tests/test_capability_production_validation.pyВоспроизводимый mock benchmark
26.3%fixture savings8 фиксированных задач · 4 executor labels
Baseline $0.137 против $0.101 у fallback-chain. Экономия возникает только в четырёх billing-fallback задачах; happy path не получает искусственного выигрыша. Это детерминированные mock-cost fixtures, не production invoices.
python benchmarks/finops-suite/run.py --mode mockЦелевая проверка evidence, evaluation, judge, FinOps и production-gates: 57 тестов пройдено 13 августа 2026. Это не полный test suite проекта.
Главная метрика
Cost per Verified Task=
стоимость всех попыток
принятые задачи
принятые задачи
Цена не ответа агента, а результата, который прошёл проверки и может быть принят командой.
опрос 1–2 мин · интервью 30 мин
Что происходит в реальных командах?
01Использование
Какие AI coding tools использует команда, как часто и для каких типов задач?
02Завершение
Что считается готовностью: ответ агента, diff, тесты, review, merge или production metric?
03Ошибки
Как часто агент говорит «готово», меняет лишнее или создаёт регрессию?
04Экономика
Видит ли команда стоимость задачи и что происходит при исчерпании квоты?
05Доверие
Какие доказательства нужны, чтобы принять результат без полного ручного повторения работы?
Редакционная честность
Что можно писать.
И что пока нельзя.
В нашем эксперименте N из M задач прошли acceptance criteria.
На выбранном test bank role workflow показал…
По самоотчётам участников…
Большинство компаний… при нерепрезентативной выборке.
Multi-agent всегда лучше и дешевле.
Выдавать roadmap или внешнюю цифру за результат VOLY.
План запуска на 30 дней
От базы знаний
к собственным данным
Audit
Проверить implemented / partial / roadmap и доступную телеметрию.
Pilot
10 задач × 3 режима; устранить методологические пробелы.
Fieldwork
30+ анкет, 5+ интервью, расширение test bank.
Main run
30 задач; слепое review; воспроизводимый анализ.
Publish
HTML-отчёт, графики, партнёрская волна и диагностика.
Открытое исследование · 1–2 минуты
Разберите один реальный запуск AI-агента.
Нас интересует не мнение об AI в целом, а последняя задача, на которую вы действительно потратили время, бюджет или внимание команды.Участники первыми получат итоговый benchmark и краткую диагностику процесса проверки. Публичный профиль необязателен.