Build-Measure-Learn

Основной операционный цикл мультиагентной системы Synth Nova.

Цикл BML

    ┌──────────┐
    │  IDEAS   │
    └────┬─────┘
         │
         ▼
    ┌──────────┐         ┌──────────┐
    │  BUILD   │────────▶│ PRODUCT  │
    └──────────┘         └────┬─────┘
                              │
                              ▼
    ┌──────────┐         ┌──────────┐
    │   DATA   │◀────────│ MEASURE  │
    └────┬─────┘         └──────────┘
         │                    ▲
         ▼                    │
    ┌──────────┐         ┌──────────┐
    │  LEARN   │────────▶│ METRICS  │
    └────┬─────┘         └──────────┘
         │
         ▼
    ┌──────────┐
    │  IDEAS   │  ← новый цикл
    └──────────┘

В нашей системе

BUILD

Agent-CEO декомпозирует идею на задачи. Directors распределяют по Executors. Результат — MVP.

Правило: если задача занимает > 48 часов — разбить на подзадачи. Каждая подзадача должна давать измеримый промежуточный результат.

Что происходит:

1. CEO получает задачу от Human → формулирует hypothesis
2. CEO создаёт child tasks для Directors с success_criteria и kill_criteria
3. Directors декомпозируют дальше для Executors
4. Executors выполняют, генерируют artifacts

MEASURE

Agent-Judge оценивает результат по заранее определённым критериям. Метрики сохраняются в artifacts.

Правило: критерии фиксируются ДО запуска задачи. Нельзя менять success_criteria после начала выполнения — это invalidates эксперимент.

Что измеряется:

• success_criteria — определены при создании задачи
• kill_criteria — при каких условиях останавливаемся
• Стоимость (tokens, USD) — автоматически из runs
• Время выполнения — автоматически
• Judge score — 0.0 to 1.0 по каждому критерию

LEARN

Agent-CEO агрегирует result + metrics от Directors. Принимает решение:

Решение	Условие	Действие
Persevere	Метрики ≥ success_criteria	Масштабировать, следующий цикл
Pivot	Метрики < success_criteria, но > kill_criteria	Изменить подход, сохранить цель
Kill	Метрики ≤ kill_criteria	Остановить, зафиксировать learnings

Правило: решение должно быть объяснимо формулой “на основе метрики X = Y, решение Z”. Если нельзя сформулировать — данных недостаточно.

Стратегические решения фиксируются в Decision-Log через ADR.

Антипаттерны

Cargo Cult BML

Метрики собираются, но никто не смотрит. Judge ставит score, CEO не читает. Цикл формально замкнут, но learning не происходит.

Симптом: одинаковые ошибки повторяются. Success rate не растёт. Лечение: CEO обязан в ответе цитировать конкретные метрики.

Analysis Paralysis

Бесконечная фаза MEASURE. “Нужно больше данных”, “нужно ещё один эксперимент”.

Симптом: решение persevere/pivot откладывается >3 циклов. Лечение: максимум 3 цикла BML на одну гипотезу. После — обязательное решение.

Premature Optimization

Фаза BUILD раздувается. “Давайте сразу сделаем хорошо”, “добавим ещё эту фичу”.

Симптом: MVP = полноценный продукт. Время BUILD > 48 часов. Лечение: MVP = минимум для проверки одной гипотезы. Не больше.

Связанные документы

• Lean-Startup — теоретическая база
• Hypothesis-Driven-Development — формат гипотез
• Process-TaskLifecycle — жизненный цикл задачи (реализация BML)
• Agent-CEO — принимает решения LEARN
• Agent-Judge — выполняет MEASURE