AI-Agent Reliability Audit — static reference and dated incident case

Датированный incident case — 2026-07-21

Incident record от 2026-07-21 описывает production-систему и исторический count 150+; это не текущая live-проверка.

Этап	Что было
Симптом	Публичные дашборды — «No data» на BTC, режиме, funding. Витрина для внешних людей выглядит сломанной.
Ложные следы	Источник данных жив (запрос возвращает строки). Боты торгуют. Сервисы «запущены». Мониторинг — всё зелено.
Корень	Security-hardening тремя днями ранее молча убрал `PG_DSN` у 7 фоновых сборщиков → они падали в тихий restart-loop → таблицы замёрзли на 2д 23ч.
Диагностика	Проверил свежесть таблиц (не датасорс) → нашёл заморозку → лог сборщиков → `PG_DSN is required` → сопоставил с датой hardening. ~1 час.
Фикс	systemd drop-in с восстановленным окружением для 7 сервисов. market_state: 3 дня → 2 минуты. btc: протухший 64025 → живой 66194. 0 потерь данных.

Это каноничный failure mode автономных систем: инфра-изменение рвёт скрытую зависимость, агент «работает», но тихо деградирует — и всплывает, когда уже дорого. Аудит ловит именно это.

7 классов отказов, которые мы триажим

Тихая деградация данных кейс выше

Пайплайн жив, но данные стоят: потерянные env-зависимости, замёрзшие коллекторы, битые cron.

Ложная безопасность гейта

Гейт ловит опасные команды, но не понимает логику приложения — subtle-баг в разрешённом скрипте проходит.

Границы отката

Rollback покрывает локальные файлы, но не prod-API, удалённый репозиторий или транзакцию — это надо знать заранее.

Loop / cost-blowout

Агент зацикливается или жжёт бюджет на тривиальных задачах без anti-looping и cost-routing.

Утечка секретов

Ключи в логах, чекпоинтах, URL-параметрах — частичные токены открытым текстом.

Тихий no-op

CLI/сервис возвращает exit 0, но по факту ничего не делает (обрезанный main, битый импорт).

Дрейф памяти/состояния

Смена модели или сессии теряет контекст; факты переписываются вместо supersede — история рушится.

Как это работает

1. Подключение	Даёшь доступ к логам/метрикам агента или системы (read-only достаточно).
2. Авто-триаж	Прогон по 7 классам: где тихо деградирует, где гейт дырявый, где границы отката, где секреты.
3. Отчёт за 72ч	Найденные риски по приоритету P0–P2, с воспроизведением и конкретным фиксом.

Быстрый self-check — 60 секунд

7 вопросов по 7 классам отказов. Отвечай честно: «нет / не уверен» = скрытый риск.

1. Если данные твоего агента замрут — ты узнаешь в тот же день (алерт на свежесть)?

2. Твой гейт/проверки понимают логику приложения, а не только «опасные команды»?

3. Знаешь точно, что покрывает твой rollback — и что НЕ покрывает (prod-API, удалённый репо)?

4. Есть anti-looping и лимит бюджета на задачу (токены/шаги)?

5. Уверен, что секретов нет в логах, чекпоинтах и URL-параметрах?

6. Проверяешь, что сервис реально сделал работу — а не вернул тихий exit 0?

7. При смене модели/сессии контекст и состояние агента сохраняются?

Оффер

Historical offer snapshot

UNVERIFIED

Production artifact заявлял $0 / 72h; pricing, SLA и delivery не подтверждены. Intake — client-only brief builder.

Open canonical BitEvo audit scope →

Deep Audit · historical offer snapshot

UNVERIFIED

Artifact заявлял pricing от $1.5k; current scope, price и availability не подтверждены.

Open canonical BitEvo audit scope →