Стандарт Управления Инцидентами
Назначение
Стандарт задает единый процесс detection, triage, mitigation, evidence, communication, postmortem и follow-up для production-инцидентов Pin. Он применяется к backend, frontend, integrations, data pipelines, security, finance и operational flows.
Detection
Инцидент может быть найден через alerts, synthetic checks, operator escalation, reconciliation issue, security signal, report discrepancy или manual audit finding. Любой high-impact сигнал получает IncidentId, severity, commander и evidence trail.
Severity
| Severity | Критерии | Примеры |
|---|---|---|
SEV1 | Потеря доступности critical path, security breach, нарушение финансовой корректности, риск массовой порчи данных | Неверные проводки, активный exploit, массовая недоступность ключевого API |
SEV2 | Существенная деградация core flow или важной зависимости | Недоступность критичной интеграции, очередь обработки не двигается |
SEV3 | Частичная деградация с workaround | Один отчет формируется с задержкой, неработает второстепенный batch job |
SEV4 | Low-impact defect или informational incident | Неверный label, minor UI issue, noisy alert |
Роли
| Роль | Ответственность |
|---|---|
| Incident Commander | Координация, severity, timeline, decisions |
| Tech Lead | Диагностика и mitigation owner |
| Communications Lead | Обновления для заинтересованных сторон |
| Evidence Owner | Сбор immutable evidence, logs, traces, screenshots, refs |
| Domain Owner | Подтверждение impact и business correctness по своему контуру |
Процесс
- Открыть incident record с
IncidentId, временем, impact и initial severity. - Назначить commander и рабочий канал.
- Зафиксировать change freeze для затронутого контура.
- Подтвердить customer/business impact без предположений.
- Выполнить mitigation: feature flag, circuit breaker, queue pause, fail closed, rollback или forward-fix.
- Сохранить evidence до необратимых действий.
- Давать регулярные updates по severity cadence.
- Закрыть incident только после verification, monitoring window и owner sign-off.
Communication Cadence
| Severity | Internal update | Stakeholder update |
|---|---|---|
SEV1 | Каждые 15 минут | Каждые 30 минут или при изменении impact |
SEV2 | Каждые 30 минут | Каждый час |
SEV3 | Каждый час | По необходимости |
SEV4 | По change log | Обычно не требуется |
Типовые Классы Инцидентов
| Class | Особые действия |
|---|---|
| Financial mismatch | Freeze affected commands, открыть reconciliation, привлечь domain owner |
| External integration outage | Перевести обработку в degraded mode, включить fallback или manual queue |
| Queue backlog | Проверить consumer lag, throughput, poison messages, retry storm |
| Permission breach | Ограничить доступ, сохранить audit, инициировать security review |
| Data freshness breach | Пометить affected reports, остановить sensitive exports, восстановить watermarks |
| Failed deployment | Остановить rollout, оценить rollback/forward-fix plan |
Evidence
Evidence package включает timeline, alerts, dashboards, traces, deployment refs, config diffs, affected ids, decisions, approvals и verification results. Для high-risk инцидентов evidence хранится immutable и по least privilege.
Mitigation Rules
- Не изменять критичные учетные записи и финансовые итоги напрямую.
- Не скрывать incident путем удаления evidence, logs или audit trail.
- Не выполнять cross-tenant fix без явного scope и review.
- Не возвращать зависимость в production path без health check и monitoring window.
Postmortem
Postmortem обязателен для SEV1/SEV2 и для повторяющихся SEV3. Он содержит summary, impact, root cause, contributing factors, detection gaps, timeline, corrective actions, owners, due dates и verification plan.
Follow-Up
Follow-up закрывается только после:
- merged fix или documented control;
- обновленных runbooks/dashboards/alerts;
- выполненной reconciliation или evidence verification;
- regression/integration test для воспроизводимого дефекта;
- обновления документации, если изменился contract, policy или boundary.
Обратные ссылки
Автоссылки: где используется этот документ.
- ci-cd.md (1): CI/CD Notes
- backend-shared-standards-index.md (1): Backend Shared Standards Index