Наръчник: Incident Response
Приоритети
| Severity | Описание | Време за реакция |
|---|---|---|
| P1 — Critical | ASR не работи, потребителите не могат да диктуват | Незабавно |
| P2 — High | Licensing API down, логин не работи | < 1 час |
| P3 — Medium | Мониторинг down, Stripe webhooks failing | < 4 часа |
| P4 — Low | Уебсайт down, некритична функционалност | < 24 часа |
Диагностична процедура
Бърза диагностика
ASR сървър (P1)
ssh rosen@10.42.9.37
nvidia-smi # GPU достъпен ли е?
cd ~/dictaro/server
docker compose ps # Всички контейнери running?
docker compose logs asr --tail 50 # Грешки?
curl http://localhost:8765/health # Health check
Licensing API (P2)
curl -sf https://api.dictaro.ai/health
# Ако не е достъпен — ръчен redeploy:
# GitHub Actions → deploy-licensing.yml → Run workflow
# Или ръчно на VM-а:
# docker compose -f docker-compose.yml ps
# docker compose -f docker-compose.yml logs licensing --tail 50
Grafana/Мониторинг (P3)
curl -sf https://monitoring.dictaro.ai/api/health
# Проверка на Cloudflare Tunnel:
# Cloudflare Dashboard → Zero Trust → Tunnels → dictaro-monitoring
Рестартиране
ASR
ssh rosen@10.42.9.37
cd ~/dictaro/server
docker compose down
docker compose up -d --build
Licensing + Мониторинг
Ръчен redeploy от GitHub Actions → deploy-licensing.yml → Run workflow.
Уебсайт
Ръчен redeploy от GitHub Actions → deploy-website.yml → Run workflow.
Post-mortem
След всеки P1/P2 инцидент:
- Документирайте какво се случи и кога
- Определете root cause
- Създайте задачи за предотвратяване
- Проверете Grafana дашбордите за свързани метрики