docs: DB 장애 상황별 복구 매뉴얼 수립

[Hexeong]

목표

장애 유형별 복구 절차와 판단 기준을 합의하여 문서화하고, 목표 RTO 1~2시간 내에 복구할 수 있는지 검증합니다.

진행 방식

구체적인 복구 절차와 자동화 범위는 새로운 GitHub Discussion을 생성하거나 팀 회의를 진행하여 결정합니다. 합의된 내용을 이 이슈와 운영 복구 매뉴얼에 반영합니다.

논의 및 문서화 범위

• 논리적 데이터 장애의 dump 복원 및 binlog 시점 복구 절차를 결정합니다.
• EBS 장애 시 새 EBS 생성, dump 복원, binlog 재생 절차를 결정합니다.
• EC2 장애 시 기존 EBS 재연결 절차와 S3 복원이 필요한 조건을 결정합니다.
• 애플리케이션 쓰기 차단 및 서비스 재개 기준을 정의합니다.
• 복구 대상 dump, binlog, 목표 시각을 선택하는 방법을 정의합니다.
• 주요 테이블과 애플리케이션 상태 검증 항목을 정의합니다.
• 실패 시 중단, 롤백, 기존 리소스 보존 및 정리 기준을 정의합니다.
• 정기 복구 테스트 주기와 담당 방식을 결정합니다.

완료 조건

• 팀에서 합의한 장애 유형별 복구 매뉴얼이 문서화되어 있습니다.
• 실제 복구 테스트를 통해 소요 시간과 실패 지점을 확인합니다.
• 검증 결과를 바탕으로 목표 RTO를 확정합니다.
• 다음 수동 복구 워크플로우 이슈의 입력값과 자동화 범위가 결정되어 있습니다.