목록배치장애 (1)

개발머해니

[IT] 장애 대처 방안 (온라인 서비스, 배치 잡)

이번에 하루 넘게 복구 안된 운영 장애 상황에 대치하였습니다. 금방 해결할 수 있는 문제였지만, 크게 아래 두 가지 요인으로 인해 장애 상황을 하루 넘게 지속하게 되었습니다. 1) 너무 안일하게 생각했던 점 : 다음주에 천천히 해결해도 되겠지라는 생각을 함 2) 빠른 상황판단 능력 미스 : 더 빠른 해결방안을 생각해내고 택하지 못함 그래서 이번 장애 경험에 대해 회고하고 적절한 장애 대처 방안에 대해서 정리해보려고 합니다. 크게 제가 운영에 반영하는 서비스는 2가지 유형으로 나뉩니다. 1) 온라인(Online) 서비스 : 반영하자마자 실시간 적용되는 서비스 2) 배치(Batch) 서비스 : 배치 잡을 등록한 시간에만 작동하는 서비스 두 서비스의 성격에 따라 장애 대응 절차도 달라져야 하기에 분기해서 작성..
백엔드 2023. 9. 10. 15:59
이전 Prev 1 Next 다음