새회사 · a********

나도 그렇게 함
장애 징후는 자원모니터링하고
로그 익셉션 에러메시지 모니터링

원인은 로그분석 소스분석
찾으면 재현 수정
끝

소스로 바로 탐지 안되고
메모리 누수같은거만 덤프떠서 분석하는 정도

스타트업 · 인********

xview 장애패턴 유사하면 실시간 모니터링 대응 하는거지 보통
그거 아님 예방정검밖에?
장애원인 마다 케바케인데 마이크로버스트 같은 현상으로 트랜잭션 밀리면서 장애나는건 어차피 못잡자너...
만만한게 메모리 릭이나 트랙잭션 분산이지

NCSOFT · 너**

it 라운지가면 형들이 잘 알려줄거임

스타트업 · !********

결국 전반적인 모니터링 및 장애 대응 시스템 구축을 어떻게 할 거냐 인데

우선 어플리케이션 레이어에서 에러 로그를 남기도록 하고, 해당 로그를 확인할 수 있도록 모니터링 시스템을 구축. 만약 마이크로서비스라면 트레이싱이 가능하도록 구현.
로그의 경우 레벨을 구분해서 크리티컬한 경우 바로 알림으로 받아볼 수 있도록 슬랙이나 메일, 카카오등으로 연동
서비스 운영상에 컨테이너 자원 모니터링 가능 하도록 구현하고 리소스 부족하면 오토스케일링으로 스케일업할 수 있도록 구현 추가적으로 예외적인 상황에 대해서 크리티컬 로그 처럼 알림을 받아 볼 수 있도록 구현

장애의 원인은 너무나도 다양하기 때문에 발생한 뒤에 해결하려면 로그들이 풍부해야함

추가적으로 코드상의 장애를 방지하기 위해서는 테스트 코드 작성 및 리뷰 문화를 도입 그리고 내 코드를 다른 사람들이 쉽게 이해할 수 있도록 코딩 스탠다드를 잡고 같이 작업하는게 좋고 린트 툴과 같이 자동화 툴을 최대한 이용하는게 좋음

그리고 장애 대응에 있어서 아무리 실력이 좋은 사람이라도 당황할 수 밖에 없어서, 카오스 엔지니어링 처럼. 장애 대응을 훈련하는 방법도 있음

일단 두서 없이 쓰긴 했는데 내가 아는 내용 막 써봤어