|
:: 게시판
:: 이전 게시판
|
- 모두가 건전하게 즐길 수 있는 유머글을 올려주세요.
- 유게에서는 정치/종교 관련 등 논란성 글 및 개인 비방은 금지되어 있습니다.
통합규정 1.3 이용안내 인용"Pgr은 '명문화된 삭제규정'이 반드시 필요하지 않은 분을 환영합니다.법 없이도 사는 사람, 남에게 상처를 주지 않으면서 같이 이야기 나눌 수 있는 분이면 좋겠습니다."
22/10/15 22:31
그렇게 조치를 잘 해뒀는데 이런 문제가 생긴거라면 최소한 관련자 전원 짤라야되는 게 아닌가 싶습니다
아 그래 일단 대표 너부터
22/10/15 22:31
느리군. 사과하는 것조차..? 농담입니다
분할백업이원화가 되어있긴했군요 그냥 너무 터져서 느리다는데 사실이면 더 뭐라하기 어렵긴 한데
22/10/15 22:33
(수정됨) 사과를 받고 싶어도 다음이고 카카오고 뭐가 되야 사과를 받지.. 사과할 본진이 망해서 언론이나 페북에 사과문을 게시한다는게 SK 데이타센터 문제라지만 IT기업이 이게 무슨 망신인가 싶네요
22/10/15 22:37
이원화시스템을 이미 가지고 있다면서 이원화 조치를 시작했다는건 뭔 헛소린지 모르겠네요. 그 백업 시스템이 이미 가동됐어야지 지금 몇시간이 지났는데
22/10/15 22:41
카카오톡만 복구하면 되는게 아니라 카카오톡을 기반으로 로그인이 필요한 온갖 서비스들도 다 복구를 해야하는데 이게 일이 엄청 크긴 할겁니다.
대신 이정도 최악상태는 항상 가정하고 훈련같은걸 해봐야 중간중간 아무도 모르던 숨겨진 함정을 깨닫고 진짜 터졌을때 회피가 빠르게 가능한데 이정도로 대규모 서버다운 상태는 가정은 해도 실전처럼 훈련을 해보라고 아무도 승인을 안해주겠죠.
22/10/15 22:38
제 개인적인 추측으로는 요새 추세인 MSA (Micro Service Architecture)로 수많은 서비스들이 얽혀서 동작하게 만들어져있는 상태에서,
중간 중간에 박혀있는 일부 서비스들이 센터 이원화나 데이터 동기화가 제대로 안되서 전체 서비스에 영향을 미치는 것이 아닐까 싶습니다. 보통 DR 전환 훈련은 제대로 하기 어렵고, 하더라도 개별 서비스 단위로만 하지 이번처럼 특정 센터의 모든 서비스가 다 다운되는 상황을 만들어서 테스트는 못할테니까요. 보통 처음에는 한센터가 완전히 다운되는 상황에서도 원활한 서비스가 되도록 DR용 자원을 확보해도, 서비스가 급속하게 늘다보면 DR쪽 고려없이 메인센터에만 서비스와 자원이 추가되는 경우가 허다하기도 하고요.
22/10/15 22:48
카카오가 미운털이 쎄게 박히긴 했다 싶은데..엔지니어 입장에서 보면 이중화가 되어도 위에 말씀하신 케이스나 데이터 동기화 문제로 복구가 안되는 경우가 발생할 수 있죠.
18년에 발생한 깃헙 장애가 대표적인데..이중화서버 동작은 40초 걸렸지만 서비스 복구는 24시간이 넘게 걸렸었구요. 카오스엔지니어링이라는 개념이 정리되어가고 있는것도 최근이다보니 dr에 대해선 취약한 부분이 많은거 같아요. 그래도 인증서비스 이중화는 어렵지 않았을거 같은데...이부분은 여러모로 아쉽긴 하네요. 월요일 출근하시면 각 it기업에 종사하시는 분들은 dr과 이중화 관련된 확인 요청을 엄청나게 받으시겠네요. 다들 파이팅해서 잘 헤쳐나갔으면 좋겠습니다.
22/10/15 22:58
GitHub 사태 이후로 장애 발생시, 이중화 복구 접근이 또 바뀐 것으로 알고 있는데 윗분 말씀데로 MSA 개념에 맞게 구현을 하면 일부라도 되어야 하는 것이 맞거든요. 특히 말씀하신 인증서비스 카카오 계정으로 로그인 하는 3rd party 서비스가 많아서 특히 신경을 써야 되는데 말이죠.
22/10/15 22:56
MSA 개념에 맞게 제대로 구현을 했으면 일부 서비스가 안된다고 전체 서비스가 안 되는 사태는 발생하지 않아야 하는데 (해당 서비스는 안 된다고 하더라도 말이죠) 그게 문제라고 봅니다..
22/10/15 23:16
MSA 설계가 잘 되어 있었다면 순차적으로 백업 플랜 하면 되긴 할겁니다. DR 용 자원을 준비 안했으면 뭐.. 윗사람이 책임 져야 겠죠
요즘 DR 모의 테스트도 많이 하는 추세인데 카카오 정도 기업이 이렇게 서비스가 제대로 안되다니 놀랍긴 합니다
22/10/15 22:45
사실 이정도면 언론사 호출해서 카카오 사옥앞에서 기자회견하고 절 정도는 해야하는데 페북 공지는 참신하긴 합니다 크크크크
절은 내일 하려나
22/10/15 22:49
저 정도 규모되면 옆에 붙어서 시스템 하나 하나 살펴 볼 수도 없는 노릇이고
DR에 대한 가이드라인을 정해서 관리 감독이 됐어야하는데 그게 안됐다고 봐야죠
|
||||||||||||||
