대용량 배치 작업을 설계할 때 어떤 점을 가장 신경 쓰시나요?

Question

Accepted Answer

실패해도 다시 돌릴 수 있는 구조를 먼저 고민합니다 핵심 키워드: 청크 처리, 재시도, 리줌 "몇 십만 건 단위 배치를 설계할 때는, 전체 성공을 가정하기보다 중간에 실패해도 다시 이어서 돌릴 수 있는 구조를 먼저 고민합니다." "Spring Batch를 썼던 프로젝트에서는 청크 단위로 커밋하고, 실패한 레코드만 재처리할 수 있도록 에러 로그를 따로 쌓는 방식으로 설계했습니다."
"또한 운영 DB에 부담을 줄이기 위해, 야간 시간대 실행과 함께 읽기 전용 Replica를 활용하는 등 부하 분산도 같이 고려합니다."

대용량 배치 작업을 설계할 때 어떤 점을 가장 신경 쓰시나요?

질문 의도

평가 포인트

꼬리 질문

이 주제를 더 공부하고 싶나요?

스프링 배치| 정수원 - 인프런 강의

죽음의 Spring Batch: 새벽 3시의 처절한 공포는 이제 끝이다.| KILL-9 - 인프런 강의

[스프링 배치 입문] 예제로 배우는 핵심 Spring Batch| MJ코딩 - 인프런 강의