일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 |
- Express
- current_date
- java
- upgrade
- spring cloud
- Regular expression
- expire_logs_days
- Effective Java
- 정규표현식
- MySQL
- Effective Java 3/e
- REACT
- update
- migration
- Chunk
- Spring Batch
- 퀵소트
- Node
- log4j2
- spring
- eslint
- JavaScript
- nodejs
- regex
- mysql 5.5
- REACTJS
- Webpack
- git
- npm
- log_bin
- Today
- Total
목록Chunk (2)
내 세상
Spring Batch - 큰 단위의 작업을 일괄 처리 - 대부분 처리량이 많고 비 실시간성 처리에 사용 - 대용량 데이터 계산, 정산, 통계, 데이터베이스, 변환 등 - 컴퓨터 자원을 최대로 활용 - 컴퓨터 자원 사용이 낮은 시간대에 배치를 처리하거나 - 배치만 처리하기 위해 사용자가 사용하지 않는 또 다른 컴퓨터 자원을 사용 - 사용자 상호작용으로 실행되기 보단, 스케줄러와 같은 시스템에 의해 실행되는 대상 - 예를 들면 매일 오전 10시에 배치 실행, 매주 월요일 12시 마다 실행 - crontab, jenkins .. - 배치 처리를 하기 위한 Spring Framework 기반 기술 - Spring 에서 지원하는 기술 적용 가능 - DI, AOP, 서비스 추상화 - 스프링 배치의 실행 단위인 J..
배치 처리 방법 2가지 1. Tasklet을 사용한 Task 기반 처리 - 배치 처리 과정이 비교적 쉬운 경우 쉽게 사용 - 대량 처리를 하는 경우 더 복잡 - 하나의 큰 덩어리를 여러 덩어리로 나누어 처리하기 부적합 2. Chunk를 사용한 chunk(덩어리) 기반 처리 - ItemReader, ItemProcessor, ItemWriter의 관계 이해 필요 - 대량 처리를 하는 경우 Tasklet보다 비교적 쉽게 구현 - 예를 들면 10,000개의 데이터 중 1,000개씩 10개의 덩어리로 수행 - 이를 Tasklet으로 처리하면 10,000개를 한번에 처리하거나, 수동으로 1,000개씩 분할 Github link https://github.com/woniper/fastcampus-spring-bat..