[Spring] 동시에 발생한 요청을 처리하는 방법 - Multithreading

배경

1. 클라이언트가 서버로 요청하면 응답
   • WAS
2. TCP/IP 커넥션 연결
3. Servlet 호출
4. 서블릿 객체를 누가 호출하는가?
   ⇒ 쓰레드

쓰레드

애플리케이션 코드를 순차적으로 실행
프로세스

• 프로세스: 프로그램 실행
• 쓰레드: 프로그램 안에서 여러 가지 갈래로 나뉨

자바 main() method를 처음 실해아면 main이라는 이름의 thread가 실행
자바 애플리케이션을 실행시키는 주체가 thread
thread가 없다면 자바 애플리케이션 실행 불가능
쓰레드는 한 번에 하나의 코드 라인만 수행
동시 처리가 필요하면 thread 추가로 생성

단일 요청 - thread 하나 사용

1. 요청이 온다
2. 쓰레드 할당
3. 쓰레드로 서블릿 코드 실행

응답 후 쓰레드 휴식

다중 요청 - thread 하나 사용한다면

1. 요청2 들어옴
2. 요청1의 쓰레드의 서블릿 처리가 지연되고 있음
   • DB 응답 등
3. 쓰레드 대기
4. 둘 다 죽음
   • 1번도 밀리는데 2번도 1번이 쓰레드 쓰고 있어서 쓰레드 수행 불가
   • timeout 오류 발생

⇒ 해결법

요청마다 쓰레드 생성

1. 요청1 처리 지연
2. 요청2 쓰레드 생성
3. 서블릿 호출하면 쓰레드마다 실행 후 종료

요청이 올 때마다 쓰레드 생성해도 됨
WAS가 이렇게 동작해도 됨

요청마다 쓰레드 생성 시 장단점

장점

• 동시 요청 처리 가능
• 리소스(CPU, 메모리) 허용할 때 까지 처리 가능
• 하나의 쓰레드가 지연되어도 나머지 쓰레드는 정상 동작

단점

• 쓰레드 생성 비용 비싸다
  • CPU 많이 사용
  • 고객이 요청할 때마다 쓰레드를 생성하면 응답 속도가 늦어진다
• 컨텍스트 스위칭 비용 발생
  • 예를 들어 코어가 하나라면, 쓰레드 하나를 실행한 뒤 다른 쓰레드를 실행함
    • 빠르기 때문에 동시 처리되는 것처럼 보임
  • 쓰레드 전환할 때 비용 발생
    • ⇒ 컨텍스트 스위칭 비용
• 쓰레드 생성에 제한이 없다
  • 고객 요청이 너무 많이 오면 CPU, 메모리 임계점을 넘어서 서버가 죽을 수 있다
    • 프로모션, 수강 신청 등
  • 고객 요청만큼 쓰레드 생성됨

⇒ 해결법

쓰레드 풀

일반적인 WAS의 구현 방식
풀에 쓰레드가 있다가

1. 요청이 온다
2. 쓰레드 풀에 요청
   1. 풀에서 놀고 있는 쓰레드 주세요
3. 요청마다 쓰레드를 쓰레드 풀에서 가져다 쓴다
4. 다 쓰면 쓰레드 죽이는 것이 아니라 쓰레드 풀에 반납

특징

요청마다 쓰레드 생성하는 방식의 단점 보완

• 필요한 쓰레드를 쓰레드 풀에 보관하고 관리
• 쓰레드 풀에 생성 가능한 쓰레드의 최대치를 관리
  • 톰캣 기본 설정은 200개
    • tomcat max connection

사용

• 쓰레드가 필요하면 이미 생성되어 있는 쓰레드를 쓰레드 풀에서 꺼내서 사용
• 사용을 종료하면 쓰레드 풀에 해당 쓰레드 반납
• 최대 쓰레드 모두 사용중이어서 쓰레드 풀에 쓰레드가 없으면
  • 기다리는 요청은 거절하거나 특정 숫자만큼 대기하도록 설정

장점

• 쓰레드가 미리 생성되어 있으므로, context switching 비용^[각주:1]이 절약되고, 응답 시간이 빠르다
• 생성 가능한 쓰레드의 최대치 존재하므로 너무 많은 요청이 들어와도 기존 요청은 안전하게 처리 가능
  • 한계를 넘는 요청이 들어왔을 때 쓰레드 대기, 거절
  • 몇 개까지 대기할 지 설정 가능

실무 팁

쓰레드 풀 성능 튜닝

• WAS의 주요 튜닝 포인트는 최대 쓰레드(max thread) 수
  • 트래픽이 많을 때 이 값을 잘 조정하는 게 중요
• 이 값을 너무 낮게 설정하면
  • 동시 요청이 많을 때 서버 리소스는 여유롭지만 클라이언트는 응답 지연
  • 요청이 많을 때 쓰레드 실행은 적게 하는데 CPU 사용률은 낮음
  • 처리량은 많은데 요청 밀리면서 장애 발생
• 이 값을 너무 높게 설정하면
  • 동시 요청이 많을 때 CPU, 메모리 리소스가 임계점 초과로 서버 다운
• 장애 발생 시
  • 클라우드 서버 증설 후 이후 튜닝
  • 클라우드가 아니면 평상시에 튜닝

쓰레드 풀의 적정 숫자

• 애플리케이션 로직의 복잡도, CPU, IO 리소스 상황에 따라 다름
  • DB 조회 양
  • 대략적으로 추론할 뿐
• 성능 테스트
  • 애플리케이션 급격 변화, 로직에 급격한 변화 있으면 테스트 해야 함
  • 실제 서비스와 유사한 환경에서 시도
  • 툴: 아파치 ab, JMeter, nGrinder
  • 요청 테스트
  • 트레픽 잘 받는지 확인
  • 병목 포인트 확인

WAS의 멀티 쓰레드 지원

• 멀티 쓰레드 관련된 로직은 WAS가 처리
  • 개발자가 구현하려면 Java Concurrency 등 공부해야 함
• 개발자가 멀티쓰레드 관련 코드를 신경쓰지 않아도 됨
  • 개발자는 비즈니스 로직만 작성하면 됨
  • max 값 등 설정만 하면 된다
  • WAS의 주요 장점
• 개발자는 싱글 쓰레드 프로그래밍을 하듯이 편리하게 소스 코드 개발
• 주의
  • 멀티쓰레드 환경이므로 싱글톤 객체(서블릿, 스프링 빈)는 주의해서 사용
  • 멤버 변수 공유되는 것 주의

참고 자료

스프링 MVC 1편 - 백엔드 웹 개발 핵심 기술: 동시 요청 - 멀티 쓰레드, 김영한

1. 쓰레드를 생성하고 종료하는 비용(CPU) [본문으로]