JDBC Connection 에 대한 이해, HikariCP 설정 팁

JDBC가 무엇인지 아예 모른다면 [10분 테코톡] 코코닥의 JDBC 영상을 한번 보고 오시면 좋습니다.

 

 

 

 

🍀 데이터베이스의 시작은 결국 JDBC 

JVM을 사용한다면 스프링이건 JPA를 쓰건 결국 마지막엔 JDBC (Java Database Connectivity API)를 이용하여 DB 와 통신하게 됩니다. 참고로 JDBC Driver는 인터페이스 일 뿐 실제 구현체는 공식 DB 벤더사(Oracle, MS..)에서 제공합니다. 만약 나만의 Driver를 구현하고 싶다면 동일하게 JDBC Driver 구현체를 만들어서 등록하면 됩니다.

try {
    // JDBC 4.0 부터는 META-INF/services/java.sql.Driver를 읽어 DriverManager를 미리 생성해줍니다.
    // 물론 Class.forName("com.mysql.cj.jdbc.Driver") 를 호출해서 직접 DriverManager에 추가할 수도 있습니다.
    connection = DriverManager.getConnection(jdbcUrl, username, password)
    println("Database connection established.")

    // Statement 생성
    statement = connection.createStatement()

    // SQL 쿼리 실행
    val sql = "SELECT * FROM your_table"
    resultSet = statement.executeQuery(sql)

    // 결과 처리
    while (resultSet.next()) {
        // 첫 번째 컬럼 값을 String으로 읽기
        val firstColumnValue = resultSet.getString(1)
        println(firstColumnValue)
    }
} catch (e: Exception) {
    e.printStackTrace()
} finally {
    // DB 커넥션을 닫아줘야 합니다. Java7 부터는 try-resource 문 (kotlin 에선 use)를 사용하면 편합니다.
    resultSet?.close()
    statement?.close()
    connection?.close()
}

 

 

 

🍀 DB 트랜잭션은 어떻게 거는 걸까요?

대부분의 DBMS 는 AutoCommit 트랜잭션 모드와 명시적인 트랜잭션 모드(BEGIN-COMMIT-ROLLBACK) 둘 다 제공합니다. 당연한거지만 DB에서 모든 작업은 트랜잭션 내에서 이루어집니다. 트랜잭션을 걸지 않았더라도 AutoCommit에 의해 작업 완료 후 Commit이 실행 됩니다.

 

JDBC의 경우 트랜잭션 범위를 지정할 때 별도의 API, 예를 들어 BeginTransaction() 같은 메서드를 따로 제공하지않습니다. 대신 Connection.setAutoCommit(false) 를 이용해 트랜잭션을 지정할 수 있도록 제공합니다.

 

이 때 한가지 유의해야할 점은, setAutoCommit을 바꿀 때 JDBC 내부에만 뚝-딱 적용되는게 아니라 DBMS에 쿼리로 요청해야한다는 점입니다. 이를 무의미하게 계속 변경한다면 필요 이상의 트래픽과 DB 부하가 발생될 수 있습니다. 물론 스프링을 쓴다면 DataSourceTranscationManager 에서 이미 최적화 되어있고 HikariDataSource 에서도 autoCommit을 관리해주기 때문에 개발자가 신경 쓸 일은 없긴합니다.

BEGIN(deferred)는 실제 쿼리를 실행 요청을 하는 시점에 "BEGIN" 을 전송한다는 의미입니다.

 

 

만약 Reader, Writer DB를 분리해서 사용한다면 아래와 같이 기본값을 다르게 설정해주기도 합니다.

spring:
  datasource:
    maindb:
      writer:
        driver-class-name: org.postgresql.Driver
        auto-commit: false # writer는 직접 트랜잭션을 걸일이 많으니 기본값 false
        connection-timeout: 3000
      reader:
        driver-class-name: org.postgresql.Driver
        auto-commit: true # read-only는 트랜잭션을 걸 일이 없으니 기본값 true
        connection-timeout: 3000

 

 

 

🍀 JDBC API는 어떻게 동작할까요?

JDBC API 를 자세하게 살펴보면 크게 JDBC Driver와 DataSource로 나눌 수 있습니다. 참고로 Repository(DAO, Data Access Object)는 개발자가 직접 작성하는 코드를 의미합니다.

• JDBC Driver 인터페이스는 실제 데이터베이스와 네트워크 연결을 담당합니다.
• DataSource 인터페이스는 각종 설정 및 커넥션 풀을 담당합니다.
• 참고로 아무런 설정없이 연습용으로 단순 연결을 해볼 때는 DataSource 대신 DriverManager 를  직접 사용할 수도 있습니다. 

이미지 출처 https://netmarble.engineering/jdbc-timeout-for-game-server

 

- JDBC Driver 

DriverManager에 등록된 클래스들은 JDBC Driver 구현체가 생성될 때 static {...} 으로 런타임에 등록됩니다.

 자바에서 Driver 인터페이스로 제공됩니다. 직접 사용하지않고 DataSource를 통해 사용하며 이는 특정 DB와 실질적인 통신을 구현한 부분입니다. Driver 구현체는 공식 벤더사(ex Oracle, MS)가 구현한 최적화된 코드를 이용합니다. 

JDBC 4.0 부터는 직접 등록 안해도, META-INF/services/java.sql.Driver 경로에 두면 JDBC Driver가 실행될 때 자동으로 등록합니다.

 

 

- DataSource

실제 구현체에서 DriverManager로 직접 커넥션을 가져오든, 커넥션 풀이나 이미 있는 DataSource를 래핑해서 사용하든 추상화해서 사용하기에 아무 상관없습니다.

* 당연한거지만 DriverManager 내부 코드에는 DataSource 는 존재하지 않습니다. 그래서 이미 존재하는 커넥션 풀 객체를 적용할 수 없는데, Spring을 사용한다면 DriverManagerDataSource를 이용하면 손쉽게 DriverManager 에 커넥션풀을 붙여서 사용할 수 있습니다.

 

자바에서 DataSource 인터페이스로 제공됩니다. 이는 JDBC Driver가 가져온 DB 커넥션과 커넥션 풀을 관리하는 기능을 제공합니다. DataSource의 구현체 또한 DB 벤더사 또는 서드파티사를 통해 제공됩니다.

라이브러리 이름	JDBC DataSource 패키지 경로(=이름)
Commons DBCP ( * Apache DBCP )  https://d2.naver.com/helloworld/5102792	org.apache.commons.dbcp2.BasicDataSource
Tomcat JDBC (* 톰캣 내장 DBCP)	org.apache.tomcat.jdbc.pool.DataSource
DRUID ( * 알리바바 DBCP )	com.alibaba.druid.pool.DruidDataSource
HikariCP ( * Spring 기본 DBCP )	com.zaxxer.hikari.HikariDataSource

 

 

 

🍀 Connection Timeout은 왜 발생하는걸까요?

JDBC Driver도 결국 네트워크를 통해 DB 서버와 통신하는 클라이언트입니다. 보통 소켓을 이용한 TCP/IP 연결을 사용하기 때문에  읽기 도중 Connection Timeout, Socket Timeout이 발생할 수 있습니다. DB 구현체마다 다르겠지만 보통 커넥션이 끊어진 경우 실행중인 쿼리가 취소되고 트랜잭션이 롤백됩니다.

 

- Connection Timeout : 최초 연결을 맺는 시간(임계치, threshold)를 초과된 경우

- Socket Timeout : 연결은 성공했으나 데이터를 주고 받을 때 개별 패킷 응답시간을 초과한 경우

이미지 출처 https://netmarble.engineering/jdbc-timeout-for-game-server

 

 

여기에 추가로 JDBC Driver에서 Statement Timeout 까지 제공합니다. 

SocketTime이 물리적인 연결에서 네트워크 장애를 의미한다면, Statement Timeout은 DB에서 수행되는 하나의 SQL Statement 수행시간에 대한 타임 아웃을 지정할 수 있습니다. 여담으로 Spring TransactionManager를 사용한다면 트랜잭션 timeout 도 추가로 제공합니다.

참고로 SQL 실행시간에 제한을 걸기위해 Statement Timeout을 설정할 경우, 당연히 Socket Timeout 을 더 크게 잡아줘야합니다. 어차피 소켓이 끊기면 내부에서 어떻게 설정했던 해당 트랜잭션은 롤백되니까요. 

 

Connection -> Statement (StatementTimeout 발생지점) -> 실제 커넥션 (TCP, SocketTimeOut 발생지점)

 

 

 

 

 

 

🍀 DB Connection Pool (DBCP) 는 왜 사용하나요?

미리 커넥션(TCP 연결)을 다 해놓고 Connection 객체를 제공하는 시점에 DB HealthCheck 만 한번 해보고 재사용 하는 방식

DB 커넥션을 얻는 과정
1. [어플리케이션 서버]는 JDBC 인터페이스를 이용해 실제 DB 드라이버를 사용하여 커넥션을 조회한다.
2. 요청 받은 DB 드라이버는 TCP/IP 커넥션을 연결한다. (TCP 3 Way-Handshake)
3. 연결된 커넥션으로 [DB 서버]에 로그인 요청 및 세션 부가정보를 전달한다.
4. 요청받은 [DB 서버]는 인증을 완료하고 [어플리케이션 서버]와 통신할 DB 세션을 내부적으로 생성한다.
5. [DB 서버]는 커넥션 생성이 완료되었다는 응답을 보낸다.
6. DB 드라이버는 연결이 완료되었는지 검증한 후, 새로운 Connection 객체를 [어플리케이션 서버]에 전달한다.   

 

DB Connection Pool (이하 DBCP) 를 연결하고 객체를 초기화하는 과정은 비용도 많이 들고 그 과정 자체도 복잡합니다.  그래서 매번 새롭게 연결하지 않고 커넥션 풀(= 커넥션 저장소)를 이용해 미리 커넥션을 만들어두고 재사용하게됩니다. 물론 개발자가 직업 Map을 만들어서 관리해도 됩니다만 보통은 잘 만들어진 커넥션풀 라이브러리를 이용합니다. 스프링은 기본으로 HikariCP 를 사용하는데 벤치마크 링크를 보면 어떤 점이 좋아서 기본으로 채택되었는지 알 수 있습니다.

미리 커넥션(TCP 연결)을 다 해놓고 Connection 객체를 제공하는 시점에 DB HealthCheck 만 한번 해보고 재사용 하는 방식

 

Java 커넥션 풀 라이브러리의 경우 대부분 벤더사의 DataSource를 래핑하여 제공합니다. 예를 들어 HikariCP라면 HikariDataSource 에 사용할 DB를 설정하면 바로 사용가능하게 구성해둡니다. 이때 설정하는 방법은 2가지가 있는데 보통 jdbcUrl로 많이 연결합니다.

• < JDBC URL + DB Driver > 설정
  jdbcUrl: jdbc:mysql://localhost:3306/world?serverTimeZone=UTC&CharacterEncoding=UTF-8
• < DataSource 구현체 >  className 설정
  dataSourceClassName: oracle.jdbc.pool.OracleDataSource

 

 

 

- DataSource 구현체 설정 (DataSource-ClassName 설정)

DataSource 구현체를 직접 명시하여 커넥션 풀을 설정합니다. 특정 DataSource 구현체만 있는 설정을 쉽게 사용할 수 있습니다.

DataSource 이름은 여기에서 확인가능합니다. https://github.com/brettwooldridge/HikariCP#popular-datasource-class-names

// DataSourceClassName 설정은 com.zaxxer.hikari.util.DriverDataSource 기반으로 동작합니다.
HikariConfig config = new HikariConfig();

// PostgreSQL의 DataSource 구현체 클래스 이름을 설정
config.setDataSourceClassName("org.postgresql.ds.PGSimpleDataSource");
config.addDataSourceProperty("user", "user");
config.addDataSourceProperty("password", "password");
HikariDataSource dataSource = new HikariDataSource(config);

 

 

 

 

- 자바 표준 JDBC URL + DB Driver (driver-class-name)

표준 jdbcUrl을 그대로 사용해서 설정합니다. 직관적이고 편해서 많이 사용하지만 특정 DB에만 있는 설정을 추가하기 어렵습니다. 

HikariConfig config = new HikariConfig();

// PostgreSQL 데이터베이스에 연결하기 위한 JDBC URL 설정
String jdbcUrl = "jdbc:postgresql://localhost:5432/mydatabase";
config.setJdbcUrl(jdbcUrl);
HikariDataSource dataSource = new HikariDataSource(config);

 

코드로 보면 어색할수도 있는데 스프링부트의 자동구성을 사용한다면 아래와 같이 yml로 편하게 사용할 수 있습니다.

가끔 DB 자체 설정으로 착각하시는 경우가 있는데, 이는 HikariDataSource에서 하는 서버 타임아웃 값 & 커넥션 풀 설정입니다.

spring:
 datasource:
   # ex) spring.datasource.driver-class-name → HikariConfig.setDriverClassName()
   driver-class-name: com.mysql.cj.jdbc.Driver
   url: jdbc:mysql://localhost:3306/world?serverTimeZone=UTC&CharacterEncoding=UTF-8
   username: root
   password: your_password
   hikari:
      # 스레드가 HikariCP에 connection을 요청하고, 이를 대기하는 최대시간입니다. * DB timeout 아닙니다.
      connection-timeout: 3000
      # HikariCP 커넥션 풀의 이름.
      pool-name: HikariCP-Writer
      # 기본으로 설정할 autoCommit 값. 보통 read-only는 true 로, writer는 false로 설정합니다.
      auto-commit: false
      
      # JDBC 4.0 이전에는 각 DB가 Connection.isValid() 같은 걸 지원하지 않아서 유용하게 사용했다.
      # 물론 지금은 전~혀 필요 없는 기능
      connection-init-sql: SET TIME ZONE 'UTC' # 커넥션 생성할 때 마다 쿼리
      connection-test-query: SELECT 1 # 새로운 커넥션을 주기 전 DB 헬스체크 하는 쿼리
      
      # 새로운 커넥션을 주기 전 DB 헬스체크 timeout 시간, 참고로 connection-init-sql에도 같이 적용됨
      validation-timeout: 2000
      
      # 풀에서 유지되는 최소한의 유휴 커넥션 수.
      minimum-idle: 10
      # 풀에서 관리할 수 있는 최대 커넥션 수.
      maximum-pool-size: 50
      # 커넥션이 유휴 상태로 있을 수 있는 최대 시간(밀리초), DB 자체 커넥션 수가 부족하다면 시간을 줄여야함
      idle-timeout: 30000
      # 풀에 커넥션이 생성된 후 있을 수 있는 최대시간 (밀리초), DB 자체 커넥션 수가 부족하다면 시간을 줄여야함
      max-lifetime: 50000

 

참고로 reader, writer를 따로 사용한다면 아래와 같이 @ConfigurationProperties를 활용해 각각 따로 설정해주기도 합니다.

 

 

 

 

 

 

🍀 커넥션 풀(HikariCP) 은 어떻게 설정하는게 좋을까요?

HikariCP 기준으로 설명하면 추천값은 아래와 같습니다.

HikariCP 설정	설명	추천값
maximum-pool-size	커넥션 풀의 최대 크기	(기본값 10개) 추천값 50 개 상황에 따라 조절해야한다.
minimum-idle	커넥션 풀의 최소 크기 정확히는 풀에서 유지될 최소 유후(Idle) 개수	(기본값 10개) 설정하지 않는다.
	✅ 응답속도가 중요한 시스템이라면 max 와 min 을 동일하게 맞춰 항상 커넥션이 살아있도록 유지한다. ✅ pool size의 경우 서버의 최대 스레드 수를 적절하게 지정해야한다. 커넥션 또한 Pool Locking 상태가 되어 데드락이 발생할 수 있다. *글 하단에 추가 설명있음
connection-timeout	HikariCP 커넥션 요청 후 대기하는 시간 (DB 설정과는 관련 없다) 즉, 이는 다른 모든 대기시간을 포함하기에 statement-timeout 과 validation-timeout을 고려해서 지정해야한다.	(기본값 30초) 추천값 3,000ms
max-lifetime	커넥션 풀에서 대기할 수 있는 커넥션의 최대 생명주기(시간)	(기본값 30분) 추천값 50,000ms DB의 wait_timeout (idle_transaction_session_timeout) 보다 반드시 작게 설정해야 의미가 있다.
idle-timeout	놀고있는 (idle) 커넥션이 자동 Close 되기 전 대기시간	추천값 50,000ms pool size 를 고정해서 사용한다면 0 (무한)으로 설정한다.
	✅ max-lifetime 과 idle-timeout을 넘기더라도 minimum-idle 를 초과한 경우만 커넥션이 제거됩니다. ✅ idle-timeout은 max-lifetime보다 작은 값이어야 의미있습니다. 아니면 idle 상태가 되기 전 커넥션이 삭제되었다가 새로 생성될테니까요.
keepalive-time	DB 가 커넥션을 자체적으로 끊지 않도록 HikariCP가 DB 헬스체크 Connection.isValid() 를 호출해주는 최대시간입니다. 참고로 30,000ms 보다 작게 설정할 수 없게 막혀있습니다.	(기본값 60000ms) 기본값 사용 응답 속도가 중요하다면 30,000ms
validation-timeout	HikariCP 에서 커넥션을 주기 전 DB 헬스체크 의 타임아웃, Connection.isValid()	추천값 1000ms 이하
	✅ DB 헬스체크 용도인 Connection.isValid() 는 JDBC4.0 부터 지원하는 기능, 그 이전에는 connection-init-sql 같은 걸로 사용했는데 구시대 유물이라 사용할 일이 없다. 참고로 connection-init-sql에도 validation-timeout이 동일하게 걸린다.
autoCommit	위에서도 설명한 auto-commit의 기본값	Writer 작업이 많은경우 true Read 작업이 많은 경우 false

 

 

DB 와 TCP 통신 중 발생하는 Connection Timeout 이나 Socket Timeout (==Read Timeout) 은 커넥션 풀과는 관련 없습니다. 필요하다면 이는 JDBC URL로 직접 설정할 수 있습니다.

# 기본값 설정, 특정 쿼리만 설정하고 싶다면 java.sql.Statement.setQueryTimeout(int timeout) 사용
spring:
  datasource:
    url: jdbc:mysql://hostname:3306/database?socketTimeout=10000&connectTimeout=10000

HikariCP의 connection-timeout 과 JDBC Url에 거는 TCP 통신 자체의 connection-timeout은 완전 다른 설정임을 유의하자.

 

 

JDBC에서 따로 제공하는 Statement Timeout은 Statement.setQueryTimeout() 메서드로 직접 걸 수 있습니다.

 

 

또한 Spring @Transaction(timeout=...)을 사용한다면, 스프링에서 제공하는 Transaction Timeout도 사용할 수 있습니다.

 

 

 

 

🍀 Connection Pool 과 스레드의 상관관계 ( HikariCP 데드락 )

connection pool size의 경우 서버의 최대 스레드 수를 적절하게 지정해주어야 합니다. 아니면 Pool Locking 으로 HikariCP 자체 데드락이 발생할 수 있습니다. 다행히도 이는 잘 알려진 이슈라서 아래 공식에 따라 개수를 지정해주면 안전합니다.

Pool Locking은 아래와 같은 상황에서 발생할 수 있습니다.
1. 현재 한 트랜잭션 (하나의 스레드)에서 커넥션을 물고 있는 상태로, 커넥션을 하나 더 사용하려고 시도함
- 예를 들어 insert 할 때 id_auto_increment를 사용하지 않는 경우 서브 트랜잭션으로 ID 받아오는 커넥션 추가 생성
2. 그런데 서버를 빡세게 돌려서 풀에 남아 있는 커넥션이 없음.
3. 모든 스레드가 커넥션을 1개씩 들고 서로가 서로를 기다리는 데드락 완성 ^ㅁ^
4. 이제 커넥션을 얻지 못해서, HikariCP 기본 timeout인 30초를 넘겨 대부분의 요청이 rollback -> 대 장애!

 

해당 현상에 대해서는 (2020 배달의민족) HikariCP Dead lock에서 벗어나기 (이론편) 글에서도 자세하게 확인할 수 있습니다.

 

 

 

📚 레퍼런스

(2022 넷마블 엔지니어링) 게임 서버 시스템을 위한 JDBC와 Timeout 이해하기
(2022 넷마블 엔지니어링) 게임 서버 시스템을 위한 HikariCP 옵션 및 권장 설정

게임 서버 시스템을 위한 HikariCP 옵션 및 권장 설정 - 넷마블 기술 블로그

 

(2020 배달의민족) HikariCP Dead lock에서 벗어나기 (이론편)

(2020 배달의민족) HikariCP Dead lock에서 벗어나기 (실전편)

(2015 네이버 D2) Commons DBCP 이해하기