2010년 12월 25일 토요일

InnoDB Redo log

InnoDB Redo log (일반적으로 log 라고 명명)
  • 일반적으로 ib_logfile 이라는 이름으로 파일로 생성됨
  • 리두 로그는 하나의 데이터베이스에 전역적으로 1개만 존재함
  • 리두 로그는 여러개의 파일 그룹으로 구성되며, 최소 2개 이상으로 구성되며, 순환적(Circular)으로 사용됨
  • 리두 로그 파일의 헤더에는 마지막 체크 포인트 값이 관리됨
  • 리두 로그는 페이지 형태로 관리되지 않고 레코드 단위로 관리됨
  • 하나의 리두 로그 레코드는 512 바이트 단위로 할당되며, 이는 디스크의 섹터 크기와 동일한 크기임
  • 작은 트랜잭션이 많은 경우(리두 로그 정보가 512바이트보다 많이 작은 경우), 로그의 나머지 공간은 낭비됨
  • 리두 로그는 변경 후의 데이터만 관리함 (변경 전의 데이터는 가지지 않음)

Redo log 관련 옵션
  • innodb_log_group_home_dir
    리두 로그 파일들이 존재하는 디렉토리
  • innodb_log_file_size
    리두 로그 그룹의 각 파일들 사이즈 (리두 로그 전체 사이즈 =  innodb_log_files_in_group * innodb_log_file_size)
  • innodb_log_files_in_group
    리두 로그 그룹의 파일 개수 
  • innodb_log_buffer_size
    리두 로그를 파일에 직접 기록하기 전 메모리상에서 버퍼링을 하는데 이를 위한 버퍼 사이즈
  • innodb_flush_log_at_trx_commit
    리두 로그를 언제 버퍼에서 파일로 기록할지 결정 (매 트랜잭션마다, 1초에 한번씩 기록, ...)

Redo log 관련 옵션 변경
  • 단순히 my.cnf 파일의 관련 옵션을 변경할 수는 없음 (특히, innodb_log_file_size 와 innodb_log_files_in_group 옵션)
  • 먼저 MySQL 서버를 깨끗하게 종료함 (set global innodb_fast_shutdown=0 옵션 적용 후, MySQL을 종료)
    -> InnoDB 재 시작시 Redo log가 필요 없도록 모든 변경된 데이터 페이지를 디스크에 기록
  • 기존의 Redo log 파일들 (ib_logfile*)은 삭제 또는 백업
    -> 기존 파일이 그 위치에 남아있으면 안됨)
  • Redo log 관련 옵션 변경
  • MySQL 재 시작 (Redo log 파일이 없으면 새로 생성함)

Redo log buffer
  • Redo log files에 기록하기 전에 메모리상에서 버퍼링 하기 위한 공간
  • 일반적으로 Redo log buffer의 사이즈는 4M ~ 16M 정도로 충분함
  • BLOB이나 TEXT 형태의 데이터 변경이 많은 경우에는 Log buffer의 사이즈를 더 늘려야할 필요성 있음
  • Log buffer가 10초 정도의 트랜잭션을 유지할 수 있으면 충분함
  • Log의 disk write회수와 write된 바이트 수는 Status Variable로 확인 가능

Redo log files
  • Redo log file들은 기본적으로 버퍼링 모드로 할상 오픈된 상태임
  • fsync() System call을 이용하여 Disk로 Flush됨
  • 일반적으로 Redo log는 4KB 미만의 블록으로 Disk에 기록됨
  • Redo log 파일에 기록하기 전에 반드시 읽기 작업이 필요함

Redo log 레코드 포맷
  • 페이지 번호
  • 페이지에서 대상 레코드의 Offset (위치)
  • 로그 타입 (INSERT, UPDATE, DELETE)
  • 변경후의 값

댓글 3개:

  1. 작성자가 댓글을 삭제했습니다.

    답글삭제
  2. 안녕하세요? 요즘 한창 InnoDB redo logging쪽을 들여다보고 있는 학생입니다.

    소스코드 디버깅을 통해 분석해 보고 있는데요. 위에서 언급해주신 내용에서 궁금한 점이 있어 이렇게 댓글을 답니다.

    혹시 위에서 언급하신 "리두 로그는 변경 후의 데이터만 관리함" 에서 "리두 로그"가 Redo log record만을 의미하는 것인지 궁금합니다.

    MySQL에 INSERT Query를 수행하는 과정을 주욱 tracing해보니, 변경 후의 정보(redo log record)뿐만 아니라, DML 구문을 수행중에 생성되는 undo log record도 함께 mini-transaction에 logging된다는 사실을 확인하였는데요..(이러한 redo/undo logging 정보들은 mtr_commit시 Redo log buffer에 기록되었다가 transaction commit 또는 checkpoint시점에 InnoDB redo log file에 flush되는 것으로 알고 있습니다.)

    그래서 이 부분도 함께 언급해주면 좋을 것 같다는 생각이 듭니다.
    (즉, InnoDB에서는 crash recovery를 위한 log 정보로써 redo log 및 undo log 정보를 함께 redo log file에 기록한다...이 글에서 말하는 Redo log는 redo log record만을 일컫는다..)

    혹시 제가 잘못 알고 있는 것인지 궁금합니다.

    p.s MySQL 공부하면서 작성자님 글이 큰 도움이 되고 있습니다^^ 정말 감사드립니다...

    답글삭제
  3. 안녕하세요.

    InnoDB에서 트랜잭션의 COMMIT/ROLLBACK을 위해서
    두 가지 로그를 가지고 있습니다. 말씀하신 것과 같이 Redo log와 Undo log인데요. Redo log buffer를 거쳐서 Redo log file로 저장되는 것은 맞습니다.
    Redo log 파일에는 변경된 정보들이 하나의 레코드로 저장되는데 이를 Redo log record라고 표현하는 것이 더 정확하겠지만, 여기에서는 Redo log record랑 Redo log랑 동의어정도로 생각해주시면 될듯합니다.

    Redo log는 Roll forwarding을 위한 로그이고,
    Undo log는 Roll backing을 위한 로그입니다. 둘은 전혀 다른 로그이며,
    저장 위치도 다릅니다.

    Redo log는 InnoDB log file ( innodb_log_file_size 와 innodb_log_files_in_group 옵션으로 지정되는) 에 기록되지만
    Undo log는 시스템 테이블 스페이스에 저장됩니다.
    또한 Undo log는 트랜잭션의 Commit/Rollback 이외에도
    Non-locking consistent read에도 이용되기 때문에 변경의 주체가 되는 트랜잭션 종료와 관계 없이 계속 시스템 테이블 스페이스에 남아 있을 수 있습니다.

    다른 궁금하신 것이 있으시면 또 문의 주세요.

    답글삭제