로그 파일이 바뀌어도 이어 읽는 수집기
로그 파일을 읽어 데이터베이스에 넣는 일은 처음 생각한 것보다 훨씬 어려웠다. 수집기는 계속 돌아가고, 로그는 계속 쌓인다. 빨리 처리하지 못하면 점점 뒤로 밀린다. 그렇다고 읽는 도중에 문제가 생겨 프로세스가 죽는다면? 그런 상황까지 생각하니 쉬운 일이 아니었다.
파일이 바뀌기도 한다. 기존 파일에 기록하다가 이름을 바꿔 따로 보관하고, 새 파일에 새 내용을 쓰는 경우도 있다. 그 사이에 이미 저장한 요청을 또 세거나, 아직 저장하지 못한 요청을 건너뛰어서는 안 된다.
수집기는 앞선 글에서 보강한 OpenCanary 로그를 읽어 요청별 기록을 데이터베이스에 저장한다. 아래 동작은 당시 프로젝트의 검증 기록에서 확인한 것이다.
읽었다고 저장된 것은 아니었다
섹션 제목: “읽었다고 저장된 것은 아니었다”앞선 글에서 보강한 웹 로그는 한 줄에 요청 하나를 JSON으로 남긴다. 수집기는 이런 파일을 읽으면서 파일 시작점에서 몇 바이트까지 읽었는지 추적한다. 다음에 이어 읽을 위치를 알기 위해서다.
하지만 마지막으로 읽은 위치를 그대로 재시작 위치로 삼을 수는 없었다. 한 줄을 읽은 뒤 데이터베이스에 넣기 전에 수집기가 종료되는 상황을 생각해 보자. 재시작할 때 그다음 줄부터 읽으면, 파일에는 있는 요청이 데이터베이스에는 남지 않는다. 반대로 요청 기록만 저장하고 위치를 갱신하기 전에 종료되면 같은 줄을 다시 읽게 된다.
줄이 아직 완성되지 않은 경우도 있다. 엔진이 JSON의 앞부분만 쓴 순간에 수집기가 파일 끝에 도달할 수 있다. 이때는 깨진 기록으로 확정하지 않고 줄바꿈 문자가 올 때까지 기다린다. 수집기는 줄바꿈을 확인한 뒤에야 한 줄을 끝까지 읽었다고 판단한다.
그래서 읽은 위치와 저장을 마친 위치를 구분했다. 재시작에 사용할 위치를 체크포인트라고 부르고, 데이터베이스에 저장을 마친 줄 바로 뒤를 가리키도록 했다. 더 읽어 둔 내용이 있더라도 저장이 끝나지 않았다면 다시 처리할 대상이다. 기록과 체크포인트를 함께 저장하는 방법은 뒤에서 다룬다.
같은 이름으로 생긴 새 파일
섹션 제목: “같은 이름으로 생긴 새 파일”위치를 기억하는 것만으로는 파일 교체에 대응할 수 없다. 예를 들어 web.log의 이름을 web.log.1로 바꾸고, 원래 이름으로 새 파일을 만든다고 하자. 설명을 위한 파일명 예시다. 수집기가 이전 파일에서 읽던 위치를 새 web.log에 적용하면 새 파일의 앞부분을 건너뛸 수 있다.
이를 구분하기 위해 파일마다 세대 식별자를 붙였다. 같은 경로에 새 파일이 생겨도 이전 파일과 구분해서 읽기 위치를 관리하는 것이다. 재시작할 때 같은 파일을 찾을 수 있도록 운영체제의 파일 식별 정보와 관측한 크기도 보관했다. 파일 앞부분에서는 내용을 비교할 수 있는 요약값인 해시를 계산해 함께 남겼다. 이름이 바뀐 이전 파일을 찾을 후보 경로는 설정으로 전달했다.
이전 파일을 언제 닫을지도 정해야 했다. 파일 이름이 바뀌더라도 엔진이 이미 열어 둔 파일에 계속 기록할 수 있기 때문이다. 따라서 수집기가 현재 파일 끝까지 읽었다고 해서 그 파일을 바로 닫지는 않았다. 엔진이 새 파일로 기록을 옮기는 방식과, 이전 파일에 남은 내용을 읽었는지를 함께 확인해야 했다.
이렇게 파일을 계속 열어 두는 데에도 한계는 있다. 열린 파일 수에 상한을 두고, 한도에 도달하면 새 파일의 수집을 미루며 상태를 알리도록 했다. 이전 파일을 닫기로 결정할 때에도 나중에 추가될 기록을 놓칠 가능성을 남겼다. 파일 교체에 대응하려면 읽기 위치뿐 아니라 이전 파일을 언제까지 유지할지도 관리해야 했다.
앞부분은 같지만 뒤가 사라진 경우
섹션 제목: “앞부분은 같지만 뒤가 사라진 경우”파일 앞부분을 비교하는 것만으로 충분하지 않은 사례도 있었다. 검토 과정에서는 12 KB인 파일에서 3바이트만 읽은 뒤, 앞의 4 KB는 같지만 전체 크기가 8 KB로 줄어든 상황을 재현했다.
여기서 로그를 처리하기 위해 읽은 양과 파일 확인용 해시를 계산한 범위는 다르다. 로그는 3바이트까지만 읽었지만, 같은 파일인지 비교하려고 앞의 4 KB는 별도로 확인한 상태다. 두 범위는 그대로여도 아직 읽지 못한 뒤쪽의 4 KB는 사라질 수 있었다. 그래서 이미 관측한 파일 크기를 복원 정보에 추가하고, 실행 중과 재시작 때 크기가 줄었는지도 확인하도록 보강했다.
크기 감소를 확인하면 기록을 놓쳤을 가능성, 즉 수집 공백을 남긴다. 다만 수집기가 확인하는 사이에 파일이 줄었다가 같은 내용으로 다시 커지는 경우까지 모두 알아낼 수는 없다. 이 때문에 파일을 복사한 뒤 원본을 비우는 방식인 copytruncate는 기본 지원 대상에서 제외했다. 수집기는 엔진의 파일 교체·보관 방식과 함께 맞춰야 했다.
요청 기록과 재개 위치를 함께 저장하기
섹션 제목: “요청 기록과 재개 위치를 함께 저장하기”파일을 구분했으니 처음의 문제로 돌아갈 수 있다. 요청 기록과 체크포인트가 따로 저장되면, 두 작업 사이에서 종료됐을 때 누락이나 중복이 생길 수 있다.
데이터베이스는 관계형 데이터베이스를 쓰고 싶었고, 그중에서도 요즘은 PostgreSQL이 더 나은 선택이라고 생각했다. 두 변경은 PostgreSQL의 트랜잭션 하나로 묶었다. 트랜잭션은 여러 변경을 모두 반영하거나, 하나라도 실패하면 함께 취소하도록 묶는 단위다. 요청 기록과 다음 재개 위치가 함께 저장되므로, 위치만 앞서거나 기록만 남는 상태를 막을 수 있다. 여러 줄을 묶어 처리할 때도 그 묶음에 같은 원칙을 적용했다.
이렇게 변경을 확정하는 것을 커밋이라고 한다. 커밋 전에 종료되면 이전 체크포인트부터 다시 처리하고, 커밋한 뒤 종료되면 새 체크포인트에서 이어 읽는다. 체크포인트를 저장하다 오류가 나면 같은 묶음의 요청 기록 저장도 함께 취소된다.
다시 읽은 줄이 이미 저장된 것인지 확인하는 기준도 필요했다. 어느 수집 대상의 어느 파일 세대에서, 어느 바이트 위치에 있던 기록인지를 사용했다. 같은 위치의 기록을 다시 처리하면 추가로 저장하지 않는다. 반면 내용이 같아도 다른 위치에 있는 줄은 별도 기록으로 남긴다. 같은 요청을 두 번 보낸 것과, 한 요청을 수집기가 두 번 읽은 것은 구분해야 하기 때문이다.
완성된 줄이라도 JSON이 잘못됐거나 크기 제한을 넘으면 정상 요청 기록으로 받아들일 수 없다. 이런 줄은 원문을 보관하지 않고 거부 사유와 원본 해시, 크기와 위치를 남겼다. 거부 기록도 체크포인트와 함께 저장해 재시작한 뒤 어디까지 처리했는지 확인할 수 있게 했다.
멈춘 지점에서 다시 확인하기
섹션 제목: “멈춘 지점에서 다시 확인하기”시험에서는 파일을 이어 읽는 동작과 데이터베이스 저장을 나누어 확인했다. 임시 파일과 앞선 엔진 시험에서 남긴 로그를 사용해 줄이 덜 쓰인 상태, 파일 교체, 손상된 입력과 재시작을 검사했다.
데이터베이스를 연결한 시험에서는 실제 프로세스를 커밋 전과 후에 종료했다. 다시 처리한 뒤 요청 기록이 빠지거나 중복되지 않았는지 확인했다. 체크포인트 저장에 의도적으로 오류를 발생시킨 경우에는 같은 묶음의 요청 기록과 재개 정보가 함께 취소되는 것을 확인했다.
아직 줄바꿈이 오지 않은 상태에서 종료한 사례도 있었다. 재시작한 뒤 나머지가 기록되고 줄바꿈이 도착했을 때, 그 줄은 한 번만 저장됐다. 같은 원본을 다시 처리하는 경우와 같은 내용이 다른 위치에 있는 경우도 나누어 검사했다. 중복을 막는 처리가 실제로 반복된 요청까지 지우지 않는지 확인하기 위해서였다.
복원할 수 없는 기록은 공백으로 남기기
섹션 제목: “복원할 수 없는 기록은 공백으로 남기기”체크포인트가 정확해도 원본 파일이 사라지면 내용을 되살릴 수 없다. 저장해 둔 파일이나 재개 위치를 확인할 수 없을 때는 복원할 수 없다는 상태와 수집 공백을 데이터베이스에 남겼다. 파일이 다시 나타났거나 수집기를 재시작했다는 이유만으로 그 공백을 지우지 않았다.
복원할 수 없는 부분은 복원할 수 없다고 사용자에게 알려 줘야 한다고 생각했다. 불가능한 일을 ‘작업 중’ 같은 상태로 둘 수는 없다.
공백을 어느 시점부터 표시할지도 중요했다. 재시작 시각부터 표시하면 수집기가 멈춰 있던 동안 사라진 기록을 놓칠 수 있다. 그래서 이전에 저장해 둔 파일 관측 시점을 기준으로 손실 가능성이 있는 범위를 남겼다. 이 범위 전체에서 실제로 기록이 사라졌다는 뜻은 아니다. 어느 구간의 수집이 온전했는지 확신할 수 없는지를 표시한 것이다.
cheesetrap에서 이 기록은 이후 신고 판단의 근거가 된다. 요청이 몇 건 있었는지 살펴볼 때에도 중간에 수집하지 못한 구간이 있는지 함께 읽어야 한다. 요청 내용과 함께 수집 상태를 남긴 이유다.
만들면서 알게 된 건 무엇을 지켜야 하는지 처음에 정해 둬야 한다는 점이었다. 예상하지 못한 문제가 생겨도, 그 기준이 있으면 어느 쪽으로 풀지 고를 수 있었다.