콘텐츠로 이동
개발 기록
← 전체 글

지식 증류로 작은 모델에 무엇을 가르칠 수 있을까

로컬에서 모델을 받아 몇 번 돌려 본 적이 있다. 모델들에는 ’증류됨’이나 ‘양자화’ 같은 단어가 붙어 있었다.

그중 특이한 모델이 하나 있었다. “너는 누구니?“라고 물었더니 “저는 ChatGPT예요” 같은, 완전히 잘못된 답이 돌아왔다. 상식적으로 그런 답을 한다는 것 자체가 다른 모델에게서 ’답안지’를 받아 배웠다는 뜻으로 보였다. 그 모델이 실제로 어떻게 학습됐는지는 모른다. 인터넷에 돌아다니는 글을 배워서 그렇게 답했을 수도 있다. 다만 그 답 때문에 증류라는 걸 찾아보게 됐다. 정말 다른 모델의 답을 베껴 배운 거라면, 증류를 이렇게 하면 안 된다는 쪽의 예일 것이다.

지식 증류(Knowledge Distillation)는 다른 모델이 만든 예측을 학습 신호로 사용해, 그 동작을 배우도록 모델을 훈련하는 방법이다. 작은 모델을 만드는 데 활용할 때는 배포 환경에 맞는 학생 모델을 준비하고, 교사 모델의 예측을 따라 배우게 한다. Hinton 등의 지식 증류 논문

교사와 학생 사이에서 무엇이 전달되는가

섹션 제목: “교사와 학생 사이에서 무엇이 전달되는가”

학습 신호를 제공하는 쪽을 교사 모델(teacher model), 그 신호를 배우는 쪽을 학생 모델(student model)이라고 부른다. 교사는 큰 모델 하나일 수도 있고, 여러 모델의 예측을 합친 앙상블일 수도 있다. 이 글에서는 학습된 교사를 고정해 두고 학생을 훈련하는 구성을 다룬다.

같은 입력을 두 모델에 넣으면 각각 예측이 나온다. 학생의 예측이 교사의 예측에 가까워지도록 학생의 가중치를 조정하는 것이 기본 흐름이다. 가중치는 모델이 학습을 통해 바꾸는 내부 수치다. 정답 데이터가 있다면 정답을 맞히는 목표도 함께 사용할 수 있다. PyTorch의 지식 증류 튜토리얼

여기서 전달하는 지식은 입력에 대한 모델의 반응으로 드러난다. 학생은 자신의 구조와 가중치로 그 반응을 배우며, 학습이 끝나면 학생만으로 예측할 수 있다. 교사를 매 요청마다 호출해야 하는 구성과는 실행 비용을 계산하는 방식이 달라진다.

정답 하나보다 확률 분포에 담긴 정보가 많다

섹션 제목: “정답 하나보다 확률 분포에 담긴 정보가 많다”

사진을 고양이, 개, 자동차 중 하나로 분류한다고 하자. 정답이 고양이라면 학습 목표를 [1, 0, 0]으로 표현할 수 있다. 이렇게 정답 범주 하나를 지정하는 목표를 hard target이라고 부른다.

교사는 각 범주에 확률을 줄 수 있다. 다음 수치는 실제 모델의 출력이 아닌 설명용 가상 예시다.

학습에 사용하는 목표 고양이 개 자동차
정답 범주만 표시한 hard target 1.00 0.00 0.00
교사의 예측을 사용한 soft target 0.70 0.25 0.05

두 행 모두 고양이를 가장 앞에 둔다. 하지만 두 번째 행에는 교사가 이 사진을 자동차보다 개로 판단할 가능성을 더 높게 보았다는 정보도 있다. 학생은 정답뿐 아니라 다른 선택지 사이의 상대적인 관계도 배울 수 있다. 이런 확률 분포를 학습 목표로 사용하는 것이 soft target의 핵심이다. Distilling the Knowledge in a Neural Network

그렇다고 이 분포가 실제 정답 확률을 보장하지는 않는다. 교사의 판단이 잘못된 입력에서는 학생에게 전달하는 신호도 잘못될 수 있다. 교사를 잘 따라 하는지와 실제 문제를 잘 푸는지는 평가에서 구분해야 한다.

교사가 한 범주에 거의 모든 확률을 주면 다른 범주들의 차이가 학습에 미치는 영향은 작아질 수 있다. 이때 확률로 변환하기 전의 점수인 logits를 temperature 값 T로 나눈 뒤, 점수들을 확률 분포로 바꾸는 softmax를 적용한다. 같은 logits에 더 큰 T를 적용하면 확률이 한쪽에 덜 몰린다.

학생에도 같은 temperature를 적용하고, 두 분포의 차이를 줄이는 손실을 계산한다. 손실은 학습 목표에서 얼마나 벗어났는지를 나타내는 값이다. 정답이 있다면 정답에 대한 손실과 교사의 분포에 대한 손실을 가중합해 학습할 수 있다. PyTorch 튜토리얼의 학습 과정

Temperature와 두 손실의 비중은 조정해야 할 학습 설정이다. 어떤 값을 쓰든 성능이 좋아지는 것은 아니므로 검증 데이터에서 비교해야 한다.

LLM은 교사가 생성한 답변에서도 배운다

섹션 제목: “LLM은 교사가 생성한 답변에서도 배운다”

LLM에서도 다음 토큰의 확률 분포를 맞추는 방식으로 증류할 수 있다. 또 다른 방법은 교사가 생성한 문장 자체를 학습 데이터로 사용하는 것이다. 질문과 답변을 모은 뒤 학생이 같은 질문에서 해당 답변을 생성하도록 훈련한다.

기계 번역을 다룬 Sequence-Level Knowledge Distillation은 교사가 생성한 번역문으로 새로운 학습 데이터를 만들고 학생을 훈련하는 방법을 제시했다. 이 방식에서는 생성된 문장이 학습 목표가 된다. 토큰마다 교사가 부여한 전체 확률 분포를 그대로 전달하는 방식과는 학생이 받는 정보가 다르다. Kim과 Rush의 논문

증류를 공부할 때 본 예시 중에 회의록에서 결정 사항을 추출하는 모델이 있었다. 교사에게 회의록과 추출 지침을 주고, 검토한 출력과 입력을 묶어 학생의 학습 데이터로 사용할 수 있다. 풀이 설명을 포함한 답변을 사용한다면 학생은 그 설명의 작성 패턴도 학습할 수 있다.

이때 답변으로 나온 텍스트는 관찰 가능한 학습 자료다. 같은 설명을 생성하도록 배웠다는 사실만으로 두 모델의 내부 계산 과정까지 같다고 결론 내릴 수는 없다. 설명의 문체를 따라 하는 것과 새로운 문제에 올바르게 답하는 것도 각각 확인해야 한다.

Fine-tuning과 증류는 함께 쓰일 수 있다

섹션 제목: “Fine-tuning과 증류는 함께 쓰일 수 있다”

이미 학습된 모델을 추가 데이터로 조정하는 fine-tuning은 학생을 훈련하는 데 사용할 수 있다. 교사가 만든 답변을 정답 예시로 삼아 supervised fine-tuning(SFT)을 수행하면, fine-tuning이면서 지식 증류인 구성이 된다.

DeepSeek-R1의 2025년 1월 보고서는 이런 사례다. 보고서는 약 80만 개의 선별된 데이터로 Qwen과 Llama 계열 모델을 fine-tuning했다고 설명한다. 해당 학생 모델에는 SFT만 적용했고 별도의 강화학습 단계는 넣지 않았다. 데이터 구성에는 추론 관련 예시와 일반 작업 예시가 함께 포함된다. DeepSeek-R1 보고서 v1의 2.3.3절과 2.4절

따라서 이 사례를 이해할 때는 학생의 기반 모델과 학습 데이터를 함께 봐야 한다. 예를 들어 DeepSeek-R1-Distill-Qwen-7B의 기반은 Qwen2.5-Math-7B다. 모델 이름의 Distill은 지식을 전달받은 학습 관계를 나타내며, 기반 구조까지 교사와 같다는 뜻은 아니다. DeepSeek-R1 공식 저장소의 모델 목록

작은 모델의 구조도 별도로 설계해야 한다

섹션 제목: “작은 모델의 구조도 별도로 설계해야 한다”

증류에서는 학생으로 어떤 모델을 선택할지도 중요하다. 학생이 학습 신호를 받아들이는 능력과 실제 실행 비용은 그 구조에 영향을 받는다.

DistilBERT는 BERT의 Transformer 층 수를 절반으로 줄인 학생 모델을 사용했다. 교사의 일부 층으로 학생을 초기화하고, 출력 확률과 내부 표현을 배우는 목표를 언어 모델 학습 목표와 함께 사용했다. 논문의 비교에서 BERT-base는 1억 1천만 개, DistilBERT는 6천 6백만 개의 파라미터를 가진다. DistilBERT 논문 v4의 2·3절과 표 3

이 사례에서는 학생 구조의 선택과 증류 학습이 함께 쓰였다. 학생의 파라미터 수가 줄어드는 정도는 선택한 구조에 달려 있고, 유지되는 품질은 학습과 평가를 통해 확인해야 한다.

모델을 가볍게 만드는 방법으로 양자화(quantization)도 자주 등장한다. 양자화는 가중치 등을 더 낮은 정밀도의 수치로 표현해 메모리 요구량을 줄이는 방법이다. 증류가 학생에게 전달할 학습 신호를 다룬다면, 양자화는 수치 표현을 다룬다. 따라서 증류한 학생 모델에 양자화를 적용하는 구성도 가능하며, 최종 품질과 속도는 그 구성에서 다시 측정해야 한다. Hugging Face의 양자화 개요

회의록의 결정 사항을 추출한다면

섹션 제목: “회의록의 결정 사항을 추출한다면”

공부할 때 본 회의록 예시를 그대로 조금 더 따라가 보자. 목표는 회의 내용을 읽고 결정 사항과 담당자를 추출하는 것이다. 다음은 증류를 적용할 때 고려할 수 있는 가상의 설계 흐름이다.

  1. 추출 기준을 정한다. 확정된 결정만 추출하고, 검토 중인 제안은 제외한다. 담당자가 명시되지 않았다면 null로 남긴다.
  2. 입력과 교사의 출력을 모은다. 여러 형태의 회의록을 준비하고 같은 기준으로 교사의 답을 생성한다. 결정이 없는 회의록이나 중간에 결정이 번복된 사례도 포함한다.
  3. 학습에 쓸 출력을 검토한다. 원문에 없는 결정이나 담당자를 만들어 낸 답을 수정하거나 제외한다. 표현이 자연스럽다는 이유만으로 학습 예시로 채택하지 않는다.
  4. 학생을 학습하고 별도 데이터로 평가한다. 학습 자료와 겹치지 않는 회의록에서 증류 전 학생, 증류 후 학생, 교사의 결과를 비교한다.

가령 회의록에 “금요일 배포를 검토했지만 테스트가 끝나지 않아 다음 주 화요일로 확정했다. 배포는 민수가 맡는다”라고 적혀 있다면, 추출할 결정은 ‘다음 주 화요일 배포’, 담당자는 ‘민수’다. 금요일 배포를 결정 사항으로 남긴 교사의 답은 수정 대상이다.

이 흐름에서는 교사가 생성한 답변을 선별하는 과정도 증류 과정의 일부다. 특히 교사에게만 배경 문서를 제공했다면 학생의 입력으로 그 답을 재현할 수 있는지 살펴봐야 한다. 학생이 받을 수 없는 정보에 답이 의존한다면, 입력 구성을 바꾸거나 학습 예시를 다시 정해야 한다.

평가에서는 “교사와 비슷하게 답했는가”보다 작업의 기준을 먼저 세울 수 있다. 결정 사항을 빠뜨렸는지, 제안을 확정된 결정으로 바꾸었는지, 담당자를 잘못 붙였는지 따로 본다. 두 모델이 같은 오답을 냈다면 답변 일치율은 높아도 실제 품질은 낮을 수 있다.

이 예시에서 얻으려는 것은 회의록 추출 능력이다. 그 작업의 평가가 좋아졌다는 사실만으로 학생의 일반적인 대화 능력이나 다른 분야의 추론 능력까지 교사와 같아졌다고 볼 수는 없다.

비용은 어느 단계에서 줄어드는가

섹션 제목: “비용은 어느 단계에서 줄어드는가”

작은 학생 모델을 실행하면 요청 처리에 필요한 자원을 줄일 여지가 있다. 다만 도입 여부를 판단하려면 교사의 답변 생성, 데이터 검토, 학생 학습과 평가에 드는 준비 비용도 계산해야 한다. 작업 기준이 자주 바뀐다면 데이터를 갱신하고 다시 학습하는 부담도 생긴다.

회의록 추출처럼 입력과 목표가 비교적 분명한 작업부터 후보로 삼을 수 있다. 이미 작은 모델만으로 기준을 충족하는지도 먼저 확인할 수 있다. 증류 전후의 품질 차이가 작다면 추가 학습 비용을 들일 이유도 줄어든다.

실행 성능은 목표 환경에서 비교해야 한다. 같은 회의록을 넣고 모델이 사용하는 메모리, 전체 응답 시간, 처리량을 측정한다. 하드웨어와 동시 요청 수, 입력 길이, 출력 길이도 함께 기록해야 결과를 해석할 수 있다. 파라미터 수만으로 서비스의 응답 시간이 얼마나 줄어들지 확정하기는 어렵다.

지식 증류에서 학생이 배우는 것은 교사의 예측에 담긴 정보다. 분류에서는 선택지의 확률 분포를, 문장 생성에서는 교사가 만든 답변을 학습 신호로 사용할 수 있다.

처음 그 모델이 자기를 ChatGPT라고 소개했을 때는 이상한 답 하나로 보였다. 찾아보고 나니 학생이 교사의 답을 배우면 그런 답도 따라 나올 수 있다는 건 이해가 됐다.

지금도 엣지 디바이스에서는 증류가 중요하지 않을까 하는 막연한 생각이 있다.