같은 파라미터 수, 다른 저장 공간: 모델 양자화
맥북의 LM Studio에서 Q4 모델을 받아 쓰다가, 같은 모델이 왜 여러 버전으로 나뉘는지 찾아봤다. 양자화의 원리와 GGUF·MLX, 그리고 작은 모델이라도 로컬에 두고 싶은 이유를 적었다.
학습, 문제 해결, 프로젝트 과정을 기록합니다.
맥북의 LM Studio에서 Q4 모델을 받아 쓰다가, 같은 모델이 왜 여러 버전으로 나뉘는지 찾아봤다. 양자화의 원리와 GGUF·MLX, 그리고 작은 모델이라도 로컬에 두고 싶은 이유를 적었다.
로컬에서 돌려 본 모델이 자기를 ChatGPT라고 소개한 일에서 시작해, 학생 모델이 교사의 확률 분포와 답변에서 무엇을 배우는지 찾아봤다.
AI가 문서나 드라이브를 지웠다는 글들을 보고 Codex와 Claude Code의 권한 설정, Container와 VM의 격리 경계를 찾아봤다. 그리고 지금은 왜 에이전트를 로컬이 아닌 VM에서 돌리는지 적었다.