답변 대신 판단을 반환하는 모델: Jev와 Clef
Jev 발표 직후 Clef가 나와 둘을 같이 찾아봤다. 예전에 챗봇에서 쓴 Watson Assistant의 intent 분류와 무엇이 다른지, 반환된 판단을 어떤 조건에서 실행으로 연결할지, 그리고 CI와 검색에 써 보고 싶은 이유를 적었다.
Jev 발표 직후 Clef가 나와 둘을 같이 찾아봤다. 예전에 챗봇에서 쓴 Watson Assistant의 intent 분류와 무엇이 다른지, 반환된 판단을 어떤 조건에서 실행으로 연결할지, 그리고 CI와 검색에 써 보고 싶은 이유를 적었다.
맥북의 LM Studio에서 Q4 모델을 받아 쓰다가, 같은 모델이 왜 여러 버전으로 나뉘는지 찾아봤다. 양자화의 원리와 GGUF·MLX, 그리고 작은 모델이라도 로컬에 두고 싶은 이유를 적었다.
로컬에서 돌려 본 모델이 자기를 ChatGPT라고 소개한 일에서 시작해, 학생 모델이 교사의 확률 분포와 답변에서 무엇을 배우는지 찾아봤다.