답변 대신 판단을 반환하는 모델: Jev와 Clef
Jev가 발표되고 얼마 지나지 않아 Cloudflare가 Clef를 발표했다. Jev API와 호환된다는 소식에 둘을 같이 찾아보게 됐다.
찾아보는 내내 예전 회사에서 만든 챗봇이 떠올랐다. 그때 Watson Assistant의 intent 분류를 썼다. 사용자의 말을 미리 정해 둔 의도 중 하나로 분류하는 기능이다. Jev와 Clef도 정해진 선택지 안에서 판단을 돌려준다는 점은 같았다. 그런데 쓰는 방식은 꽤 달랐다.
LLM에서도 정해진 형식의 답을 받을 수 있다. 예를 들어 Claude의 Structured outputs는 JSON Schema에 맞춘 출력을 지원한다. 그렇다면 판단을 반환하도록 설계된 모델을 따로 사용하는 이유는 무엇일까? Structured outputs
TypeSafe의 Jev와 Cloudflare의 Clef는 이 질문에서 살펴볼 만한 Decision Model이다. 이 글에서는 두 제품이 사용하는 의미로 이 용어를 좁혀, 주어진 맥락을 평가하고 제한된 답변 공간 안에서 판단과 확률을 반환하는 모델을 다룬다. TypeSafe의 System One 설명, Cloudflare의 Clef 소개
프로그램에는 어떤 답이 필요한가
섹션 제목: “프로그램에는 어떤 답이 필요한가”“이 문의를 어떻게 처리하면 좋을까?”라는 질문에는 여러 답변이 가능하다. 하지만 프로그램이 담당 부서를 배정하려면 billing, technical, account처럼 처리 경로와 연결된 값이 필요하다.
Decision Model을 사용하는 쪽에서는 먼저 입력 맥락과 질문, 가능한 답을 정한다. 모델은 그 범위 안에서 판단한다. 예를 들어 문의 내용과 계정 상태를 입력하고, 담당 부서와 추가 정보가 필요한지를 각각 묻는다. 코드는 반환된 값과 확률을 읽어 처리 경로를 고른다.
Clef의 동작 방식을 보면 이 인터페이스가 더 구체적으로 드러난다. 모델 카드는 입력 맥락과 질문을 받아 허용된 각 선택지에 점수를 계산하고, 질문별 확률로 바꾼다고 설명한다. 문장을 한 토큰씩 생성하는 과정을 거치지 않고 한 번의 모델 계산(forward pass)으로 여러 질문의 선택지를 평가한다. 기존 LLM의 구조화된 출력과 비교할 때는 출력 형식과 함께, 이렇게 선택지의 확률을 계산하는 방식도 살펴볼 필요가 있다. Clef 모델 카드
내가 챗봇에서 쓴 Watson Assistant도 정해진 범주를 돌려줬다. 의도(intent)마다 예시 문장을 모아 학습시키면, 들어온 문장에 대해 의도와 confidence를 돌려주는 방식이었다. 가장 다르다고 느낀 건 두 가지다.
하나는 재학습이다. Watson에서는 의도를 새로 만들거나 나누려면 예시 문장을 다시 모으고 학습시켜야 했다. 다른 하나는 선택지다. Watson의 선택지는 미리 학습해 둔 의도 목록이었다. Decision Model에서는 요청할 때마다 질문과 선택지를 함께 보낸다. Cloudflare도 요청에서 새로운 분류 기준을 제시할 수 있고, 범주가 바뀔 때마다 모델을 다시 학습시키는 방식에만 의존하지 않는다는 점을 강조한다. Clef 소개
여기서 구분할 것은 답의 형식과 판단의 정확성이다. billing이라는 유효한 값이 돌아왔어도 실제로는 기술지원팀에 보내야 하는 문의일 수 있다. 형식이 코드와 잘 맞는 것은 장점이지만, 올바른 판단인지는 별도로 평가해야 한다.
Jev: 판단을 세 가지 질문으로 나누기
섹션 제목: “Jev: 판단을 세 가지 질문으로 나누기”TypeSafe는 Jev를 “System One 모델”이라고 부른다. 자연어를 이해하면서 답변 문장이나 추론 설명을 생성하지 않고, 타입이 정해진 판단을 반환한다. 공식 문서상 Jev는 텍스트 입력을 지원하며, 문자열이나 텍스트를 담은 JSON을 평가한다. System One
질문은 다음 세 가지 형태로 구성할 수 있다.
| 질문 타입 | 묻는 내용 | 문의 처리에 적용한 예 |
|---|---|---|
Choice |
주어진 선택지 중 어느 것인가 | 결제/기술지원/계정 중 담당 부서 선택 |
Score |
정의한 단계들을 기준으로 어느 정도인가 | 영향 없음/일부 기능 장애/전체 사용 불가에 따른 심각도 평가 |
Noul |
어떤 조건이 참일 확률은 얼마인가 | 담당 부서를 정하려면 추가 정보가 필요한가 |
Choice는 선택과 선택지별 확률을 반환한다. Score는 정의한 단계들을 기준으로 점수와 확률을 반환하며, 점수는 단계 사이의 값일 수도 있다. 두 타입에는 confidence도 포함된다. Noul은 참일 확률을 0에서 1 사이 값으로 반환하며 별도의 confidence 필드는 없다. Primitives
질문의 크기도 중요하다. “이 고객을 만족시킬 최선의 대응을 결정하라”에는 여러 판단이 섞여 있다. 담당 부서, 긴급성, 추가 정보의 필요 여부로 나누면 각 결과를 어떤 처리에 사용할지 분명해진다. 여러 질문을 같은 요청에 넣을 수 있지만, 앞 질문의 답이 뒤 질문의 입력이 되어야 한다면 호출을 나누어야 한다.
Clef: 같은 형태의 판단을 다른 실행 환경에서
섹션 제목: “Clef: 같은 형태의 판단을 다른 실행 환경에서”Cloudflare는 2026년 10월 1일 Clef와 Clef-flash를 발표했다. Workers AI에서 제공하며, Apache 2.0 라이선스로 공개한 모델을 직접 실행하는 경로도 안내한다. Jev API와의 호환성을 표방한다. Clef 발표
두 모델은 타입이 정해진 판단과 확률을 반환한다는 공통점이 있다. 사용 경로와 입력 범위에서는 다음 차이를 살펴볼 수 있다.
| 살펴볼 지점 | Jev | Clef |
|---|---|---|
| 공식 사용 경로 | TypeSafe의 System One API와 SDK | Workers AI와 공개 모델의 직접 실행 |
| 입력 범위 | 텍스트(문자열·JSON 등) | 텍스트·JSON·이미지·영상 프레임 배열1 |
표는 2026-10-13에 확인한 TypeSafe 문서와 Clef 모델 카드를 기준으로 한다. Clef의 입력 범위는 공개 모델의 설명이며, 사용하는 API의 입력 지원 범위도 확인해야 한다. API가 호환되어도 같은 입력에 같은 확률을 반환하는 것은 아니므로, 모델을 교체할 때는 기존 분기 기준도 다시 평가해야 한다.
문의를 분류한 다음에는 누가 실행을 결정할까
섹션 제목: “문의를 분류한 다음에는 누가 실행을 결정할까”Decision Model의 예시로 가장 흔히 나오는 건 고객 문의 분류다. 공부하면서 본 예시도 그랬다. 사용자가 “로그인이 되지 않고, 비밀번호 재설정 메일도 오지 않는다”는 문의를 보냈다고 하자. 입력에는 이 문의 본문과 함께, 계정 잠금 여부와 메일 발송 장애 여부가 아직 확인되지 않았다는 상태를 넣는다. 먼저 담당 부서를 고르는 Choice의 기준을 정한다.
| 선택지 | 이 예시의 담당 기준 |
|---|---|
billing |
결제·청구·환불 문의 |
technical |
공통 인증 서비스나 메일 발송 시스템의 장애 |
account |
개별 계정의 잠금·복구·정보 변경 |
other |
위 범주에 속하지 않거나 현재 정보로 담당을 가르기 어려운 문의 |
같은 요청에 “담당 부서를 정하려면 추가 정보가 필요한가?”라는 Noul 질문도 넣는다. 로그인 실패는 서비스 장애일 수도, 개별 계정 문제일 수도 있으므로 문의 문장만으로 담당을 확정하기 어렵다.
다음은 Jev의 응답 구조에서 answers 부분만 나타낸 가상 반환값이다.
{ "answers": { "department": { "choice": "technical", "probabilities": { "billing": 0.05, "technical": 0.4, "account": 0.35, "other": 0.2 }, "confidence": 0.2 }, "needs_more_info": { "noul": 0.85 } }}이 예시에서는 담당 부서의 confidence가 0.7 미만이거나 추가 정보 필요 확률이 0.5 이상이면 검토로 넘기기로 한다. 두 기준값은 분기를 보여 주기 위해 임의로 정한 값이다.
담당 부서가 other이거나담당 부서의 confidence가 0.7 미만이거나추가 정보 필요 확률이 0.5 이상이면: 검토 큐로 보낸다.그 밖에는: 선택된 담당 부서의 큐로 보낸다.technical의 확률이 가장 높지만 confidence는 0.2이고 추가 정보 필요 확률은 0.85다. 따라서 이 문의는 기술지원팀에 자동 배정되지 않고 검토 큐로 간다. 검토 단계에서 계정 상태와 장애 여부를 확인한 뒤 담당을 다시 정할 수 있다. 실제 서비스의 기준값을 정하는 방법은 다음 절에서 다룬다.
other도 같은 검토 경로로 연결한다. 선택지에 맞는 답이 없는데도 반드시 부서 하나를 고르게 하면 잘못된 배정이 정상적인 응답처럼 보일 수 있기 때문이다. TypeSafe도 선택지가 모든 입력을 포괄하지 못할 때 별도 선택지를 두도록 안내한다. Choice 구성 안내
이 흐름에서 모델은 문의의 의미를 평가하고, 코드는 그 결과를 사용할 조건을 정한다. 계정 접근 권한이나 실제 계정 변경의 허용 여부는 애플리케이션이 확인한다. 고객에게 보낼 답변 문장이 필요하면 별도 생성 단계에서 초안을 작성할 수 있다.
확률이 높다는 것은 어디까지 믿을 수 있을까
섹션 제목: “확률이 높다는 것은 어디까지 믿을 수 있을까”모델이 정답일 확률을 90%라고 예측한 사례들을 모았을 때, 실제로도 약 90%가 맞는지 살펴본다고 생각해 보자. 이런 식으로 예측 확률과 실제 결과가 얼마나 일치하는지를 보는 성질이 calibration이다. 여러 사례에 걸쳐 평가하므로, 개별 판단에 0.9가 붙었다고 해서 그 답이 검증된 것은 아니다. System One의 calibration 설명
confidence는 확률 분포에서 계산한 별도의 값이다. TypeSafe의 Choice에서는 가장 높은 확률이 모든 선택지에 똑같이 확률을 나눈 상태보다 얼마나 높은지를 0에서 1 사이 값으로 표현한다.
설명용으로 세 선택지의 확률을 0.8, 0.1, 0.1이라고 두면 confidence는 0.7이다. 앞 절처럼 네 선택지의 확률이 0.05, 0.4, 0.35, 0.2라면 0.2가 된다. 모두 공식에 대입한 가상 수치다. 선택된 답의 확률과 confidence는 서로 다르며, confidence를 정답률로 읽어서는 안 된다. Confidence
서비스에 적용할 때는 사람이 정답이나 처리 기준을 붙인 실제 업무 사례로 자동 처리 기준값, 즉 임계값을 평가할 수 있다. 전체 정확도와 함께 자동 처리한 사례의 오류율, 검토로 넘긴 비율을 살펴본다. 문의를 다른 큐로 보내는 오류와 계정을 잘못 변경하는 오류는 비용이 다르므로, 행동별로 기준값을 정해야 한다. TypeSafe 문서도 위험에 따라 임계값을 다르게 두도록 안내한다. Confidence
입력과 질문의 구성도 점검해야 한다. TypeSafe는 Jev 1.13의 알려진 한계로 수치 계산, 날짜 비교, 관련 없는 정보가 많은 입력, 적대적인 지시가 들어간 내용, 선택지 순서에 따른 영향 등을 공개한다. 이 한계가 Clef에도 같은 정도로 나타난다고 단정할 수는 없지만, 비교 평가에서 확인할 항목으로 삼을 수 있다. Jev 1.13 jaggedness
예를 들어 날짜의 선후 관계는 코드로 계산하고, 모델에는 문의가 일정 변경을 요청하는지 묻는 편이 역할을 분명하게 나눈다. 한국어 문의에 적용하려면 한국어의 생략, 부정 표현, 여러 요청이 섞인 사례에서도 기준대로 동작하는지 직접 확인해야 한다.
써 보고 싶은 곳
섹션 제목: “써 보고 싶은 곳”Jev와 Clef를 통해 살펴본 Decision Model은 자연어 입력과 프로그램의 분기 사이에 놓을 수 있는 도구다. 가능한 답을 먼저 정의하고, 그 안에서 판단과 확률을 받아 다음 처리를 구성한다.
직접 써 보지는 못했지만, 써 보고 싶은 곳은 두 군데다.
하나는 CI다. 이번 변경이 작은 md 파일 하나라면, 그 때문에 클라이언트의 UI E2E 테스트를 다시 돌릴 필요는 적다. 이 블로그처럼 md 파일이 곧 화면이 되는 프로젝트가 아니라면 더 그렇다. 변경 내용을 보고 어떤 테스트를 다시 돌릴지 판단하게 해 보면 어떨까.
다른 하나는 기존의 검색이나 RAG다. 검색한 문서가 질문과 관련 있는지를 먼저 판별하게 하면, 관련 없는 문서를 걸러 낸 뒤 답을 만들 수 있다.
다만 모델이 빠르게 판단할 수 있다는 것과 그 판단을 곧바로 실행해도 된다는 것은 별도의 문제다. CI에서 테스트를 건너뛰는 판단이라면 더 그렇다.
참고자료
섹션 제목: “참고자료”- Anthropic: Structured outputs: 기존 LLM API의 스키마 기반 출력 기능.
- TypeSafe: System One: Jev의 역할, 입력 범위와 calibration 설명.
- TypeSafe: Primitives: Choice/Score/Noul과 질문 구성.
- TypeSafe: Confidence: 확률과 confidence의 차이, 임계값 설계.
- TypeSafe: Jev 1.13 jaggedness: 해당 버전에서 공개한 한계.
- Cloudflare: Introducing Clef: 제품의 목적과 제공 방식.
- Cloudflare: Clef 모델 카드: 선택지 점수 계산, 입력과 직접 실행 경로.
- Cloudflare: Clef-omni 후속 발표: Clef의 영상 프레임 배열과 Clef-omni의 음성·영상 파일 입력 구분.
Footnotes
섹션 제목: “Footnotes”-
Cloudflare는 2026-10-09에 음성·영상 파일을 입력받는 Clef-omni를 추가로 발표했다. 표의 Clef가 받는 영상 프레임 배열과 구분한다. Clef-omni 발표 ↩