2026. 10. 8. 01:02ㆍAI
이전에 Jev라는 새로운 LLM 모델이 나왔다고 해서 알아보고 글을 작성했습니다.
진행 중인 사이드 프로젝트에서 유튜브 댓글 수집 후 해당 댓글이 어떤 반응인지를 분류하는 기능을 구현했는데 해당 기능은 수집된 댓글을 한 번에 Gemini API를 통해 분류를 요청하면 JSON 형태로 응답해 주는 기능이었습니다.
여기에 Gemini 대신 Jev를 사용하면 성능이 개선될 것 같다는 생각에 Jev를 적용해 보고 성능이 얼마나 좋아지는지를 비교해 보겠습니다.
측정 방법
측정은 간단하게 동일한 댓글 100개를 수집한 후 각각의 LLM 모델을 3회 호출 후 비교하는 방식으로 진행했습니다.
Gemini는 3.5 Flash-Lite, Jev는 jev-1.13.0을 썼습니다.
참고로 Gemini 3.5 Flash-Lite는 무료 티어로도 쓸 수 있는데, 무료 티어는 요청 횟수에 제한이 있고 보낸 데이터가 Google 서비스 개선에 쓰일 수 있어서 사용자 데이터를 다루는 서비스라 가정해 유료 티어 단가로 비교했습니다.
이번에는 속도와 비용만 비교했고, 분류 결과가 얼마나 같은지는 아직 비교하지 않았다는 점 참고 바랍니다.
측정 결과
| 항목 | Gemini 3.5 Flash-Lite | Jev 1.13 |
| 회차별 소요 시간 1/2/3회차(ms) | 15,821 / 12,525 / 16,565 | 1,038 / 396 / 350 |
| 평균 소요 시간 | 14,970ms | 594ms |
| 입력 토큰 | 4,329 | 18,069 |
| 출력 토큰 | 3,810 | 4,493(무료) |
| 100건당 비용 | 약 $0.0108 | 약 $0.00076 |
Jev는 첫 호출에 1초가 걸리고 그 뒤로는 0.4초 미만으로 내려갔고, Gemini는 3번 모두 12초 이상 걸렸습니다.
속도는 평균 25배, 첫 호출을 제외하면 약 40배 Jev가 빠른 걸 확인할 수 있었습니다.
항목별 차이의 이유
비용 차이
비용 차이는 기본적인 단가 차이에서 옵니다.
Gemini 3.5 Flash-Lite는 토큰 100만 개당 가격
Jev의 토큰 100만 개당 가격
Jev는 Gemini에 비해 입력 단가가 저렴하고 출력 단가는 무료입니다.
입력 단가 자체도 Gemini에 비해 저렴한데, 비용이 훨씬 큰 출력 단가는 무료라 비용에서 많이 차이가 날 수밖에 없습니다.
속도 차이
Gemini 같은 LLM 모델은 응답을 토큰 단위로 하나씩 순차 생성합니다. 그래서 전체 응답을 받기에도 오래 걸립니다.
반면에 Jev는 문장을 생성하지 않고 정해진 선택지 중에서 답을 고르는 방식으로 동작하기 때문에 응답이 빠릅니다.
또한 모든 질문은 같은 state를 보고 한 번에 병렬적으로 평가됩니다.
토큰 차이
입력 토큰을 보면 Jev가 Gemini 보다 약 4배 더 쓴 게 보이는데 차이는 요청 구조에 있습니다.
Gemini 요청
아래의 댓글을 보고 각각 긍정적/복합적/부정적으로 구분해서 알려줘.
댓글1: ...,
댓글2: ...,
...
Jev에 요청
{
"state": {
"comments": { "c0": "...", "c1": "...", ..., "c99": "..." }
},
"questions": {
"c0": {
"type": "choice",
"instructions": "comments의 c0 댓글은 영상에 대해 어떤 반응인가?",
"criteria": {
"POSITIVE": "영상에 대한 긍정적 반응",
"NEGATIVE": "영상에 대한 부정적 반응",
"MIXED": "긍정과 부정이 섞인 반응"
}
},
"c1": {
"type": "choice",
"instructions": "comments의 c1 댓글은 영상에 대해 어떤 반응인가?",
"criteria": {
"POSITIVE": "영상에 대한 긍정적 반응",
"NEGATIVE": "영상에 대한 부정적 반응",
"MIXED": "긍정과 부정이 섞인 반응"
}
},
...
}
}
비교해 보면 Gemini에는 댓글 100개와 질문 하나로 끝냅니다.
반면에 Jev는 state에 comments로 댓글 100개가 들어간다는 건 똑같은데, questions에 각각의 댓글에 대해서 type, instructions, criteria가 반복적으로 들어가야 한다는 한계점 때문에 입력 토큰이 매우 큽니다.
물론 현재 제가 구현한 기능에 한해서 이런 구조를 가지고 제가 Jev에 대해서 아직 제대로 사용할 줄 모르는 것일 수도 있어서 이렇게 입력 토큰이 커진 것일 수 있습니다.
기능 추가하기 - 분석 신뢰도 지표 추가
Jev는 기존 생성형 LLM과 다르게 confidence라는 값을 리턴해줍니다.
confidence는 이 분석을 얼마나 믿어도 되는지에 대한 값인데, 이 값을 분석값과 함께 저장해서 사용자에게 제공해 주면
사용자는 신뢰도가 낮은 데이터는 제외하고 분석된 데이터를 사용할 수 있습니다.
생성형 LLM에도 비슷한 값을 얻을 수 있지만, 프롬프트에 점수를 따로 요청해야 하고 그만큼 출력 토큰도 늘어납니다.
하지만 Jev는 이 값이 응답에 기본적으로 들어있어서 추가 작업이 필요 없습니다.