[이데일리 김형일 기자] AI 인프라 소프트웨어 기업 래블업이 한국어 질의와 에이전트 작업에서 대규모 언어 모델(LLM)의 답변 속도를 높이는 추론 가속 모델 ‘GLM-5.2-NVFP4-DFlash-ko’를 한글날인 지난 9일 오픈소스 플랫폼 허깅페이스에 공개했다고 12일 밝혔다.

래블업 CI.(사진=래블업)

이번 모델은 Z-lab이 공개한 DFlash 방식을 적용한 드래프트 모델이다. Z.ai의 오픈소스 LLM인 GLM-5.2를 엔비디아의 4비트 부동소수점 형식(NVFP4)으로 구동할 때 함께 사용한다. 개발자와 기업은 허깅페이스의 래블업 저장소에서 모델을 내려받을 수 있다.

드래프트 모델은 투기적 디코딩(Speculative Decoding)에 활용하는 소형 모델이다. 작은 모델이 다음에 나올 여러 토큰을 미리 추측하면 대형 모델이 이를 한 번에 검증하고, 통과한 토큰만 최종 답변에 반영한다. 최종 판단은 대형 모델이 내리기 때문에 답변 품질을 유지하면서 생성 속도를 높일 수 있다. DFlash는 토큰을 하나씩 추측하는 대신 여러 토큰을 한 번에 생성하는 방식이다.

래블업은 기존 영어 학습 드래프트 모델이 한국어 질의와 에이전트 작업에서는 추측 적중률이 낮아져 가속 효과가 줄어드는 문제에 주목했다. 이에 한국어 데이터로 드래프트 모델을 학습해 한국어 환경에서도 가속 효과를 유지하도록 했다.

실제 한국어 에이전트 트래픽을 기준으로 측정한 평균 수락 길이(MAL)는 에이전트 작업에서 2.71, 한국어 질의에서 2.77을 기록했다. 평균 수락 길이는 대형 모델의 검증 한 번에 받아들여지는 토큰 수의 평균을 의미한다. 래블업은 이번 모델이 영어 DFlash 모델과 거의 같은 수준의 가속 성능을 보였다고 설명했다. 반면 영어 데이터로 학습한 드래프트 모델은 에이전트 작업과 한국어 질의에서 평균 수락 길이가 1점대에 그쳤다.

래블업은 후속 모델 개발도 진행하고 있다. Z.ai의 GLM-5.3-Flash에 적용할 한국어 드래프트 모델을 개발 중이며, 이와 별도로 한국어 디퓨전 언어 모델도 처음부터 학습하고 있다.

한국어 디퓨전 언어 모델은 약 110억개(11B)의 파라미터 규모로 개발 중이다. 로컬 기기에서 에이전트 작업에 활용할 수 있는 온디바이스 모델을 목표로 하며, B200 GPU 64장 규모의 클러스터에서 학습을 진행하고 있다. GPU 자원 일부는 과학기술정보통신부와 정보통신산업진흥원(NIPA)의 ‘첨단 GPU 활용 지원 사업’을 통해 지원받았다.

신정규 래블업 대표는 “드래프트 모델이 영어로 학습돼 있으면 한국어 사용자는 투기적 디코딩의 가속 효과를 온전히 얻기 어려웠다”며 “AI 서비스를 만드는 개발자와 기업이 한국어 환경에서도 가속 효과를 얻을 수 있도록 한글날에 맞춰 한국어 드래프트 모델을 공개한다”고 말했다. 이어 “AI 인프라 소프트웨어를 만들며 쌓은 경험을 바탕으로 한국어 모델 개발까지 사업 범위를 넓히고 있다”고 덧붙였다.

한편, 래블업은 증권신고서를 제출하고 코스닥 상장을 위한 공모 절차에 착수했다. 오는 13일부터 19일까지 기관투자자 대상 수요예측을 진행할 예정이다.