소형언어모델: 적은 연산으로 정해진 일을 처리하도록 설계한 언어모델
[핵심 요약]
소형언어모델(SLM, Small Language Model)은 챗GPT 같은 대형언어모델(LLM)보다 훨씬 적은 메모리와 연산으로 돌아가도록 규모를 줄인 언어모델입니다. 모든 질문에 답하는 만능형이 아니라, 정해진 일을 빠르고 저렴하게 처리하는 데 맞춰져 있습니다.
'소형'의 기준은 하나가 아닙니다. 파라미터 수로 나누는 방식도 있고, 스마트폰 같은 기기에서 충분히 빠르게 돌아가는지로 나누는 방식도 있습니다.
같은 일이 반복되는 업무에서는 효율이 크지만, 복잡하고 여러 분야가 얽힌 일은 큰 모델이 적합합니다.
모든 일에 대형언어모델을 쓸 때의 한계
이전에는 AI를 업무에 활용할 때 가장 큰 모델을 고르는 것이 기본값처럼 여겨졌습니다. 하지만 매일 반복되는 업무에서는 이런 선택이 부담으로 돌아옵니다.
첫째는 비용입니다. 엔비디아 리서치는 7B급 모델을 운영하는 편이 70~175B급보다 응답 속도, 에너지 소비, 연산량 기준으로 10~30배 저렴하다고 주장합니다. 여기서 B는 10억을 뜻하는 단위입니다. 7B는 파라미터가 70억 개라는 뜻이고, 파라미터는 모델이 학습으로 얻은 값의 개수로 흔히 모델 크기의 기준으로 쓰입니다.
둘째는 데이터 보안입니다. 서버로 보내야 답이 오는 구조에서는 입력한 내용이 기기 밖으로 나갑니다. 데이터가 조직 밖으로 나가게 되면 보안 측면에서 문제가 될 수 있습니다.
셋째는 정확도입니다. 가트너는 대형 범용 모델이 언어 능력은 뛰어나지만, 특정 업무의 맥락이 필요한 작업에서는 응답 정확도가 떨어진다고 진단합니다.
소형언어모델(SLM)이란 무엇인가
소형언어모델(SLM, Small Language Model)이란?
적은 메모리와 연산으로 정해진 일을 처리하도록 규모를 줄여 설계한 언어모델
언어모델을 소형과 대형으로 나누는 가장 흔한 기준은 파라미터 수입니다. IBM은 수백만에서 수십억 개 규모를 SLM, 수천억에서 수조 개 규모를 LLM으로 구분해 설명합니다.
엔비디아 연구진은 다른 기준을 제시합니다. 숫자보다 소비자용 기기에 올라가서, 한 사람이 쓰는 AI 에이전트의 요청에 충분히 빠르게 답할 수 있는가를 봅니다. AI 에이전트는 사용자를 대신해 여러 단계의 업무를 처리하는 AI를 말합니다. 이 기준에서는 기기에 올라가지 못하는 큰 모델은 소형이 아닙니다.
'소형'의 기준이 자료마다 다른 이유
합의된 기준은 없습니다. 마이크로소프트 Azure는 수억 개 수준까지도 소형으로 설명하고, 엔비디아 연구진은 2025년 기준 100억 개 미만 모델 대부분을 소형으로 봐도 무리가 없다고 말합니다. 국내에서는 수십억에서 수백억 개 규모를 sLLM(small Large Language Model)이라고 부르는 설명이 쓰입니다.
기준이 다른 이유는 목적이 다르기 때문입니다. 규모의 차이를 설명하려는 쪽은 파라미터 수로 선을 긋고, 실제로 에이전트를 배포하려는 쪽은 기기에 올라가는지와 응답 속도로 선을 긋습니다. 그래서 같은 7B 모델이 어느 자료에서는 SLM, 어느 자료에서는 sLLM으로 불릴 수 있습니다.
소형언어모델이 주목받는 3가지 이유
1. 크기를 줄이는 기술이 발전했습니다
큰 모델을 작게 만드는 방법은 여러 가지입니다. 중요도가 낮은 부분을 덜어내는 프루닝(가지치기), 숫자의 정밀도를 낮춰 용량을 줄이는 양자화, 큰 모델(교사)이 알고 있는 내용을 작은 모델(학생)에게 가르치는 지식 증류가 대표적입니다. 덜어낸 뒤에는 떨어진 성능을 메우기 위해 추가 학습(미세조정)을 하는 것이 일반적입니다.
2. 같은 일을 반복하는 자리에서는 큰 모델이 꼭 필요하지 않습니다
매번 도서관 전체를 뒤지는 것과, 자주 보는 책 몇 권을 책상 위에 두는 것의 차이와 비슷합니다. AI 에이전트가 하는 일 중에도 정해진 형식으로 반복되는 작업이 많습니다. 이런 작업에는 폭넓은 지식보다 정해진 일을 빠르고 정확하게 해내는 능력이 중요해서, 대형언어모델이 아니어도 충분히 맡길 수 있습니다. 다만 복잡한 판단이 필요한 구간에는 여전히 대형언어모델이 필요합니다. 그래서 일의 성격에 따라 모델을 나눠 쓰는 접근이 주목받고 있습니다.
3. 서버 밖에서도 쓸 수 있게 됐습니다
모델이 작아지면서 AI가 반드시 서버에서만 작동해야 하는 것은 아니게 됐습니다. 스마트폰이나 태블릿 같은 기기 안에서 바로 돌릴 수 있고, 공장 설비 옆에서 고장 징후를 살피는 데도 쓸 수 있습니다.
데이터를 밖으로 보내지 않아도 되니 앞에서 말씀드린 보안 부담도 함께 줄어듭니다. 국내에서도 2025년에 대기업과 플랫폼 기업들이 기기에 올릴 수 있는 경량 모델을 잇따라 공개했습니다.
TECH INSIGHT: 모델을 고를 때 '크기'와 함께 '자리'를 봐야 하는 이유
앞으로 달라지는 것은 성능 순위표가 아니라 모델을 어디에 두느냐입니다. 대형언어모델이 범용 능력을 끌어올렸다면, 소형언어모델은 그 능력을 업무별로 나눠 맡는 역할을 하게 될 가능성이 있습니다. 가트너는 2025년 4월 전망에서 2027년까지 기업이 작고 과제에 특화된 모델을 범용 대형언어모델보다 최소 3배 많은 사용량으로 쓰게 될 것이라고 내다봤습니다. 매출이 아니라 사용량 기준입니다.
다만 한계도 분명합니다. 소형언어모델은 특정 업무에 맞춰 다듬어지는 경우가 많고 담을 수 있는 지식의 양도 적습니다. 그래서 여러 분야의 폭넓은 지식이 필요한 복잡한 일에서는 대형언어모델보다 약하고, 다루지 않은 분야로 능력을 넓혀 쓰기도 어렵습니다. 틀린 내용을 그럴듯하게 만들어내는 환각도 생길 수 있어 결과를 확인하는 절차가 필요합니다. 큰 모델의 편향이 작은 모델로 이어질 수 있다는 점도 알려져 있습니다.
그래서 소형언어모델은 모든 문제를 풀어 주는 해법이 아니라, 어떤 일을 어디서 처리할지 먼저 나눠 본 뒤에 고르는 도구에 가깝습니다. 콘센트에 맞는 기기를 고르려면 그 자리에서 무엇을 할지 먼저 정해져 있어야 하는 것과 같습니다.
결국 모델 선택의 경쟁력은 파라미터를 얼마나 늘렸는지가 아니라, 어떤 일을 어디서 처리할지 얼마나 정확하게 나눠 두었는지에 달려 있다고 볼 수 있습니다.
