키미 K3가 클로드·GPT를 넘어섰다는데 — 로컬 AI가 뭔지, 내 노트북에서 되는지부터 확인해 봤어요

잠깐만요, 로컬 AI가 대체 뭔가요?

지금 챗GPT에 질문을 하나 넣어 보세요. 그 질문은 어디로 갈까요?

여러분 컴퓨터에서 처리되는 게 아니랍니다. 질문이 인터넷을 타고 미국 어딘가에 있는 오픈AI의 데이터센터로 날아가요. 거기 있는 어마어마하게 큰 컴퓨터가 답을 만들어서, 다시 인터넷을 타고 여러분 화면으로 돌아옵니다. 클로드도, 제미나이도 다 똑같아요.

그래서 인터넷이 끊기면 안 되고, 쓸 때마다 돈이 나가고, 내가 넣은 내용이 회사 서버를 거쳐 가지요.

로컬 AI는 그 반대예요. AI 모델 자체를 내 컴퓨터에 파일로 내려받아서, 내 컴퓨터에서 돌리는 것입니다. 비행기 안에서도 되고, 쓸 때마다 돈이 나가지 않고, 내가 넣은 내용이 밖으로 안 나가요.

이 글에 이름이 많이 나와서 지도를 먼저 드릴게요. 뒤에서 표를 보실 때 여기로 돌아오시면 됩니다.

"열린 모델"은 내려받을 수 있는 모델이고, 나머지는 회사 서버에서만 돌아가는 모델이에요.

여기서 감각 하나만 잡고 가실게요. AI 모델은 결국 파일 하나예요.

음악 파일이나 영화 파일처럼요. 크기가 좀 클 뿐이지, 내려받아서 프로그램으로 열면 돌아갑니다. 그 파일 안에는 모델이 학습하면서 알아낸 숫자들이 잔뜩 들어 있는데, 이 숫자들을 가중치라고 부르고 그 숫자의 개수를 매개변수(파라미터)라고 한답니다.

뉴스에 나오는 "8B", "32B", "2.8조" 같은 게 바로 그 개수랍니다.

B는 영어로 10억(billion)이라는 뜻이랍니다. 표로 보면 이렇게 되지요.

숫자가 클수록 대체로 똑똑하고, 대신 파일이 크고, 돌리기 어려워져요. 딱 이 정도만 아시면 됩니다.

그리고 파일 크기 옆의 저 숫자, "왜 80억 개짜리가 5기가지?" 싶으실 텐데요, 원래는 훨씬 큽니다. 눌러 담아서 저 크기가 된 거예요. 그 이야기는 조금 뒤에 자세히 할게요.

자, 그럼 실제로 어떻게 쓰는 걸까요. 생각보다 훨씬 쉬워서 15분이면 됩니다.

프로그램 하나 깔고, 모델 하나 고르고, 대화창에 말 걸면 끝이에요. 챗GPT 창이랑 거의 똑같이 생겼답니다.

가장 쉬운 게 LM 스튜디오예요. 완전히 클릭만으로 되고, 앱 안에서 모델 검색·다운로드·대화가 다 됩니다. 그다음이 올라마인데 이것도 데스크탑 앱이 나왔어요.

혹시 개발자 커뮤니티에서 llama.cpp 라는 이름을 보셨다면 — 그건 엔진이에요. LM 스튜디오와 올라마가 그 위에 얹힌 운전대고요. (맥에서는 애플이 만든 MLX라는 다른 엔진을 쓰기도 합니다.) 우리는 운전대만 잡으면 되고요.

그럼 내 컴퓨터에서는 뭐가 돌아갈까요? 딱 하나, 메모리만 보시면 된답니다.

혹시 "우리 집 컴퓨터에 그래픽카드가 있나?" 싶으시다면, 게임을 안 하시거나 사무용으로 사신 거면 십중팔구 따로 없습니다. 그래도 괜찮아요. 아래 3번에서 확인하는 법을 알려드릴게요. (그래픽카드를 영어로 GPU라고 하는데, 같은 말이랍니다. 이 글에서도 두 이름이 섞여 나올 거예요.)

• 그래픽카드가 따로 있는 윈도우 PC → 그래픽카드에 붙은 전용 메모리(VRAM)를 보세요. 모델 파일이 여기 통째로 들어가야 빠릅니다.
• 그래픽카드가 없는 노트북·사무용 PC → 그냥 램을 보세요. 돌긴 도는데 느립니다. 작은 모델(8B 이하)부터 시작하시면 돼요.
• 맥(애플 실리콘) → 그냥 램을 보세요. 맥은 램과 그래픽 메모리를 같이 쓰거든요(통합 메모리). 그래서 큰 모델을 올리기엔 맥이 유리하답니다. 단 같은 통을 운영체제와 나눠 쓴다는 뜻이기도 해요. 램 16기가라고 16기가를 다 쓰는 게 아니라, 크롬이며 뭐며 켜져 있으면 실제로 AI가 쓸 수 있는 건 10기가 남짓입니다.

모델 파일이 메모리에 다 안 들어가면 어떻게 될까요. 안 도는 건 아닌데 엄청나게 느려집니다. 컴퓨터가 모자란 부분을 하드에서 계속 퍼오거든요. 이게 로컬 AI에서 가장 흔한 실패랍니다.

1. 내 메모리부터 확인한다
   윈도우 + 그래픽카드 → 작업 관리자 > 성능 > GPU > "전용 GPU 메모리"
   맥                  → 왼쪽 위 사과 > 이 Mac에 관하여 > 메모리

2. LM 스튜디오를 받는다 (lmstudio.ai)
   → 설치는 그냥 다음, 다음이에요

3. 앱 안에서 모델을 검색해 받는다
   메모리 8기가면   → 8B짜리 (뒤에서 말씀드릴 안전선보다 작아요.
                     가볍게 맛보는 용도로)
   메모리 16기가면  → 12B짜리  ← 가장 무난해요
   메모리 24기가 이상 → 27B짜리

   ※ 파일 이름에 Q4_K_M 이 붙은 걸 고르세요 (뒤에서 설명할게요)
   ※ 한국어 위주라면 KT 믿음 2.0 Base(11.5B)도 좋아요.
      단 KT가 바로 받을 수 있는 형식으로는 안 올려서,
      LM 스튜디오에 뜨는 건 다른 사람이 변환해 올린 파일입니다.
      (Mini는 2.3B로 훨씬 작으니 이름을 꼭 확인하세요)

4. 대화창에 말을 건다
   → 끝이에요. 이제 인터넷을 꺼도 대답합니다.

그런데 여기서 질문이 하나 자연스럽게 따라오지요. "그럼 제일 좋은 모델을 받으면 되겠네요?"

마침 어제 세상에서 가장 큰 열린 모델이 나왔어요. 2조 8천억 개짜리요. 위 표에서 보셨듯이 그건 개인 컴퓨터에 안 들어갑니다. 그리고 알고 보니 문제가 그것만이 아니었어요.

화제의 그 모델, 오늘 그 파일은 아무도 못 받아요

2026년 7월 20일 갱신 — 이 글은 7월 17일 기준으로 썼어요. 문샷 AI는 발표문에 2026년 7월 27일까지 K3 가중치 파일을 공개하겠다고 적었습니다. 그 날짜가 지나면 아래의 "오늘은 못 받는다"는 설명은 가중치에 한정해 더 이상 맞지 않게 된답니다. 앱·API로 K3를 써 보는 것은 이 글을 쓴 시점에도 가능했고요.

미리 구분해 둘 게 있어요. K3를 써 보는 건 오늘부터 됩니다. 문샷 앱이나 홈페이지, 개발자용 연결 통로(API)로요. 안 되는 건 모델 파일을 내려받아 내 컴퓨터나 회사 서버에 올리는 쪽이고, 이 글은 그 뒤쪽 이야기랍니다.

문샷 AI가 2026년 7월 16일에 키미 K3를 공개했어요. 회사 공식 발표 기준으로 매개변수 2조 8천억 개, 컨텍스트 창 100만 토큰, 이미지도 바로 이해하는 모델입니다.

먼저 이게 얼마나 대단한 일인지 짚고 갈게요. 지금까지 나온 열린 모델 중 가장 큽니다. 회사 표현으로는 *"지난 열두 달 중 아홉 달 동안 키미 모델이 열린 모델 크기의 상한선을 그어 왔다"*고 해요. 그리고 성능도 진짜입니다. 뒤에서 자세히 보겠지만, 웹 검색·검색 정확도·자동화 시험에서 클로드와 GPT를 포함한 모든 모델을 이겼어요. 보도마다 "2조 5천억"이라는 숫자도 돌아다녔는데, 그건 발표 전에 새어 나온 이야기였고 공식 발표로 정리됐어요.

그래서 지금 K3를 쓸 수는 있습니다. 회사 발표문에 이렇게 적혀 있어요 — "키미 K3는 오늘부터 Kimi.com, 키미 워크, 키미 코드, 키미 API에서 쓸 수 있습니다." (원문: "Kimi K3 is available today on Kimi.com, Kimi Work, Kimi Code, and the Kimi API.") 휴대폰 앱도 있고요.

문제는 "내려받는" 쪽이에요. 저희가 허깅페이스 (Hugging Face — 전 세계 AI 모델이 올라오는 공개 창고예요) 를 직접 뒤져 봤답니다. 문샷 계정만 본 게 아니라 전체 계정을 통틀어 Kimi-K3로 검색했어요. 결과는 0건이었습니다 (2026년 7월 17일 확인). 지금 인터넷 어디에도 K3 가중치 파일은 없어요.

회사도 그걸 숨기지 않습니다. 공식 발표문에 이렇게 적혀 있어요.

"전체 모델 가중치는 2026년 7월 27일까지 공개될 예정입니다." (원문: "The full model weights will be released by July 27, 2026.")

그러니까 이번 주 내내 "역대 최대 오픈소스 모델"이라며 오간 이야기는, 아직 아무도 열어보지 못한 모델에 대한 이야기였답니다. 성능 이야기도 마찬가지예요. 테크크런치 (TechCrunch) 가 7월 16일에 쓴 기사는 제목부터 "upcoming Kimi 3" (곧 나올 키미 3) 이었고, 성능 근거는 파이낸셜 타임스 (Financial Times) 가 인용한 익명 소식통이었어요. 벤치마크 수치도 가격도 그 기사엔 없었지요.

그럼 문샷은 스스로 뭐라고 부를까요. 공식 블로그에서 "오픈소스"라는 단어를 세어 보면 네 번 나옵니다. 그런데 그중 두 번은 사이트 메뉴에 걸린 K2 링크였고, 한 번은 칩 설계에 쓴 도구를 가리키는 말이었어요. K3를 두고 한 말이 아니었지요.

남은 한 번은 이런 문장 안에 있습니다. 앞뒤를 같이 읽어야 뜻이 보이는 대목이라 조금 길게 옮겨 볼게요.

"저희는 지금 추론 파트너들, 그리고 오픈소스 관리자들과 긴밀히 협력해 기술 사양을 맞추고 생태계 전반에서 안정적인 배포가 되도록 하고 있습니다. 전체 모델 가중치는 2026년 7월 27일까지 공개될 예정입니다. 구조·학습·평가에 대한 상세는 키미 K3 기술 보고서와 함께 공개하겠습니다."
(원문: "We are currently working closely with inference partners and open-source maintainers to align technical details and ensure a reliable rollout across the ecosystem. The full model weights will be released by July 27, 2026. Further details on the architecture, training, and evaluations will be released alongside the Kimi K3 technical report.")

이건 "왜 오늘 못 받나"에 대한 회사의 답변이에요. llama.cpp 같은 프로그램 만드는 사람들과 사양을 맞춰서, 공개하는 날 바로 제대로 돌아가게 하려고 조율 중이라는 뜻이지요. 날짜가 7월 27일로 잡힌 것도 그래서고요. 그리고 뒤에서 이야기할 "안 밝힌 숫자들"도 기술 보고서와 함께 공개하겠다고 같은 문단에 적혀 있답니다.

정작 K3 자신은 이렇게 불립니다.

"An Open 3T-Class Model" (3조급 열린 모델)
"키미 K3는 2조 8천억 매개변수에 도달한 첫 열린 모델입니다." (원문: "Kimi K3 is the first open model to reach 2.8 trillion parameters.")

여기서 눈에 걸리는 게 하나 있어요. 같은 회사가 직전 모델 K2는 자기 사이트 메뉴에서 오픈소스 추론 모델(원문: "Open-source thinking model")이라고 부르고 있거든요. 그 단어를 몰라서 안 쓰는 게 아니라는 뜻이고, K3에서만 안 씁니다.

"오픈소스"와 "오픈웨이트"는 실무에서 전혀 다른 말이에요. 오픈웨이트는 완성된 모델 파일만 내주는 겁니다. 오픈소스는 원래 그 모델을 어떤 데이터로 어떤 코드로 만들었는지까지 공개해서, 남이 처음부터 다시 만들어 볼 수 있어야 해요. K3는 지금까지 나온 정보로는 가중치만 주겠다고 한 상태이고, 라이선스가 뭔지는 아직 밝히지 않았습니다. 이전 K2 계열이 수정된 MIT 라이선스였으니 비슷하리라 짐작할 수는 있지만, 짐작은 짐작이지요.

회사에 도입을 검토하신다면 이 차이가 곧바로 법무팀 질문이 됩니다. "상업적으로 써도 되나요? 우리 서비스에 넣어도 되나요? 매출이 얼마 넘으면 따로 허락받아야 하나요?" — 이 답이 라이선스에 적혀 있는데, K3는 아직 그 문서가 없어요.

한 가지 더. 로컬로 돌릴 때 가장 중요한 숫자인 활성 매개변수가 공개되지 않았습니다. "전문가 896명 중 토큰마다 16명이 일한다"까지만 밝혔어요. 인터넷에 "400억~1천억"이라는 숫자가 돌아다니는데, 저희가 출처를 따라가 보니 전부 근거 없는 추측 글이었답니다. 그래서 저희는 그 숫자를 쓰지 않았어요.

1. 모델 공식 페이지에서 "License" 항목을 찾는다
   → 없으면? 아직 도입 검토 대상이 아니다. 여기서 멈춘다.

2. 라이선스 이름을 확인한다
   MIT / Apache-2.0        → 대체로 자유 (상업 이용 OK)
   "Community License"     → 조건 있음. 반드시 원문 읽기
   "Non-commercial" / "NC" → 회사 업무에 쓰면 위반
   회사 자체 이름 라이선스  → 원문 정독 필수

3. 원문에서 이 세 단어를 검색한다
   "commercial"  → 상업 이용 조건
   "revenue"     → 매출 상한 (넘으면 별도 허락)
   "compete"     → 경쟁 서비스 금지 조항

4. 그다음에 성능을 본다
   ※ 순서가 반대면 시간 낭비다. 못 쓰는 모델의 성능은 의미가 없다.

그런데 여기서 저희가 공정해야 할 게 있어요. 위에서 저희는 문샷에게 이렇게 물었습니다. 라이선스는? 활성 매개변수는? 학습 데이터는?

같은 질문을 앤스로픽과 오픈AI에 하면 어떻게 될까요.

저희가 앤스로픽의 페이블 5 발표문과 시스템 카드를 직접 열어봤어요. 매개변수 개수가 아예 안 나옵니다. 학습 데이터도 무엇을 얼마나 넣었는지는 밝히지 않고 "독점적인 조합" (원문: "a proprietary mix") 라고만 적혀 있고요. (데이터를 어떻게 거르고 다루는지에 대한 설명은 더 있지만, 구성과 비율은 비공개랍니다.)

키미 K3는 적어도 2조 8천억 개라고 밝혔고, 전문가가 896명 중 16명 켜진다는 것도 밝혔지요.

그리고 저희가 문샷에게 "경쟁사 수치를 직접 안 돌리고 인용했다"고 지적했지요. 앤스로픽도 똑같이 합니다. 발표문에 "MathArena 리더보드에서 가져왔다", *"오픈AI가 공개적으로 보고한 대로"*라고 적혀 있어요.

닫힌 모델은 애초에 이 질문들을 받지 않습니다. 열겠다고 한 쪽만 "얼마나 열었나"로 심문받는 거지요. 그게 공정한 잣대인지는 생각해 볼 만해요.

"오픈소스"라는 말은 기사 제목이 붙인 것이고 회사는 그렇게 말한 적이 없습니다. 반대로 "공식 문서엔 그 단어가 아예 없다"는 것도 사실이 아니에요. 나오긴 나오는데 K3를 가리키지 않을 뿐이지요. 검색 결과 요약만 봤다면 양쪽 다 틀리게 알았을 텐데, 요약은 원문이 아니랍니다.

"활성 320억 개니까 가벼운 거 아니에요?"

요즘 큰 모델은 대부분 MoE (Mixture of Experts — 전문가 혼합) 라는 구조예요. 모델 안에 전문가가 여럿 들어 있고, 질문이 들어올 때마다 그중 몇 명만 깨워서 일을 시킵니다.

그런데 여기서 헷갈리기 쉬운 게 하나 있어요. "얼마나 깨어났나"를 재는 자가 두 개거든요.

• 전문가를 사람 수로 세는 법 — 키미 K3는 전문가 896명 중 16명만 깨웁니다.
• 매개변수를 개수로 세는 법 — 키미 K2는 1조 개 중 320억 개만 켜져요. 흔히 말하는 "활성 320억"이 바로 이 숫자랍니다.

두 자는 같은 것을 잽니다. K3도 "16명이면 매개변수 몇 개냐"로 바꿔 말할 수 있어야 하지요. 그런데 문샷이 그 숫자를 안 밝혀서, K3는 사람 수까지만, K2는 개수까지 적게 됐답니다.

그러니 320억은 K2의 숫자이지 K3의 숫자가 아니에요. 이 장에서 계속 나올 320억은 전부 K2 이야기랍니다.

그래서 "활성 320억"이라는 말이 나옵니다. 계산량이 320억 개짜리 모델만큼만 든다는 뜻이라, 실제로 속도는 빨라져요. 그런데 메모리는 하나도 안 줄어든답니다.

어느 전문가가 깨어날지 미리 알 수 없기 때문이에요. 질문이 들어와 봐야 알 수 있으니, 896명 전부가 언제든 깨어날 준비를 하고 메모리에 앉아 있어야 하지요.

회사 회의실로 비유해 볼게요. 회의에 매번 16명만 들어간다고 해서, 사무실에 16명 자리만 만들어 두면 안 되지요. 누가 불려 들어갈지 모르니 896명 전원이 회사에 출근해 있어야 하지요. 회의실 의자는 16개면 되지만, 사무실 책상은 896개가 필요합니다.

활성 매개변수는 속도를 줄일 뿐, 메모리를 줄이지는 못해요.

이게 실제로 어떤 숫자가 되는지 보면 실감이 나실 거예요.

키미 K2는 1조 개짜리인데 활성은 320억 개예요. "320억이면 24GB 그래픽카드에 들어가겠네" 싶지요. 실제로는 메모리가 최소 247GB 있어야 초당 5토큰 남짓 나옵니다 (양자화 도구를 만드는 회사 언슬로스(Unsloth)의 측정치예요 — 이 회사는 관련 제품을 파는 곳이라 중립적인 실측은 아니라는 점은 감안해 주세요). 그냥 24GB 그래픽카드에 램 256GB를 붙이면 초당 1~2토큰입니다. 한 문장 나오는 데 한참 걸려요.

K3는 그 2.8배 크기라, 개인 장비로 감당할 이야기가 아니랍니다.

반대 방향도 있어요. VRAM이 작은 그래픽카드에는 MoE가 최악이고, 통합 메모리가 큰 맥에는 MoE가 최적입니다. 그래픽카드는 VRAM이 24GB, 32GB로 딱 정해져 있어서 큰 모델이 아예 안 들어가요. 반면 맥은 램과 VRAM을 같이 쓰는 구조라 96GB, 128GB짜리에 큰 MoE를 올릴 수 있답니다. 속도는 활성 매개변수만큼만 드니 생각보다 잘 돌고요.

그리고 이 개념을 알면 벤치마크 숫자를 읽는 눈이 생깁니다. 인터넷에서 "30B 모델이 초당 234토큰!"이라는 글을 보셨다면, 십중팔구 MoE예요. 같은 RTX 5090에서 재 보면 이렇습니다.

• MoE 방식 Qwen3 30B-A3B (활성 30억) → 초당 234토큰
• 일반 방식 Qwen3 32B (전부 활성) → 초당 61토큰

둘 다 이름에 "30B", "32B"가 붙어 있는데 거의 4배 차이가 나지요. 모델 이름의 숫자만 보고 비교하시면 안 되는 이유랍니다.

1. 이름에 "A3B" "A22B" 같은 표시가 있나? (활성 매개변수)
   → 있으면 MoE다.

2. 메모리 계산은 활성이 아니라 "전체" 숫자로 한다
   Qwen3 30B-A3B → 30B로 계산 (3B 아님)

3. 속도 기대치는 활성 숫자로 잡는다
   → 30B-A3B는 3B 모델만큼 빠르지만, 30B 모델만큼 자리를 차지한다

내 장비 판단:
  VRAM 작은 그래픽카드 → MoE 불리 (통째로 안 들어감)
  통합 메모리 큰 맥      → MoE 유리 (들어가고, 빠름)

양자화, 큰 모델을 작게 눌러 담는 기술

그 기술 이름이 양자화예요. 좀 무서운 이름인데, 하는 일은 단순하답니다.

사진을 생각해 보세요. 원본 사진을 JPG로 저장하면 파일이 확 작아지지요. 화질을 아주 조금 손해 보는 대신에요. 웬만해선 눈으로 차이를 못 느끼고요.

양자화가 딱 그거예요. 모델은 결국 숫자 덩어리인데, 그 숫자들을 덜 정밀하게 적어서 파일을 줄이는 방법이지요. 소수점 열 자리까지 적던 걸 두 자리로 반올림하는 것과 비슷해요.

얼마나 작아지느냐면, 이 정도랍니다.

※ 위는 32비트 원본 기준이라 약 6분의 1로 줄어든 셈이에요. 요즘 배포되는 모델은 대개 16비트가 기본이라, 실제로 내려받으실 때는 약 3분의 1로 보시면 됩니다.

그런데 "파일이 작아진다"라고만 하면 진짜 핵심을 놓쳐요. 이 숫자는 곧 그 모델을 돌리는 데 필요한 메모리이기도 하거든요. 앞 장에서 봤듯이 모델은 통째로 메모리에 올라가야 하니까요. 라마 70B를 4비트로 누르면 43기가 — 원본은 그 몇 배라 개인 장비엔 아예 안 들어가는데, 43기가면 비싼 그래픽카드 한두 장이나 통합 메모리가 큰 맥에는 들어갑니다. 그러니 양자화가 하는 진짜 일은 파일을 줄이는 게 아니라, 안 돌아가던 모델을 내 장비에서 돌아가게 만드는 것이에요. (실제로 돌릴 땐 문맥·계산용 메모리가 조금 더 붙으니, 이 숫자는 최소 하한으로 보시면 돼요.)

로컬 AI는 이 기술 없이는 아예 성립하지 않아요. 지금 누가 "노트북에서 AI 돌린다"고 하면, 100% 눌러 담은 모델을 쓰고 있다고 보시면 됩니다.

그런데 여기서 대부분의 사람이 모르는 일이 하나 벌어져요. 눌러 담으면 파일만 작아지는 게 아니라 속도도 빨라진답니다.

같은 모델을 정밀도만 바꿔서 재보면 이래요. (비트 숫자가 작을수록 더 세게 누른 거예요.)

16비트 원본과 4비트를 비교하면 2.5배쯤 빨라졌지요. 이유가 좀 뜻밖인데요, AI는 글자 하나를 만들 때마다 그 거대한 숫자 덩어리를 처음부터 끝까지 한 번씩 읽어야 하거든요.

도서관 사서를 떠올려 보세요. 손님이 질문할 때마다 사서가 서가 전체를 한 바퀴 돌면서 책을 확인해야 한다고요. 이때 사서가 암산을 아무리 잘해도 소용없어요. 서가를 도는 시간이 전부거든요. 그런데 책을 절반으로 줄이면? 한 바퀴 도는 시간도 절반이 됩니다.

그러니까 AI가 글을 쓰는 일은 계산하는 일이라기보다 기억을 읽어오는 일에 가까워요. 파일이 작아지면 그만큼 빨라지는 것도 그래서랍니다.

이걸 뒷받침하는 재미있는 실험이 있어요. 비싼 그래픽카드에 전기를 50% 더 부어봤더니, 글 쓰는 속도는 1.2% 빨라졌습니다. 사서한테 계산기를 더 사준 셈이니까요. 서가 도는 속도는 그대로였던 거예요.

자, 그럼 실무에서 뭘 아셔야 할까요. 딱 세 가지예요.

첫째 — 받으실 때 이름을 보세요. Q4_K_M이라고 적힌 걸 고르시면 됩니다.

모델을 내려받으려고 보면 Q4_0, Q4_K_M, Q5_K_M, Q8_0 같은 암호 같은 이름이 잔뜩 나와요. 앞의 숫자가 "얼마나 세게 눌렀나"입니다. 작을수록 세게 눌렀고, 파일이 작고, 품질을 더 손해 봐요.

그런데 여기 함정이 하나 있어요. 이름이 비슷한 Q4_0과 Q4_K_M은 파일 크기가 거의 같은데 품질 차이는 네 배 넘게 납니다. 같은 4비트로 눌렀는데 누르는 방법이 달라서예요. Q4_0은 품질용이 아니라 오래된 기기 호환용이랍니다.

그러니 Q4_K_M, 이거 하나만 기억하시면 돼요.

둘째 — 요즘은 아예 처음부터 눌러서 만드는 모델이 나왔어요. 이게 이번 소식의 숨은 이야기랍니다.

원래 순서는 이랬어요. 큰 모델을 만든다 → 다 만든 다음에 눌러 담는다. 사진을 원본으로 찍고 나중에 JPG로 저장하는 것처럼요.

그런데 키미 K3 발표문을 읽다 보면 이런 대목이 나와요. 학습 후반부(사람이 대답하는 법을 가르치는 단계)부터는 4비트로 눌린 상태를 염두에 두고 학습했다고요.

세계에서 가장 큰 열린 모델이 학습 도중부터 4비트를 전제로 만들어졌다는 뜻이에요. 눌러 담기가 "다 만든 뒤에 하는 후처리"가 아니라 만드는 과정의 일부가 됐지요.

(처음부터 끝까지 4비트였다는 뜻은 아니에요. 지도 미세조정 단계 이후로(원문: "from the SFT stage onward")라는 뜻이랍니다.)

혼자만 그런 게 아니에요. 오픈AI가 공개한 gpt-oss도 마찬가지고, 문샷의 이전 모델 키미 K2.6은 4비트와 8비트의 품질 차이가 소수점 넷째 자리에서 갈려요. 사실상 차이가 없지요.

그러니 "4비트로 누르면 반쪽짜리 되는 거 아니에요?"라는 걱정은, 적어도 이런 모델들에서는 근거가 약해졌답니다.

셋째 — "눌러 담아도 괜찮다"는 말에는 조건이 붙어 있어요.

이 말은 대개 영어로, 짧은 글을, 큰 모델에서 시험해서 나온 결론입니다. 셋 중 하나라도 어긋나면 이야기가 달라져요.

• 긴 글: 짧은 글에선 품질 손실이 1% 미만인데, 아주 긴 문서를 다루게 하면 최악의 경우 절반 넘게 떨어졌어요. (늘 그렇다는 게 아니라 최악의 경우예요.)
• 한국어: 같은 연구가 이렇게 적었습니다 — "영어가 아닌 언어일 때 더 나빠지는 경향이 있다". 한국어를 콕 집어 실험한 건 아니라서 단정할 수는 없지만, 한국어로 쓰는 우리에겐 경고 신호로 볼 만하지요.
• 작은 모델: 똑같이 눌렀을 때 6억 개짜리 모델은 지식 시험이 10%쯤 떨어지는데, 140억 개짜리는 1%만 떨어져요. 작은 모델일수록 내줄 여유가 없는 거겠지요.

그래서 실용적인 기준이 하나 나와요. 120억 개 언저리가 갈림길이랍니다.

아주 최근 연구가 있어요. 작은 모델들의 생각 과정 3만 건을 사람이 직접 읽고 분류해 봤는데, 정답률은 눌러 담아도 별로 안 떨어졌습니다. 그런데 답에 이르는 과정이 슬그머니 부실해졌어요. 답은 맞는데 근거가 엉성해지는 거지요.

그리고 이 현상이 120억 개 위쪽 모델에서는 거의 안 나타나고, 가장 작은 모델들에서 확 나타났습니다. 60억 개짜리는 틀린 답 중에 "대충 지름길로 답해버린" 비율이 44%에서 78%로 뛰었어요.

걱정스러운 건 겉으로 봐선 이걸 못 잡는다는 점이에요. 연구진이 자동으로 찾아내려고 해봤는데 거의 동전 던지기 수준이었답니다. 답만 보면 멀쩡해 보이는데 속이 부실한 거지요.

그러니 120억 개(12B) 언저리부터는 안심하셔도 되고, 그 아래로 내려갈수록 조심하시는 게 좋아요. 앞에서 "램 16기가면 12B"라고 말씀드렸는데, 마침 그 크기가 안전선이 시작되는 자리랍니다.

1. 이름에 Q4_K_M 이 붙은 걸 받는다
   ✅ Q4_K_M        ← 이거
   ⚠️ Q4_0          ← 크기 같은데 품질 손해가 4배
   ❌ Q2, Q3        ← 너무 세게 눌러서 이상해짐

2. 내 컴퓨터에 들어갈까? (어림셈)
   필요 용량 ≈ 모델 크기(B 숫자) × 0.6

   예) 12B 모델 → 12 × 0.6 = 약 7기가
       27B 모델 → 27 × 0.6 = 약 17기가

   ※ 어림값이에요. 실제로는 조금 모자라게 나오니 여유를 두세요.
   ※ 대화가 길어지면 메모리를 더 씁니다.

3. 크기는 120억 개(12B) 언저리 위로
   → 그 아래는 눌러 담을 때 속이 부실해져요

4. 한국어로 긴 문서를 다루신다면
   → 한 단계 덜 누른 것(Q5, Q8)을 고려해 보세요

그런데 "눌러 담아도 괜찮다"는 말은 영어로, 짧은 글로, 큰 모델에서 잰 숫자예요. 한국어로, 긴 문서를, 작은 모델에서 쓰신다면 — 공교롭게도 셋 다 정확히 그 반대편이랍니다.

로컬이 싸다? 전기값만으로 집니다

먼저 장비를 사야겠지요. 그런데 지금 사려고 보면 이상한 일이 벌어져 있어요.

애플이 맥 스튜디오의 큰 메모리 옵션을 없앴습니다.

애플 한국 페이지와 미국 페이지 양쪽에서 확인했어요. 512GB짜리 M3 Ultra는 집에서 6,710억 개짜리 모델을 통째로 돌리던 바로 그 기계예요. 출시할 때 애플이 뉴스룸에 자랑스럽게 적었던 문장이 아직 남아 있어요 — "6천억 개 넘는 모델을 메모리에 통째로 올려 돌릴 수 있다" (원문: "capable of running LLMs with over 600 billion parameters entirely in memory"). 그런데 지금은 살 수가 없고, 상한이 96GB랍니다.

값도 올랐어요. 맥미니 M4는 89만원에서 134만 9천원이 됐습니다 (+51.6%). 이유는 회사가 직접 밝혔는데, 팀 쿡 (Tim Cook) 이 "메모리와 저장장치 비용이 지속 불가능한 수준"이라고 했고, D램 값은 1년 새 약 450% 폭등했다고 보도됐습니다.

그래픽카드도 마찬가지예요. 저희가 다나와에서 직접 확인해 보니 (2026년 7월 17일 기준) RTX 5090이 690만~710만원대였습니다. 같은 페이지에 690만원, 699만 8천원, 702만원, 711만원이 동시에 떠 있고 시시각각 바뀌더군요. 그래서 하나로 못 박지 않고 범위로 적었어요.

그런데 여기에 우리 이야기가 있어요. 그 D램을 만드는 게 삼성전자와 SK하이닉스거든요.

AI 데이터센터가 메모리를 쓸어 담으면서 값이 올랐고, 그 결과 정작 한국의 직장인과 사장님이 집에서 AI를 돌릴 기계를 못 사게 됐어요. 공급 측을 가진 나라가 수요 측에서 밀리는 셈이지요.

그리고 타이밍이 참 얄궂네요. 로컬 모델이 드디어 쓸 만해진 바로 그 시점에 로컬 하드웨어가 사라졌으니까요.

자, 그럼 그 비싼 장비를 사면 API보다 싸질까요? 저희가 계산해 봤어요. 가정을 전부 공개할 테니 직접 검증해 보셔도 됩니다.

RTX 5090으로 Qwen3-32B(4비트)를 돌린다고 하면
  전력 소비: 353W
  속도: 초당 61토큰
  전기 요금: 362.1원/kWh (주택용 저압 3단계 기준)

시간당 전기값 = 0.353kW × 362.1원 = 127.8원
시간당 토큰   = 61 × 3,600 = 219,600개
→ 100만 토큰당 전기값 = 582원 = 약 $0.39

그리고 같은 모델을 클라우드로 빌리면 100만 토큰당 $0.28이에요.

그래픽카드가 공짜라고 쳐도 전기값만으로 이미 1.4배가 비싼데, 그 그래픽카드는 700만원이지요.

여기서 "전기값이 남한테 빌리는 값보다 비싸다니?" 싶으실 거예요. 이유는 이렇습니다. 클라우드는 GPU 한 대에 수많은 사람의 요청을 한꺼번에 몰아넣어 돌리거든요(이걸 배칭이라고 해요). 같은 전기로 토큰을 훨씬 많이 뽑아내니, 토큰 하나에 드는 전기가 나 혼자 쓸 때보다 훨씬 적어요. 거기에 한국 전기요금은 해외보다 비싸고요. 그래서 남이 마진까지 붙여 빌려주는 값이, 정작 내 전기값보다도 싸지는 겁니다.

게다가 이 계산은 하루 종일 쉬지 않고 돌릴 때 이야기예요. 실제로 개인이 그렇게 쓰나요?

안 쓸 때도 컴퓨터는 켜져 있으니 전기를 먹지요. 쉬는 동안 30W를 먹는다고 잡고, 하루에 40분쯤 쓴다고 치고(가동률 3%), 한 달 전기값 전부를 그 40분씩 모아 실제로 뽑아낸 토큰으로 나눠 보면 100만 토큰당 약 2,180원이 됩니다. 위에서 본 같은 모델 클라우드 값(약 410원)의 5.3배예요. 쓰든 안 쓰든 전기는 나가는데 나눌 토큰이 적으니, 적게 쓸수록 토큰당 값이 오히려 비싸진답니다.

그리고 한국에는 특유의 함정이 하나 더 있어요. 누진제입니다.

해외 분석들은 전부 미국 전기요금(kWh당 약 $0.17)을 기준으로 쓰는데, 우리는 사정이 다르지요. 4인 가구 평균이 월 332kWh인데, 여기에 상시 100W 남짓만 더 얹으면 3단계(400kWh)로 넘어갑니다. 24시간 돌아가는 기계는 뭘 놓든 넘겨요.

집이 사무실·가게의 3.03배예요. 가게를 하시는 분이라면 이미 일반용 전기를 쓰고 계시니 집보다 훨씬 유리한 쪽에 서 계신 거고요. "집에서 돌리면 공짜"라는 직관이 한국 누진제 앞에서 가장 크게 깨지는 대목이랍니다. 같은 기계도 사무실에 두면 값이 3분의 1이 되니까요.

(한국전력 공식 요금표 페이지가 접속이 안 되거나 2013년 표를 보여줘서, 저희는 2025년 4월 시행 요금표와 여러 보도를 대조해 재구성했어요. 가정치라는 점 밝혀둡니다.)

그런데 진짜 상대는 따로 있어요.

로컬을 검토하시는 분들은 보통 최상급 모델과 비교하십니다. GPT-5.6 솔 기준으로 계산하면 하루에 A4로 197쪽쯤 처리할 때 로컬이 이겨요. 해볼 만해 보이지요.

(참고로 클로드 페이블 5는 최상급 모델 중에서도 값이 비싼 편이에요. 100만 토큰당 입력 $10, 출력 $50으로 키미 K3의 3.3배랍니다. 그러니 페이블 5를 기준으로 잡으면 로컬이 훨씬 유리해 보이지요. 어느 모델을 상대로 계산하느냐가 결론을 바꾼다는 뜻이랍니다.)

그런데 같은 오픈 모델을 클라우드로 빌리면 이야기가 달라집니다. gpt-oss-120b를 오픈라우터에서 쓰면 월 297원이에요. 이 상대를 이기려면 하루에 31,677쪽을 처리해야 하니, 160배 차이랍니다.

오픈 모델을 쓰는 것과 그 모델을 로컬로 돌리는 것은 전혀 다른 얘기예요. 많은 분들이 이 둘을 같은 것으로 생각하시는데, 오픈 모델을 클라우드에서 싸게 빌려 쓰는 길이 이미 열려 있답니다.

가동률이 왜 그렇게 중요한지 다룬 학술 연구도 있어요. 비용 페널티는 가동률의 역수(1 ÷ 가동률)라는 겁니다.

논문 초록에 실린 숫자를 보면, 같은 H100 장비에서 100만 토큰당 실효 비용이 $0.21에서 $15.25까지 벌어져요. 기업이 보통 겪는 부하(초당 1~10건)에서 2.5~24배, 거의 놀릴 때는 36.3배까지 차이가 납니다. 저자들 표현으로는 "가동률을 모르는 추정은 정확히 1÷가동률만큼 실제 비용을 낮잡는다"고 하네요.

그리고 솔직한 고백들이 있어요. 로컬 장비에 420만원을 쓴 분이 남긴 한 줄이 이래요 — "하지 마세요." (원문: "Don't.") 또 다른 분은 이렇게 적었고요 — "재미는 있어요. 그런데 돈 아끼는 방법은 아닙니다." (원문: "It's fun, but it's not a way to save money.")

1. 지금 API에 월 얼마 쓰고 있나?
   → 월 3만원 미만이면 계산할 필요 없다. 로컬이 진다.

2. 비교 상대를 정확히 잡는다
   ❌ "챗GPT 대신 로컬"     → 유리해 보이는 착시
   ✅ "같은 오픈 모델을 클라우드로 빌리는 것 대신 로컬"
   → 이게 진짜 상대다. 대부분 여기서 로컬이 진다.

3. 가동률을 정직하게 잡는다
   하루 24시간 돌리나? 아니면 하루 1시간?
   → 비용 페널티 = 1 ÷ 가동률

4. 어디에 둘지 정한다 (한국 한정)
   집  → 누진제 3단계. 상시 100W만 더해도 넘어간다
   사무실 → 약 3분의 1

5. 그래도 로컬이어야 하는 이유가 있나?
   ✅ 기밀·규제·오프라인·학습 목적
   ❌ "싸게 쓰려고"  ← 이건 대체로 틀린 출발점이다

로컬이 안전하다? 인증 없이 열린 서버 1만 2천 대

보안 연구 기관들이 인터넷을 훑어서 인증 없이 아무나 접속할 수 있는 올라마 (Ollama) 서버를 세어봤어요. 올라마는 로컬에서 AI 모델을 돌릴 때 가장 많이 쓰는 프로그램이랍니다.

세 조사는 세는 기준과 범위가 서로 달라서 더할 수 없어요. 그래서 합치지 않고 나란히 놓았습니다. 숫자를 키우려고 더하면 그게 곧 과장이 되니까요.

그리고 하나 밝혀둘 게 있어요. 저희가 이 세 조사의 원문 페이지에는 끝내 도달하지 못했습니다. 기관 이름과 발표 시점, 수치는 확인했지만 원 보고서를 직접 열어보진 못했어요. 그러니 이 숫자들은 그만큼의 무게로만 읽어 주세요.

왜 이런 일이 생길까요. 올라마에는 인증 기능이 아예 없어요. 아이디도 비밀번호도 없지요. 원래 내 컴퓨터 안에서만 쓰라고 만든 도구라서 그렇답니다.

문제는 사람들이 "다른 자리에서도 쓰고 싶은데" 하면서 포트를 연다는 거예요. 그 순간 인터넷 전체에 로그인 없는 AI 서버가 하나 생기는 겁니다.

올라마를 만드는 쪽도 이걸 알고 있어요. 인증 기능을 넣자는 제안이 여러 번 올라왔는데 전부 받아들여지지 않았고, 2024년 12월에 관리자가 공식 입장을 밝혔습니다. 요지는 *"올라마는 통로 역할에 집중하고, 인증은 앞에 다른 프로그램(nginx 같은 것)을 세워서 하시라"*는 거예요.

틀린 말은 아니에요. 그렇게 하면 실제로 막히니까요. 다만 LeakIX가 짚은 건 조금 다른 이야기랍니다.

"앞에 프로그램을 세우는 방식이 안 통한다는 게 아닙니다. 통해요. 문제는 아무도 그렇게 안 한다는 겁니다."
(원문: "The problem isn't that proxy-based auth doesn't work. It does. The problem is that nobody does it.")

그리고 이렇게 덧붙였어요. 12,269대라는 숫자가 "그냥 nginx 붙이세요"는 보안 대책이 못 된다는 걸 증명한다고요.

이 이야기의 핵심은 "로컬이 위험하다"가 아니에요. 좀 더 정확히 말하면 이렇습니다.

클라우드를 쓸 때는 그 회사가 대신 해주던 일들이 있었어요. 로그인 관리, 접근 권한, 이상 접속 감시, 그리고 문제가 생겼을 때 고쳐주는 사람까지요. 로컬로 옮기면 그 모든 게 내 일이 됩니다. 프라이버시를 지키려고 옮겼는데 정작 로그인 없는 공개 서버를 열어둔 상태가 되는 거지요.

회사에서 온프레미스를 검토하신다면 이 질문을 꼭 해보세요. "모델을 올릴 사람은 정해졌는데, 그걸 계속 지킬 사람은 누구인가요?" 이 질문에 답이 없으면 클라우드보다 위험해질 수 있답니다.

다행히 해법은 아주 간단해요. 포트를 열지 않으면 그걸로 끝이거든요.

1. 외부에서 접속할 필요가 정말 있나?
   → 없으면 아무것도 안 하면 된다. 기본값이 안전하다.

2. 밖에서 써야 한다면, 절대 포트를 그냥 열지 않는다
   ❌ 공유기에서 11434 포트 포워딩  ← 이게 1만 2천 대가 된 경로
   ✅ VPN으로 회사망에 들어와서 쓰기

3. 내 서버가 열려 있는지 확인하는 법
   → 휴대폰 데이터(와이파이 끄고)로 접속해 본다
   → 뭔가 응답하면? 인터넷 전체에서도 응답한다는 뜻이다

프라이버시·규제 때문에? 데이터는 반대로 말해요

시장조사 회사 서카나 (Circana) 가 2026년 1월에 낸 조사예요. 기기에 AI가 들어가는 걸 원하지 않는 사람들에게 왜 그런지 물었습니다.

1위 이유는 프라이버시(59%)가 아니었어요. "지금 내 기기가 필요한 일을 이미 다 한다"가 약 3분의 2로 1위였고, 프라이버시는 2위였답니다. 돈을 더 내고 싶지 않다는 응답도 43%였어요.

조사를 낸 분(Sara Rosenman)의 표현이 담백해요.

"AI는 아직 떠오르는 중이고, 지금은 구매를 결정짓는 요인이라기보다 있으면 좋은 기능에 가깝다." (원문: "AI is still emerging and is currently more of a nice-to-have feature, as opposed to a core decision driver.")

재미있는 건 기업과 소비자가 정반대로 움직인다는 점이에요. 소비자는 관심이 없는데, 기업 쪽에서는 오픈·프라이빗 모델로 옮겨가는 흐름이 실제로 있습니다.

그러니까 "사람들이 프라이버시를 원해서 로컬이 뜬다"는 서사는 적어도 소비자 쪽에서는 근거가 약해요. 로컬 AI를 미는 건 개인의 불안이 아니라 기업의 규제 상황이랍니다.

그럼 그 규제는 어떻게 되고 있을까요. 이쪽이 좀 뜻밖이에요.

한국에서 로컬 AI의 명분이던 규제가 지금 무너지는 중이랍니다.

금융위원회는 2026년 4월 20일부터 금융회사가 내부 업무망에서 SaaS를 쓸 수 있게 했고, 이틀 전인 7월 15일 업무보고에서는 망분리 전면 해제를 추진하겠다고 밝혔습니다. (다만 이건 아직 계획 단계예요. 시행 시점도 구체안도 발표되지 않았고, 12월에 해제안을 마련한다는 보도도 있어서 확정된 것처럼 읽으시면 안 돼요.)

그런데 딱 하나, 생성형 AI만 아직 문 밖이에요.

금융위 발표문에 이렇게 적혀 있어요 — "생성형 AI 서비스 관련 규제도... 최대한 신속히 망분리 규제 예외가 적용될 수 있도록 추진할 계획". 추진할 계획이라는 건 아직 아니라는 뜻이지요.

그리고 4월 개정에는 중요한 단서가 있어요. 이용자의 고유식별정보나 개인신용정보를 처리하면 망분리 예외를 못 받습니다.

이 단서가 은행을 온프레미스로 밀어붙여요. 고객 데이터로 AI를 쓰려면 내부망에 직접 올리는 수밖에 없거든요. 그래서 이런 일들이 실제로 벌어졌습니다.

• 한국은행 — 전 세계 중앙은행 최초로 자체 AI 플랫폼을 구축했어요. 외부망과 완전히 분리된 온프레미스입니다 (2026-01-21). *"데이터 유출 우려를 원천 차단"*이라고 밝혔지요.
• 한국수출입은행 — 130억원을 들여 온프레미스 생성형 AI를 만들었어요 (2026-04-19). *"민감한 내부 정보를 안전하게 관리하기 위해"*라고 했습니다.
• KB증권 — 금융보안원에서 생성형 AI 망분리 예외구간 단말에 대해 '적합' 통지를 받았어요 (2026-06-22).

더 흥미로운 건 금융당국이 갈림길을 공식적으로 깔아뒀다는 점이에요. 상용 AI(챗GPT 같은)는 규제 샌드박스로 가되 개인신용정보는 못 쓰고, 오픈소스 AI는 금융회사 내부망에 직접 설치하는 쪽으로요. *"보안성과 비용 효율성에 장점"*이라는 이유를 붙였습니다. (2024년 12월 자료라 시점은 감안해 주세요.)

그런데 개인정보보호위원회는 반대 방향을 가리켜요.

이게 의외예요. 개인정보위가 낸 생성형 AI 안내서를 저희가 직접 읽어봤는데 (2025년 8월 자료예요), 해법으로 온프레미스가 아니라 기업용 API를 제시하더군요.

"LLM 서버가 해외에 소재한다면, 개인정보 국외이전에 해당하는지 검토하고 관련 규율을 확인할 필요가 있습니다."

그러면서 기업용 API는 입출력값을 기본적으로 저장하지 않고, 학습에 쓰지 않으며, 처리 계약(DPA)을 맺는다는 점을 짚어요. 심지어 의료기관 사례가 안내서에 직접 실려 있습니다. 진료 대화를 기업용 라이선스로 처리한 사례에 대해 개인정보위가 이미 인정 결정을 냈어요.

그러니까 "규제 때문에 무조건 온프레미스"가 아니랍니다. 조건을 갖춘 기업용 API는 이미 길이 열려 있어요.

여기서 많은 회사가 놓치는 게 하나 있어요. "클라우드에 넣으면 다 학습에 쓰인다"는 말은 절반만 맞거든요.

많은 회사가 로컬을 검토하기 전에, "직원들이 개인 무료 계정으로 쓰던 걸 업무용 플랜으로 바꾸는 것"만으로 끝날 문제를 안고 있어요.

(참고로 2023년 삼성 챗GPT 사건이 이 통념의 출발점인데요, 그건 3년 전 일이고 당시 개인용 챗GPT 기준이에요. 오늘의 기업용 정책과는 다른 이야기라, 지금 근거로 쓰시면 부정확하답니다.)

1. 지금 우리 직원들이 뭘 쓰고 있나?
   → 개인 무료 계정? 그럼 여기가 진짜 문제 지점이다.
   → 업무용 플랜으로 바꾸는 것만으로 해결될 수 있다.

2. 우리가 넣는 데이터에 이게 들어가나?
   고유식별정보 (주민번호 등) / 개인신용정보
   → 들어가면 금융권은 아직 외부 AI 못 쓴다 (2026-07 현재)
   → 안 들어가면 기업용 API 경로가 열려 있다

3. 개인정보처리방침에 국외이전을 적어뒀나?
   → 계약 이행 목적이면 별도 동의 없이도 가능한 길이 있다
   → 단 처리방침에 공개하거나 고지해야 한다

4. 계약서에 이 문장이 있나?
   "학습에 사용하지 않는다"
   → 없으면 그 벤더는 후보에서 뺀다

그러니 "우리도 온프레미스 해야 하나?"의 답은 "우리가 다루는 데이터가 그 한 칸에 들어가는가"로 정해진답니다.

따라잡았다? 격차는 오히려 벌어졌어요

에포크 AI라는 연구 기관이 있어요. 어느 회사에도 속하지 않고 AI 성능을 추적하는 곳입니다. 이곳이 "열린 모델이 최상급 모델보다 몇 달 뒤처져 있나"를 꾸준히 재고 있어요.

• 2025년 10월 → 3개월 뒤
• 2026년 5월 → 4개월 뒤

좁혀진 게 아니라 오히려 벌어졌네요.

에포크가 스스로 단서까지 달았어요. 이것도 실제보다 후하게 본 걸 수 있다고요. 열린 모델은 공개된 시험 문제에 맞춰 연습하는 경향이 있고, 최상급 연구소는 가장 센 모델을 아예 안 내놓는 관행이 있어서랍니다.

그런데 여기서 훨씬 중요한 구분이 있어요.

"4개월 뒤"라는 그 문장의 주인공이 누구인지 보셔야 해요. 7,530억 개, 1조 600억 개짜리 모델들이라 노트북에는 안 올라갑니다.

내 장비에 들어가는 크기로 좁히면 숫자가 달라져요.

게다가 이 분석의 저자도 단서를 붙였어요. 작은 열린 모델은 특정 시험에 맞춰 최적화됐을 가능성이 더 커서, 실제로 써보면 격차가 이보다 길 수 있다고요.

그러니까 아무 열린 모델이나 = 4개월 뒤, 내 노트북에 들어가는 열린 모델 = 6개월에서 1년 뒤예요. 둘은 완전히 다른 이야기랍니다.

(참고로 이 분석은 2025년 8월 자료예요. 시점은 감안해 주세요.)

그런데 "뒤처졌다"는 말도 뭉뚱그리면 틀려요. 어디서 뒤처지는지가 훨씬 중요하거든요.

작은 모델(120억~310억 개)이 최상급 모델 대비 몇 %나 하는지, 일의 종류별로 갈라 봤어요.

한 줄로 줄이면 이래요. 작은 모델은 지시는 최상급보다 잘 따르는데, 아는 게 없고 긴 일을 못 끝냅니다.

"말귀"와 "실력"은 다른 축이지요. 로컬 모델을 잠깐 써보고 "어? 생각보다 괜찮은데?" 하시는 이유가 여기 있습니다. 말귀는 정말 밝거든요. 그런데 실무에 넣으면 무너지는 이유도 같은 표에 있고요.

그 경계는 한 모델 안에서도 그어져요.

버클리 대학이 만든 시험에서 이런 결과가 나왔습니다. 아주 작은 40억 개짜리 모델을 놓고 두 가지를 시켜봤어요.

같은 모델이에요. 도구 하나 부르는 건 최상급과 0.7%포인트 차이인데, 웹에서 찾아보라니까 3%가 됐어요. 저하가 아니라 붕괴에 가깝지요.

패턴이 보이시나요. 작은 모델은 "아는 것"과 "한 번에 끝나는 일"은 따라잡았어요. 그런데 "여러 단계를 스스로 밟아 끝까지 해내는 일"은 못 따라잡았습니다.

그런데 균형은 잡아야 해요. 최상급도 못 하는 게 있거든요.

하버드 연구진이 도구 사용을 난이도별로 나눠 1만 6천 번 넘게 채점했어요. 가장 어려운 등급인 장기 계획에서 작은 모델은 0%였습니다. 그런데 GPT-5도 10.2%였어요. 저자들이 이렇게 적었습니다 — "어느 쪽도 믿을 만한 수준에 이르지 못했다."

그러니까 "어려운 건 최상급 쓰면 되지"가 아니라, 아직 아무도 못 한다가 정확해요.

같은 일을 네 번 반복시키는 시험도 있어요. 쇼핑 업무에서 클로드 오푸스 4.5가 한 번은 79.6% 성공하는데, 네 번 연속 성공은 51.8%였습니다. GPT-5.2도 똑같이 51.8%였고요. 같은 일을 네 번 시키면 최상급도 절반은 틀립니다.

그리고 작은 모델이 최상급을 이기는 영역도 분명히 있어요.

요약할 때 없는 말을 지어내는 비율을 재는 독립 평가가 있습니다. 결과가 이래요.

40억 개짜리 열린 모델이 최상급 모델들을 전부 이겼어요. 답하기를 회피해서 안 틀린 것도 아닙니다. 99.9%를 답했거든요.

다만 이 결과엔 단서를 세 개 붙여야 공정해요. 채점하는 도구가 그 평가를 낸 회사의 상용 제품이고, 시험 문제를 공개하지 않아 검증할 수 없고, 결정적으로 영어 전용이에요. 문서에 그렇게 적혀 있습니다. 한국어 요약에 그대로 옮길 수 없다는 뜻이지요.

문샷이 낸 공식 표에서 K3가 이긴 항목이 분명히 있습니다.

• 실제 업무 시험에서 클로드 오푸스 4.8을 이겼어요
• 긴 지식노동 시험에서 GPT-5.6 솔을 이겼고요
• 웹 검색은 표에 있는 모든 모델 중 1위예요
• 검색 정확도도 1위, 자동화 시험도 1위입니다

진짜예요. 열린 모델이 최상급을 실제로 이기는 항목들이랍니다.

그리고 같은 표에 진 항목도 그만큼 있어요.

• 방금 그 두 시험 다 1위는 페이블 5였어요. K3는 2위와 3위고요.

다만 여기 잔글씨가 하나 있습니다. 페이블 5의 그 점수는 페이블 5 혼자 낸 게 아니에요. 어려운 질문이 오면 100번 중 5번 미만은 아래 모델(오푸스 4.8)이 대신 답하는 구조로 시험을 봤거든요. 앤스로픽이 표에 그렇게 적어뒀습니다. 반칙은 아니고 실제 서비스가 그렇게 돌아가는 건데, "한 모델의 순수한 점수"로 읽으면 안 된다는 뜻이지요.

• 터미널에서 도구 쓰는 시험에선 페이블 5·오푸스 4.8·GPT-5.6 솔 세 회사 모델 전부에게 졌습니다.
• 자기 이름을 붙인 내부 시험에서도 집니다.

이긴 것도 진 것도 같은 표에 나란히 있어요. 어느 한쪽만 옮기면 그게 편향이 되지요.

한 가지 더 알아두면 좋은 게 있어요. 저 표의 숫자들은 다 같은 방식으로 나온 게 아니랍니다.

각주를 읽어보면 항목마다 다릅니다. 크게 세 갈래예요.

• 웹 검색 시험 — 클로드와 GPT 점수는 앤스로픽과 오픈AI가 낸 발표에서 인용했다고 밝힙니다.
• 실제 업무·지식노동 시험 — 이 두 항목은 모든 모델의 점수를 아티피셜 애널리시스라는 독립 평가 기관에서 가져왔다고 적혀 있어요.
• 도구 사용 시험 같은 것 — *"모든 모델을 평가했다"*고 적혀 있습니다. 문샷이 직접 돌린 거지요.

그러니 "K3가 이겼다"를 읽을 때 어느 쪽인지 보셔야 해요. 직접 붙여본 항목이라면 같은 조건이고, 인용해 온 항목이라면 조건이 다를 수 있으니까요. 업계에서 둘 다 흔한 방식이랍니다.

국산이 한국어 1등? LG 자체 표에 답이 있어요

먼저 밝혀둘게요. 이 장에 나오는 표들은 수천억 개짜리 거대 모델 이야기라 여러분 컴퓨터에는 안 들어갑니다. 그럼 왜 보느냐면, "국산이 한국어를 제일 잘한다"는 통념이 여기서 깨지고 그게 실제로 고르실 작은 모델 이야기로 이어지거든요. 결론만 필요하시면 이 장 끝의 라이선스 표로 바로 가셔도 됩니다.

LG AI 연구원이 올해 1월에 K-엑사원 기술 보고서를 냈어요. 2,360억 개짜리, 정부의 독자 AI 모델 사업으로 만든 모델입니다.

그 보고서에 한국어 시험 성적표가 실려 있는데요. 한국어 시험 다섯 개 중 네 개에서 중국 딥시크가 K-엑사원을 이깁니다.

상대가 누구냐에 따라 그림이 완전히 달라져요.

• 큐원 상대 (크기가 거의 같은 동체급이에요) → K-엑사원이 3승 2패. 언어학·문화 상식·긴 문서에서 이깁니다.
• 딥시크 상대 → 1승 4패. 수학 하나만 이기고, 그마저 미국 오픈AI가 공개한 모델(91.6점)에게는 집니다.

둘 다 같은 표에 있는 사실이에요. 그러니 "국산이 중국에 밀린다"도, "국산이 대등하다"도 어느 열을 고르느냐에 따라 만들어낼 수 있지요. 표를 보실 때 "무엇과 비교했는가"를 먼저 보셔야 하는 이유랍니다.

이 표가 강한 이유가 두 겹이에요.

첫째, 저 국가전문자격 시험은 LG가 직접 만들고 관리하는 시험입니다. 허깅페이스에서 확인해 보니 LG AI 연구원 계정이 소유하고 있더군요. 자기가 출제한 시험에서 진 기록이에요.

둘째, 저 중국 모델 점수를 LG가 직접 측정했어요. 보고서에 규약이 적혀 있어요. "별표가 붙은 점수는 상대 회사 발표에서 가져온 것"*이라고요. 그런데 저 한국어 다섯 줄의 중국 모델 점수에는 별표가 없습니다. 보고서에 이런 문장도 있고요. *"공식 점수가 없는 경우 저희 환경에서 직접 평가합니다."

경쟁사가 이겼다는 숫자를 LG가 자기 손으로 재서 실었지요. 회사가 내는 자료는 보통 자기에게 유리하게 기울기 마련인데, 그 편향을 뚫고 나온 기록이라 오히려 믿을 만해요.

덤으로 하나 더 있어요. 자기네 구모델인 엑사원 4.0(320억 개)이 신모델 K-엑사원(2,360억 개)보다 국가전문자격 점수가 높습니다. 67.7 대 67.3으로요. 7배 키웠는데 한국어 전문지식은 안 올랐네요.

LG만 그런 게 아니에요. 회사와 무관한 독립 평가에서도 같은 그림이 나옵니다.

한국어 실력을 재는 독립 지수를 보면, 중국 큐원 3.5의 278억 개짜리 모델이 K-엑사원(2,360억 개)을 이겨요. 87.42 대 85.17로요. 8.4배 작은데 앞서네요.

한국어 웹 검색 능력을 재는 독립 학술 연구는 더 아파요. 논문 초록이 이렇게 적었습니다 — "한국의 독자 AI 파운데이션 모델 사업으로 나온 한국어 모델들은 0.00~10.33%에 그친다."

젬마 4 31B가 7.6배 큰 K-엑사원을 2.3배 앞서요. 그것도 한국어 문제에서요.

이 연구를 믿을 만한 이유가 하나 더 있어요. 저자에 네이버 클라우드 소속이 포함돼 있는데, 자기네 하이퍼클로바를 꼴찌권으로 보고했습니다. 자기에게 불리한 결과를 그대로 낸 거지요.

그리고 한 가지 더 눈여겨보실 게 있어요. 위 표에서 국가전문자격 시험과 긴 문서 이해는 LG가 직접 만든 시험입니다. 자기가 출제한 시험에서 하나는 지고 하나는 이겼네요.

여기서 선을 하나 그어둘게요. LG 보고서의 줄글 부분은 자기 점수만 나열하지, "중국 모델에 졌다"고 적지는 않습니다. 진 사실은 표에만 있어요. 그러니 "LG가 인정했다"가 아니라 "LG가 낸 표에 그렇게 적혀 있다"가 정확한 표현이랍니다.

그럼 국산 모델을 쓸 이유가 없는 걸까요? 그렇지 않아요. 다만 이유가 흔히 말하는 것과 다릅니다.

먼저 짚을 게 있어요. 위 표는 전부 수천억 개짜리 거대 모델 이야기라, 개인 PC나 중소기업 서버에는 안 올라갑니다. 실제로 돌리실 크기가 아니에요.

그럼 내 장비에 들어가는 크기에선 국산이 나을까요? 여기서는 저희도 정직해야 할 게 있습니다.

흔히 "작은 크기에선 국산이 한국어를 훨씬 잘한다"고들 이야기해요. 근거로 드는 게 대개 메타의 라마 3.1 8B인데, 한국어를 시켜보면 성적이 정말 처참하거든요. 그런데 그건 2024년에 나온 모델 하나예요.

그럼 작은 체급 데이터는 어디 있을까요. KT가 자기 모델 카드에 표를 실어 뒀습니다. 믿음 11.5B가 중국 큐원 3의 40억·140억 개짜리와 한국어에서 어떻게 붙는지 나오는데, KT 쪽이 앞서요.

그런데 이건 KT가 자기 모델을 소개하며 자기가 잰 숫자예요. 이 글 앞에서 저희는 LG 표를 인용하면서 "회사가 내는 자료는 자기에게 유리하게 기운다"고 했지요. 같은 잣대를 KT에도 대야 공평하겠지요.

그러니 정확히는 이렇습니다. "작은 체급에서 국산이 낫다"는 회사 쪽 자료로는 그렇게 보이는데, 회사와 무관한 독립 기관이 그 체급을 비교한 자료는 저희가 찾지 못했어요. 그래서 "소형에선 국산 압승"이라고 단정하지 않겠습니다.

오히려 저희가 가진 데이터는 반대쪽을 가리키기도 해요. 앞서 본 대로 중국 큐원 3.5의 278억 개짜리가 한국어에서 K-엑사원을 이기고, 젬마 4의 310억 개짜리는 한국어 웹 검색에서 K-엑사원을 두 배 넘게 앞섭니다. 그 체급에선 해외 모델도 한국어를 합니다.

그래서 "국산 모델을 왜 쓰는가"의 정직한 답은, "한국어를 제일 잘해서"가 아니라 아래에서 볼 라이선스 때문이랍니다. 그리고 그 체급에서 한국어가 실제로 검증된 데이터가 국산 쪽에 더 많아서이기도 하고요.

저희가 국산 모델 여덟 개의 라이선스 원문을 전부 열어봤는데, 회사마다 조건이 완전히 달랐어요. 이게 성능보다 먼저 부딪히는 진짜 관문입니다.

"국산이니까 마음 놓고 쓰자"가 전혀 성립하지 않지요. LG 엑사원 4.5를 회사 업무에 쓰면 그 자체로 위반이에요.

그리고 여기서 좀 씁쓸한 대비가 생깁니다. 저희가 확인해 보니 딥시크와 큐원의 주요 모델 상당수가 MIT나 아파치 2.0이에요. 회사 업무에 마음대로 써도 되는 라이선스지요. (전 계열이 그렇지는 않아요. 저희가 센 범위에서 딥시크는 스물다섯 중 여덟 개, 큐원은 스물 중 둘이 다른 조건이었습니다.)

주력 모델만 놓고 보면, 회사에서 자유롭게 쓸 수 있는 건 중국 모델이고 못 쓰는 게 국산인 상황이랍니다. 물론 SK텔레콤과 KT는 열어뒀으니 국산이 다 그렇다는 건 아니고요.

반면 KT 믿음 2.0은 115억 개짜리라 150만원대 그래픽카드에서 돌아가고, 라이선스도 가장 자유롭습니다. 한국 직장인에게 가장 실용적인 답이 여기 있어요. 앞서 본 "120억 개 언저리" 안전선과도 마침 맞고요.

1. 우리가 돌릴 수 있는 크기인가?
   → 150만원대 그래픽카드 = 약 120억~270억 개까지
   → 2,360억 개짜리는 개인·중소기업 장비에 안 올라간다

2. 라이선스를 먼저 본다 (성능보다 먼저!)
   ✅ KT 믿음 2.0        — 자유
   ✅ SK텔레콤 A.X K1    — 자유
   🔴 LG 엑사원 4.5      — 상업 이용 금지
   🔴 카카오·네이버       — 조건 있음. 원문 확인 필수

3. "국산이라 한국어가 낫다"를 전제로 깔지 않는다
   → 거대 모델급에선 사실이 아니다 (위 표 참고)
   → 작은 체급은? 최신 정면 비교 데이터가 부족하다.
      국산도 분명한 선택지이지만 "확실히 낫다"고 말할 근거는 없다.
   → 그러니 성능보다 라이선스와 크기를 먼저 정하고 고른다

혹시 "국내 언론이 이런 표를 안 다룬다"고 생각하셨다면, 그렇지 않답니다. THE AI라는 매체는 작년 6월 30일에 네이버 자체 보고서를 근거로 *"큐웬3 32B에게 밀렸다"*고 실었어요. AI타임스는 *"평가 환경이 달라 절대적 비교 기준이 될 수 없다"*는 유보를 달았고요. 「돈 내면 성능평가 1위?」 같은 비판 기사도 있습니다.

다만 K-엑사원의 저 국가전문자격 줄을 옮긴 기사는 저희가 찾아본 범위에서는 못 찾았습니다. 검색어 열세 가지, 매체 여덟 곳을 봤어요. 그런데 저희 검색이 닿지 못한 곳이 있답니다. 네이버 뉴스 색인을 직접 뒤지지 못했고, LG가 배포한 차트 이미지 안은 읽지 못했어요. 그러니 "보도되지 않았다"가 아니라 "저희가 못 찾았다"가 정확합니다.

그래서 진짜인 건 뭔가요

에포크 AI가 2025년 9월에 이런 예측을 했어요. "1년 지연이 유지된다면, 2026년 중반쯤엔 집에서 돌리는 열린 모델이 그록 4 급이 될 것이다."

지금이 그 시점인데, 맞았네요.

RTX 5090 한 장에 올라가는 큐원 3.6 27B(아파치 라이선스)의 종합 지수가 37이에요. 1년 전 최상급이던 그록 4가 33이었고요.

작년의 최고 모델이 올해 내 PC에 들어왔습니다.

(다만 이 대조는 저희가 만든 것이고, 지수는 시점이 다르면 직접 비교에 한계가 있어요. 앞서 다른 지표에 "다른 버전끼리 비교하면 안 된다"고 적었으니 여기에도 같은 무게로 단서를 답니다. 방향으로만 봐주시면 좋겠어요.)

그리고 지난달에, 이 글에서 가장 중요할지도 모르는 일이 있었어요.

2026년 6월 12일, 앤스로픽의 페이블 5가 갑자기 꺼졌습니다. 회사가 낸 공지문이 이렇게 시작해요.

"미국 정부가 국가안보 권한을 근거로, 미국 안에 있든 밖에 있든 모든 외국인의 페이블 5·미토스 5 접근을 중단하라는 수출통제 지시를 내렸습니다… 저희는 규정을 지키기 위해 모든 고객에 대해 갑작스럽게 페이블 5와 미토스 5를 꺼야 합니다."
(원문: "The US government, citing national security authorities, has issued an export control directive to suspend all access to Fable 5 and Mythos 5 by any foreign national, whether inside or outside the United States... we must abruptly disable Fable 5 and Mythos 5 for all our customers to ensure compliance.")

"모든 외국인"에는 우리가 들어갑니다. 한국에서 페이블 5를 쓰던 분들은 그날 예고 없이 못 쓰게 됐어요. 회사 잘못은 아니었습니다. 지시가 즉시 발효됐고 실시간으로 국적을 확인할 방법이 없어서 전 사용자에게 껐다고 회사가 설명했지요.

지금은 다시 쓸 수 있어요. 6월 30일에 수출통제가 해제됐고 7월 1일부터 복구됐습니다. 결국 19일간이었어요.

계기도 밝혀졌습니다. 아마존 연구진이 페이블 5의 안전장치를 우회해 소프트웨어 취약점을 찾아내는 방법을 보고했고, 정부가 그걸 알게 되면서 지시가 내려왔어요. 그런데 회사가 나중에 확인해 보니 성능이 훨씬 떨어지는 다른 모델들도 같은 취약점을 찾아냈고, 시험한 모든 모델이 같은 시연을 해냈다고 합니다.

그런데 이 19일이 로컬 AI 이야기의 핵심이랍니다.

이 글 맨 앞에서 저희는 "키미 K3 파일을 오늘 아무도 못 받는다"고 했어요. 그건 11일 뒤에 공개하겠다고 문서로 예고된 상태입니다. 반면 페이블 5는 예고 없이, 하루아침에, 한국 사용자 전원에게서 사라졌어요. 그리고 언제 돌아올지는 그때 아무도 몰랐습니다.

업무에 그 모델을 박아 넣은 회사였다면 어땠을까요. 19일이면 프로젝트 하나가 통째로 밀리는 시간이에요.

이미 내려받아 둔 모델은 그렇게 꺼지지 않습니다. 정부 지시로도, 회사 사정으로도, 요금제 변경으로도요. 내 하드디스크에 있으니까요.

로컬 AI를 권하는 이유 중에 저희가 검증한 것들은 대부분 틀렸는데, 이건 틀리지 않았습니다. 프라이버시도 아니고, 돈도 아니고, 규제도 아니에요. 그냥 "내 것이라는 것"입니다.

그리고 하나 더. 2조 8천억 개짜리 모델 뉴스는 제 일과 상관없지만, "작년 최고 모델이 올해 내 PC에 들어온다"는 규칙성은 상관있거든요.

이 규칙이 유지된다면, 내년에 내 장비에서 돌아갈 것은 오늘의 페이블 5나 GPT-5.6 솔 급이라는 예상이 가능해집니다. 장비를 지금 살지 내년에 살지, 어떤 일을 로컬로 옮길지 판단할 근거가 되지요.

그럼 오늘 뭘 하면 될까요.

첫째, 진짜 오픈소스는 이미 집에서 돌아가요.

앞에서 K3가 오픈소스가 아니라고 말씀드렸지요. 그럼 진짜는 어디 있을까요. 미국 앨런 AI 연구소의 올모 3 (Olmo 3) 입니다. 320억 개짜리예요.

가중치는 물론이고 학습 데이터(9조 3천억 토큰 분량)와 학습 코드, 중간 저장본, 학습 기록까지 전부 공개했어요. 라이선스는 아파치 2.0이고요. 오픈소스 정의를 실제로 만족하는 거의 유일한 모델이랍니다.

그리고 그건 집에서 돌아갑니다. 32B는 RTX 5090 한 장에 올라가고, 70억 개짜리(7B) 변종은 웬만한 노트북에서도 돌아요.

그러니까 "역대 최대 오픈소스"라 불린 쪽은 오픈소스가 아니고 아무도 못 돌리는데, 정작 오픈소스가 맞는 쪽은 이름이 덜 알려졌고 잘 돌아갑니다.

(다만 인기는 다른 얘기예요. 올모 3에서 가장 많이 쓰이는 7B 변종이 30일에 14만 건 안팎인데, 데이터를 공개하지 않은 젬마 4 계열은 1,000만 건대입니다. 2026년 7월 17일 확인값이고, 매일 바뀌니 자릿수로만 보시면 돼요. 완전한 공개가 곧 인기는 아닌 모양이랍니다. 참고로 같은 올모 3라도 32B 변종은 7,000건 남짓이라, 어느 변종을 세느냐에 따라 20배가 달라져요.)

둘째, 한국에서 일하시는 분께 가장 현실적인 답.

KT 믿음 2.0 베이스 11.5B예요. MIT 라이선스라 상업 이용이 자유롭고, 램 16기가 노트북에서도 돌아가고, 한국어를 위해 만든 모델입니다.

다만 두 가지는 알고 가셔야 해요.

첫째, KT가 바로 받아 쓸 수 있는 형식으로는 안 올렸습니다. 저희가 KT 공식 계정을 확인해 보니 개발자용 원본만 있더군요. LM 스튜디오에서 검색하면 나오는 건 다른 사람이 변환해 올린 파일이에요. 나쁘다는 게 아니라, 누가 올린 건지 알고 받으시라는 뜻입니다.

둘째, 이름을 꼭 확인하세요. 믿음 2.0에는 Base(11.5B)와 Mini(2.3B) 둘이 있는데, 정작 더 많이 받아 가는 건 Mini예요. 그런데 2.3B는 앞에서 말씀드린 120억 개 안전선의 5분의 1입니다. 작은 걸 원하셨다면 괜찮지만, 모르고 받으시면 안 되지요.

그리고 앞서 본 대로 120억 개 언저리부터가 눌러 담기 안전선이니, 크기도 마침 맞습니다.

셋째 — 지금 가진 걸로 오늘 밤에 됩니다. 아무것도 사지 마세요.

이 글에 690만원짜리 그래픽카드가 여러 번 나왔지요. 그런데 램 16기가 노트북이면 오늘 밤에 12B 모델이 돕니다. 새로 살 필요 없어요.

그리고 장비가 아예 없거나 더 센 모델을 써 보고 싶으시면, 오픈 모델을 클라우드로 빌리는 길이 있습니다. 앞에서 본 대로 월 300원 수준이에요. 무료 티어 한도에 걸려 답답하셨다면, 700만원짜리 카드보다 이쪽이 먼저랍니다.

넷째, 작은 모델은 이미 놀라운 곳까지 갔어요.

구글 젬마 4의 가장 작은 모델(E2B)은 라즈베리 파이에서 인터넷 없이 돌아갑니다. 아파치 라이선스고요. 신용카드만 한 컴퓨터에서 AI가 도는 시대예요.

다섯째, 전력 아끼기는 공짜예요.

혹시 이미 장비가 있으시다면, RTX 3090의 전력 상한을 3분의 2로 낮춰보세요. 속도는 1% 잃고 86W를 아낍니다. 듀얼 3090 실측에서는 오히려 4% 빨라지면서 토큰당 에너지를 25% 아꼈어요. 앞에서 말씀드린 대로 병목이 계산이 아니라 메모리라서 생기는 현상이랍니다.

지금 당장, 3초면 되는 실험 하나 해보실래요? 주머니 속 폰이 이미 로컬 AI를 돌리고 있거든요. 어디까지가 로컬인지 직접 확인하는 방법이에요.

설정 → Galaxy AI → "온디바이스에서만 데이터 처리" 켜기

그리고 평소 쓰던 AI 기능들을 하나씩 눌러보세요.

★ 핵심: 이때 사라지는 기능이 곧 "클라우드였던 것"입니다.
   느려지는 게 아니라 아예 없어져요.

삼성 공식 문서에 이렇게 적혀 있어요:
  "Most other features require a network connection
   and will utilize the cloud in some way."
  (대부분의 다른 기능은 네트워크 연결이 필요하며
   어떤 식으로든 클라우드를 사용합니다.)

→ 기본값이 클라우드이고, 로컬이 예외라는 뜻이랍니다.

폰 (갤럭시/아이폰)
  → 젬마 4 E2B/E4B. 잘 돌지만 긴 추론은 몇 분씩 걸리고
     배터리가 15분에 6~25% 나갑니다. 발열로 느려지고요.

노트북 16GB
  → 젬마 4 12B (4비트, 약 7GB). 27B는 무리예요.
  → 한국어 위주라면 KT 믿음 2.0 11.5B (MIT)

중고 RTX 3090 (70만원대, 메모리 24GB)
  → 큐원 3.6 27B (4비트, 약 17GB)
  → 지금도 가장 싼 진입점이랍니다

RTX 5090 (690만~710만원대)
  → 400억 개까지. 큐원 3.6 27B가 작년 프론티어급으로 돕니다

프로그램은?
  → LM 스튜디오 (완전 GUI, 가장 쉬움)
  → 올라마 데스크탑 앱 (그다음)
  ※ 둘 다 엔진을 속에 품은 프로그램이에요 (llama.cpp,
     맥에서는 애플 MLX도). 엔진을 직접 만질 일은 없습니다.

Proof — 그리고 마지막으로, 가장 정직한 이야기.

대부분의 사장님에게 답은 로컬이 아닙니다.

중소기업중앙회가 2026년 6월 9일에 소상공인 500곳을 조사했어요. 디지털·AI 활용률이 80.0%로 나왔습니다. 높지요? 그런데 그중 83.3%가 "기초·입문 단계"였어요. (그리고 이 80%는 키오스크나 배달앱 같은 일상 디지털까지 포함한 수치라, "소상공인 80%가 AI를 쓴다"로 읽으시면 안 됩니다.)

AI에 쓰는 돈의 1위도 SaaS 구독(45.0%)이었고요.

이런 분들께 "로컬 모델을 돌리세요"는 몇 단계를 건너뛴 조언이에요. 먼저 챗GPT 업무용 플랜부터, 그다음에 우리 데이터가 뭔지부터랍니다.

저희가 한국의 사장님이나 1인 사업자가 로컬 AI를 쓴 실명 사례를 찾아봤는데, 확인한 기사와 사례 범위에서는 한 건도 찾지 못했어요. 없다는 뜻은 아니고, 저희 눈에 안 띄었다는 뜻입니다. 억지로 채우지 않고 그대로 적어둘게요.

로컬이 답인 경우는 분명히 있어요. 고객 데이터를 다뤄야 하는데 아직 규제가 안 풀린 금융권, 데이터를 밖으로 못 내보내는 병원, 인터넷이 없는 현장, 그리고 배우고 싶은 사람. 한국은행과 수출입은행이 내부망에 올린 이유가 정확히 첫 번째였지요.

나머지 대부분에게 로컬의 이유는 돈도, 안전도, 프라이버시도 아니랍니다. 그냥 재미있어서예요. 그리고 그건 나쁜 이유가 아니에요. 로컬 장비에 420만원을 쓰고 "Don't"*이라 적은 분도, *"재미는 있어요" (원문: "It's fun") 이라고 먼저 적었거든요.

다만 재미로 시작한 걸 절약이라고 부르지만 않으시면 됩니다.