Opt.Gear

모바일 NPU부터 마이크로컨트롤러까지, 빠른 On-Device 추론을 위해 설계한 공개 모델입니다.

Get the models Paper
The Gear-VLM-1B wordmark surrounded by an image frame, focus markers, and caption lines representing image understanding.
August 2026

Gear-VLM-1B

On-Device 멀티모달 애플리케이션을 위한 시각·언어 이해 모델입니다.

Coming soon
The Gear-1B-MTP wordmark surrounded by parallel streams of many predicted token blocks.
August 2026

Gear-1B-MTP

Edge 가속기에서 디코딩 속도를 높이는 Multi-token prediction 모델입니다.

Coming soon
The FunctionGear wordmark between a natural-language request, a function dispatcher, and structured typed device calls.
August 2026

FunctionGear

Edge 환경에서 자연어를 타입이 정의된 디바이스 명령으로 변환합니다.

Coming soon

Use cases

Opt.Gear Chat
Can you explain Opt.Gear?
Ask anything on device

Chatbot

디바이스에서 직접 실행되는 빠르고 안전한 대화를 구현합니다. Opt.Gear는 모든 프롬프트를 클라우드에 보내지 않고도 대화가 길어져도 빠른 생성 속도를 유지합니다.

Agent

자연어 요청을 실제 동작으로 연결합니다. Opt.Gear는 Edge 환경의 낮은 추론 지연 시간을 바탕으로 의도를 이해하고 도구를 선택하며 여러 단계의 작업을 조율합니다.

9:41● ● ●
31Calendar
↗Maps
≡Notes
✉Mail
✦Photos
☀Weather
☎◎♫◉

“How do I get to Marcus Building?”

Open in Google Maps
Why Gear is fast

A decode state that doesn’t grow with context

On-Device 디코딩 속도는 메모리 전송량에 제약을 받습니다. KV Cache는 토큰이 추가될 때마다 이후 토큰이 읽어야 할 데이터를 늘립니다. Gear는 로컬 Attention 계층을 길이가 고정된 합성곱 상태로 대체해 속도를 높입니다.

Per-layer decode statelog–log
101001K 10K100K 1K4K 16K64K Context length (tokens) 131,072 1,024 6
Global attention · 2·C·d Sliding window · W = 512 ConvKV mixer · L = 3
21,845× lessstate per local layer

64K 컨텍스트에서도 로컬 계층이 유지하는 상태는 3개 위치 입니다. 전역 Attention은 65,536개 위치를 유지합니다. 버퍼 크기는 합성곱 커널로 정해지므로 프롬프트 길이에 영향을 받지 않습니다.

1

Fixed-size local state

컨텍스트가 1K이든 64K이든 로컬 믹싱은 계층마다 3개 위치의 버퍼를 유지합니다.

2

Operators an NPU already has

동적 QKV 행렬 곱과 softmax를 정적 선형 연산, Depthwise Convolution, 요소별 연산으로 대체해 로컬 경로의 동적 형상을 없앱니다.

3

Global routing kept intact

일부 GQA 계층은 전체 컨텍스트 검색을 유지하므로 긴 구간의 정보도 활용할 수 있습니다.

Benchmarks

Fast, without giving up quality

속도 향상이 모델 품질의 저하로 이어지지 않았는지 확인한 결과입니다. Gear-1B는 네 가지 한국어 벤치마크 모두에서 1.2B 이하 공개 모델 중 가장 높은 점수를 기록했습니다. KMMLU, KoBEST, CLIcK, HAERAE에서 0.5T 학습 토큰과 증류 없이 얻은 결과입니다. 한국어 점수가 더 높은 Qwen3-1.7B는 파라미터가 70% 더 많고 학습 데이터는 72배입니다.

Korean average vs. pretraining tokens — 1B class↖ better
303540 455055 0.5T1T2T 5T10T20T 50T Pretraining tokens (log scale) Korean benchmark average Gemma-3-1B · 40.8 LFM2.5-1.2B · 40.1 EXAONE4-1.2B · 36.6 Llama-3.2-1B · 36.2 Qwen3-1.7B · 51.5 (out of class) Gear-1B · 45.1 0.5T tokens, no distillation
한국어 평균은 아래 표의 KMMLU, KoBEST, CLIcK, HAERAE를 동일 가중치로 평균한 값입니다. 비교 모델은 최소 4배, 더 높은 점수의 모델은 72배의 학습 데이터를 사용했습니다.
Prefill / Decode throughput — Gear-1B, W4A16 tok/s · higher is better

Apple iPhone 17 Pro Apple A19 Pro · Neural Engine · CoreML

Prefill · 2K-token prompt
3,085
2,380
1,073
590
Gear-1B
Gemma-3-1B
Llama-3.2-1B
EXAONE4-1.2B
Decode · 500-token output
97
90
34
20
Gear-1B
Gemma-3-1B
Llama-3.2-1B
EXAONE4-1.2B

Samsung Galaxy S26 Qualcomm Snapdragon 8 Elite Gen 5 · Hexagon NPU · Genie

Prefill · 2K-token prompt
7,042
4,481
4,386
3,226
2,466
Gear-1B
Llama-3.2-1B
EXAONE4-1.2B
Gemma-3-1B
Qwen3-1.7B
Decode · 500-token output
86
65
61
57
41
Gear-1B
Llama-3.2-1B
Gemma-3-1B
EXAONE4-1.2B
Qwen3-1.7B
기술 보고서의 단일 스트림 측정값입니다. W4A16 가중치, 16-bit Embedding·LM head, 입력 2K 토큰과 출력 500토큰을 사용했습니다. Gear-1B는 각 플래그십 NPU에서 prefill과 decode 모두 가장 빨랐으며, Genie 경로의 prefill은 다음 모델의 1.6배인 7,042 tok/s입니다. LFM2.5-1.2B는 CoreML 바이너리를 제공하지 않습니다. 빗금 막대는 비교 크기 범위 밖의 모델입니다.

Download and deploy Opt.Gear

가중치 다운로드와 디바이스 배포를 간편하게 진행할 수 있도록, 각 모델에 미리 생성한 export 결과물을 함께 제공합니다.

Gear-1B-Instruct Transformers
# pip install transformers
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "OptAI/Gear-1B-Instruct"
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

Download model weights

기존 도구에서 바로 사용할 수 있는 형식으로 가중치를 제공합니다.

Hugging Face safetensors GGUF llama.cpp ONNX opset 17

From weights to hardware

측정에 사용한 런타임과 가속기용 export 결과물을 제공합니다.

Opt.GearGGUF · ONNX · safetensors
RuntimeTransformers · vLLM · ExecuTorch
Qualcomm
Hexagon NPU Apple
Neural Engine ARM
Cortex-M

Run on device

측정에 사용한 가속기용 바이너리를 제공합니다. 변환 파이프라인은 OptAI가 준비합니다.

Transformers vLLM ExecuTorch ONNX Runtime

Get started with Opt.Gear

가중치를 다운로드하고 모델을 평가해 디바이스에 빠른 추론을 적용하세요.

View the models ↗

Opt.Gear를 포함한 언어 모델은 OptAI의 견해와 다른 부정확한 내용을 생성할 수 있습니다. 결과를 활용하거나 공개·배포하기 전에 검토하세요. 특히 의료·법률·금융 용도에서는 주의가 필요합니다.