← 논문

Motif 3: Technical Report

Motif Technologies · arXiv · 2026 · ✓검증 완료 검증 완료복수의 신뢰 가능한 출처로 검증되었습니다.

3,148억 개 전체 파라미터와 토큰당 132억 개 활성 파라미터를 갖는 독자 설계 MoE 언어모델 Motif 3의 기술보고서. 12.5조 토큰 사전학습, 256K 문맥, GDLA 주의집중, 수정 mHC, 전문가별 PolyNorm, 다중 토큰 예측 및 다중 교사 온폴리시 증류를 설명한다.

arXiv

2608.09119

원문

https://arxiv.org/abs/2608.09119

관련 항목

• 모티프테크놀로지스
• Motif-3
• Motif-3-Base

출처 및 검증

• [paper] https://arxiv.org/abs/2608.09119
• [paper] https://huggingface.co/Motif-Technologies/Motif-3/blob/main/motif_3_technical_report.pdf
• [model-card] https://huggingface.co/Motif-Technologies/Motif-3

마지막 검증일: 2026-08-12