VAETKI tokenizer v2
Hugging Face 모델 · 공식 출처 확인 공식 출처 확인공식 출처 1개 이상으로 확인되었습니다.
ETRI LIRS가 공개한 다국어 토크나이저 수정판. 모델 가중치가 아닌 토크나이저 도구로, 기존 137,216개 vocab/ID를 유지하면서 도달 불가능한 CJK 슬롯을 복구하고 한국어 토큰화 회귀 없이 8개 언어를 지원한다.
- 조직
- 한국전자통신연구원
- 저장소
- https://huggingface.co/etri-lirs/vaetki-tokenizer-v2
- 주 언어
- Python
- 라이선스
- MIT
출처 및 검증
- [huggingface] https://huggingface.co/etri-lirs/vaetki-tokenizer-v2
마지막 검증일: 2026-09-01