SlidingWindowAttention (1) 썸네일형 리스트형 카카오가 공개한 경량 언어모델 Kanana-2, 1.3B로 32K 문맥까지 카카오가 공개한 경량 언어모델 Kanana-2, 1.3B로 32K 문맥까지AI 뉴스 썸네일카카오가 Kanana-2 SLM의 3B와 1.3B 모델을 Base와 Instruct 두 형태로 공개했어요. 작은 모델을 기기나 제한된 서버 자원에서 쓸 때 중요한 한국어 토큰 효율, 긴 문맥, KV 캐시 사용량을 함께 다듬은 공개 모델이에요. 2핵심 요약구분핵심왜 볼 만한가요공개 모델3B와 1.3B의 Base, Instruct 가중치 4종을 공개했어요사전학습용 모델과 대화·지시 수행용 모델을 목적에 맞게 고를 수 있어요모델 압축3B 모델을 단계적으로 가지치기하고 증류해 1.3B 모델을 만들었어요처음부터 작은 모델을 따로 학습하는 방식과 다른 압축 과정을 확인할 수 있어요긴 문맥1.3B 모델이 최대 32,768토큰을 .. 이전 1 다음
