80% 축소해도 131기가여서 어차피 느리게 돌 거 SSD에 넣는걸 포기하고 하드에 넣어야 할 것 같음.
sns.lemondouble.com
geeknews_bot (@geeknews_bot)
**GN⁺: DeepSeek-R1 Dynamic 1.58-bit 모델 실행하기** ------------------------------ - DeepSeek-R1은 OpenAI의 O1 Reasoning 모델과 비교되는 성능을 보이는 오픈소스 모델임 - 원래 720GB의 모델을 131GB로 축소하여 80% 크기 감소를 달성함 - 동적 양자화 기법을 사용하여 일부 레이어는 높은 비트(예: 4bit)로 유지하고 대부분의 MoE(Mixture of Experts) 레이어는 1.58bit로 처리 # 주요... ------------------------------ https://news.hada.io/topic?id=18955&utm_source=googlechat&utm_medium=bot&utm_campaign=1834
GN⁺: DeepSeek-R1 Dynamic 1.58-bit 모델 실행하기
------------------------------
- DeepSeek-R1은 OpenAI의 O1 Reasoning 모델과 비교되는 성능을 보이는 오픈소스 모델임
- 원래 720GB의 모델을 131GB로 축소하여 80% 크기 감소를 달성함
- 동적 양자화 기법을 사용하여 일부 레이어는 높은 비트(예: 4bit)로 유지하고 대부분의 MoE(Mixture of Experts) 레이어는 1.58bit로 처리
# 주요...
------------------------------
https://news.hada.io/topic?id=18955&utm_source=googlechat&utm_medium=bot&utm_campaign=1834
news.hada.io
DeepSeek-R1 Dynamic 1.58-bit 모델 실행하기 | GeekNews
DeepSeek-R1은 OpenAI의 O1 Reasoning 모델과 비교되는 성능을 보이는 오픈소스 모델임원래 720GB의 모델을 131GB로 축소하여 80% 크기 감소를 달성함동적 양자화 기법을 사용하여 일부 레이어는 높은 비트(예: 4bit)로 유지하고 대부분의 MoE(Mixture of Experts) 레이어는 1.58bit로 처리주요 특징최소 사양: