@sftblw 메모리 스루풋이고 뭐고 그냥 모델을 로컬 SSD에 저장할 수가 없어요 ㅠㅠ
1 reply
@[email protected] · Reply to Woojin Kim
@me 저 급은 컨슈머 디바이스에 돌리라고 내놓은 게 아니라서요... 컨슈머급은 70B 계열이 끝입니다. 그것조차도 3090 혹은 4090 2대가 필요하다고 알려져있습니다. 아니면 맥 계열의 램이 많은 장비던가요. VRAM 이 문제라서요.
아마 맥 계통의 RAM이 많은 장비가 나와도 405B+ 계열은 성능이 안 나와줄겁니다
