LookAtMyQuant, Inkling-2-Mini를 5.4GB로 압축
-
트렌드
- 05:10
- 294 회
- 0 건
LookAtMyQuant는 모델의 답변에 미치는 영향을 따져 압축 방식을 고르는 오픈소스 도구다. Inkling-2-Mini의 텍스트 가중치를 5.38GB로 줄였으며, 애플 실리콘에서 실행한다. 수학·코딩 성적과 다국어 손실, 실제 메모리 사용량을 함께 살펴봤다.
LookAtMyQuant는 AI 모델을 줄일 때 답변이 얼마나 달라지는지 측정해 압축 방식을 고르는 오픈소스 도구다. 제작진은 이 도구로 Inkling-2-Mini의 텍스트 가중치(모델이 학습한 수치)를 18.89GB에서 5.38GB로 줄였다. 다만 ‘5.4GB’는 압축된 텍스트 가중치 크기이며, M5 Max에서 공개한 실행 측정의 활성 메모리는 5.83GB였다.
크기만 줄이지 않고 답변 손실을 따진다
핵심은 모델 전체를 똑같은 방식으로 압축하지 않는 데 있다. 각 부분을 압축했을 때 원래 답변에 주는 영향을 측정하고, 정해진 용량 안에서 손실이 가장 작도록 부분마다 저장 방식을 고른다. Inkling 버전에는 4KB의 SRAM(고속 임시 메모리)에 맞춘 트렐리스 코드라는 압축 표현과 행 단위 코드를 함께 썼다. 여기에 SQYFR라는 미세조정(추가 학습)을 적용해 압축 모델을 다듬었다.
5.38GB 버전은 가중치 하나당 평균 1.63비트를 쓴다. README에 실린 자체 평가에서 수학 시험 GSM8K의 200문제 중 134개, 코드를 실행해 확인하는 HumanEval의 164문제 중 60개를 풀었다. 비교 기준인 원본 BF16 모델은 각각 147개와 66개를 맞혔다. Unsloth의 9.14GB짜리 UD-Q2_K_XL은 132개와 49개여서, 이 두 시험에서는 파일이 41% 작은 LookAtMyQuant 버전이 앞섰다.
하지만 원본의 답변 경향을 얼마나 보존했는지는 다른 결과를 보여준다. KL(원본과 압축 모델의 출력 확률 차이로, 낮을수록 원본에 가깝다)은 영어·대화·코드에서 0.0895로, 7.76GB짜리 Unsloth UD-IQ1_S의 0.0808보다 높았다. 13개 언어를 합친 평가에서도 0.2871 대 0.1236으로 차이가 더 컸다. 수학·코딩 정답 수가 높다는 결과를 모든 언어와 작업의 품질 우위로 넓혀 읽기는 어렵다.
애플 실리콘에서 돌아가는 전용 압축 모델
공개된 Inkling 압축 모델은 애플 실리콘용 전용 Metal 연산 코드로 실행하며, 명령줄 도구 lamq와 runtime_mlx를 제공한다. M5 Max에서 5.4GB 버전의 순차 생성 속도는 초당 73.2토큰(텍스트 처리 단위)이었다. 178.9MB짜리 DSpark 보조 모델을 함께 쓰는 구성에서는 생성 속도 중앙값이 초당 125.2토큰으로 제시됐다. 이미지 질의응답 평가에는 압축하지 않은 637MB의 BF16 비전 모듈을 사용했으므로, 텍스트 가중치 크기와도 따로 살펴야 한다.
실사용 의견에서도 실행 방식에 따른 차이가 드러났다. 한 개발자는 자신의 R9700에서 Inkling 모델이 Qwen 27B의 3분의 1 속도에 그쳤다고 했고, 다른 개발자는 수정한 vLLM을 7900 XTX에서 사용하니 더 빠르게 실행됐다고 전했다. 두 경험은 이 애플용 5.4GB 파일의 사용 후기는 아니므로, 공개된 M5 Max 수치의 검증으로 볼 수는 없다. 다만 모델을 고를 때 용량뿐 아니라 실제 실행 프로그램과 기기를 함께 확인해야 한다는 점을 보여주는 사례다.
코드는 MIT 라이선스로 공개됐으며, 압축 모델은 Hugging Face에서 배포한다. 용량을 더 허용할 수 있다면 8.87GB·가중치당 2.69비트 버전도 선택할 수 있다. 이 버전은 GSM8K에서 148문제를 맞혔지만 HumanEval은 58문제로, 더 작은 버전보다 두 문제 적었다. 애플 실리콘에서 메모리를 아끼려는 개발자에게 유용한 선택지로 보이지만, 파일 크기만으로 품질을 정하기보다 자신이 쓸 언어와 작업으로 비교하는 편이 낫겠다.