1GB 메모리 TV 박스·옛 아이패드에서 160억 매개변수 언어모델 돌리기

smolmaxxing은 TV 박스, 2013년형 iPad Air처럼 쓸 수 있는 메모리가 1GB 안팎인 기기에서 가능한 한 큰 언어모델을 돌려 보는 실험 프로젝트예요. llama.cpp를 고쳐 기기 맞춤 연산 코드와 저장장치 스트리밍을 더했고, 모든 속도는 실제 기기에서 잰 값이라 저사양 기기의 한계를 가늠하는 자료로 쓸모가 있어요.

주요 기술적 특징

  • 실측한 두 기기. 샤오미 TV Box S 3세대(쓸 수 있는 메모리 약 1GB)와 2013년형 iPad Air(약 700MB)에서 시험했어요. TV 박스는 일상용 Qwen3.5-2B를 초당 7.7토큰(모델이 글을 만드는 단위), 아이패드는 1비트 모델 Bonsai-1.7B를 초당 24~26토큰으로 돌려요.
  • 160억 매개변수 모델까지. 두 기기 모두 Ling-mini-2.0(16B)을 돌렸어요. TV 박스는 초당 5.1토큰, 아이패드는 2.6~4.5토큰이에요. 비결은 MoE(전문가 혼합, 토큰마다 모델 일부만 쓰는 구조)예요. 자주 쓰는 '전문가'만 메모리에 두고 나머지는 필요할 때 플래시 저장장치에서 읽어 와요. 다음 층에 쓸 것도 미리 불러 둬요.
  • 칩에 맞춘 연산 코드. 1비트 조회표 방식 커널, Cortex-A55용 2비트·3값 형식을 따로 만들었어요. 내적 명령이 없는 아이패드의 A7 칩용 버전도 있어요. 작은 모델에서 거의 안 쓰는 어휘 출력 부분을 잘라 메모리도 아꼈어요.
  • 사용 조건. 모든 작업은 llama.cpp 위의 패치예요. 그래서 배포된 모델 파일은 원래 llama.cpp로는 열리지 않아요. TV 박스는 루팅 없는 안드로이드 14에서 돌지만, 아이패드는 탈옥한 iOS 12가 필요해요.
  • 라이선스. 코드는 MIT예요. 모델 가중치는 각자의 라이선스를 따르고, 평가용 위키백과 발췌문은 CC BY-SA 4.0이에요.

개발자들의 반응

  • 실용성 질문이 가장 많았어요. 작은 모델이 실제 일에 쓸모 있느냐는 물음에, 제작자는 지금은 재미와 호기심 수준이라고 인정했어요. 다만 고객 데이터로 미세조정한 1~2B 모델은 좁은 작업에서 가능성이 보였다고 했어요.
  • 모델 선택에 대한 비판. 한 개발자는 Qwen이 큰 모델을 줄인 형태라 실제 작업에서 무너진다고 지적했어요. 속도보다 도구 호출 능력과 반복 출력 문제가 더 중요하다는 의견이에요.
  • AI가 만든 결과물이라는 논쟁. 요즘 AI 에이전트에게 한 번 시키면 될 일이라는 반론이 나왔어요. 제작자는 Claude를 썼다고 밝혔어요. 다만 160개 가까운 실험으로 탐색 범위를 좁히는 방법론이 핵심이라고 답했어요.
  • 비슷한 실사용 경험. 한 개발자는 구형 씬 클라이언트의 내장 그래픽에서 Qwen3.5 0.8B를 초당 5토큰으로 돌렸다고 전했어요. 아직 맡길 만한 작업은 찾지 못했다고 덧붙였어요.
  • 쓰임새 제안. 음성 인식·합성, 실시간 로그 요약처럼 범위가 좁은 일에 맞다는 의견이 있었어요. 제작자도 다음 목표로 인터넷 없이 쓰는 회의 녹취 기기를 꼽았어요.

기술적 의미와 한계

이 프로젝트의 가치는 완성된 도구보다 측정 기록에 있다고 봐요. 실패를 포함한 160개 실험이 공개돼 있어서, 저사양 ARM 기기에서 무엇이 통하고 안 통하는지 확인할 수 있어요. 플래시 스트리밍은 특정 기기에 묶이지 않고 메모리보다 모델이 큰 리눅스·안드로이드 기기 어디서나 쓸 수 있다고 해요.

한계도 분명해요. 속도는 나오지만, 이 크기의 모델이 실제 작업을 해낼 수 있는지는 제작자 스스로도 아직 아니라고 봐요. 패치된 llama.cpp가 꼭 필요하고, 아이패드는 탈옥해야 해요. 플래시를 계속 읽을 때 저장장치 수명이나 발열이 어떤지는 자료에서 확인되지 않아요. 시험한 기기도 아직 두 대뿐이에요.

저장소

https://github.com/hyperionaidev/smolmaxxing

评论

趋势

이슈 옥주현 속한 핑클, 새 공식 SNS 열고 30주년 음악·공연 예고
이슈 겨울 폭설·한파 대비…안성·시흥·마포·청양 대응 강화
이슈 전국노래자랑 영광군 편, 본선 15팀과 박서진 등 출연
이슈 이란 공습, 바레인 미군 레이더 공격 재개 주장…피해 확인 안 돼
이슈 김건우, APBC 한일 결승 선발 예고…안현민 4번 배치
이슈 레버리지 개인 손실 6조원대…거래 문턱 높아지자 자금 이동
이슈 화물선·유조선 구분 미확정…미시시피강 유람선 전복 전원 구조
이슈 구자욱, FA 자격 얻고 MLB 도전…해외 에이전트 선임
이슈 금오산 하늘다리 개통…끊긴 등산로 잇고 야영장 개편 추진
이슈 젠틀몬스터 AI 안경 12월 10일 출시…국내 16종·65만~70만원
이슈 서버·도메인 30곳 겨냥한 PHP 공격…북한 연계 의심
이슈 구미시, 박정희 탄생 109주년 행사…박근혜 민생·통합 강조
이슈 이대호 등 은퇴 선수들, 철거 앞둔 잠실야구장 고별 경기
오픈소스 jQuery 4.1.0, 웹 요소 검색 보안과 폼 처리 개선
이슈 테슬라 사이버캡 개인 판매 시작…구독·운행구역·안전심사 제약
이슈 홍역 환자 5천400명 넘은 미국, 26년 청정국 지위 상실
이슈 박서진, 문경서 팬 2700명 체육대회…먹거리·합동 공연 마련
이슈 미운 우리 새끼 김광규 합류, 연희동 새집과 이사 생활 예고
이슈 제천빨간오뎅축제, 제천역 광장서 원도심으로 옮겨 겨울 행사 연계
이슈 김성한, 잠실 고별 경기서 대타 출전…서군 5대 2 승리
이슈 AI 투자, 연준 부채 위험 경고…2028년 전후 조정 가능성
이슈 박지현, 부산·경주 오간 행사 일정과 모텔 숙소 생활 공개
이슈 카리나, 에스파 MMA2026 신설 대상 수상…첫날 2관왕
오픈소스 deepseek-v3-jax, 190줄로 읽는 DeepSeek V3 구조
이슈 케일라 해리슨, 누네스와 UFC 첫 방어전 편성…결과 미확인
이슈 세무사 시험 수석 합격자, AI 부정행위 인정…안경 사용은 미확인
이슈 고현정, 제주 공항·정원·카페에서 전한 여행 일상
이슈 볼로디미르 젤렌스키, 나토 가입·돈바스 철군 연계 구상 공개
이슈 마우리시오 포체티노 택한 맨유, 페르난데스 후계로 니코 파스 검토
이슈 재건축부담금 은마 1인당 4억6334만원 예상…조합장들 공동 대응 논의