내 컴퓨터에서 돌아가는 로컬 LLM, 쉽게 확인하는 방법

<사이트에 들어가면 자동으로 접속한 PC의 사양이 잡힌다>

3줄 요약

• whatcani.run은 내 PC에서 어떤 로컬 LLM을 돌릴 수 있는지 커뮤니티 실측 데이터로 확인할 수 있는 사이트입니다.
• 모델별 속도, 메모리 사용량, 양자화, 런타임을 한 화면에서 비교할 수 있습니다.
• CLI 도구로 직접 벤치마크를 실행하고 결과를 제출해 데이터에 기여할 수도 있습니다.

GEMMA4가 나왔다는데 내 PC에서 돌아가나?

로컬 LLM에 관심 있는 분들이 가장 먼저 막히는 지점이 있습니다. 이게 내 PC에서 돌아가긴 하나? 라는 질문입니다.

공식 문서에는 대체로 최소 사양만 나와 있습니다. 실제로 내 MacBook이나 데스크톱에서 어느 정도 속도가 나오는지, 어떤 양자화를 써야 메모리 안에 들어오는지는 직접 돌려보기 전까지 감을 잡기 어렵습니다.

이 글에서는 그 질문에 커뮤니티 실측 데이터로 답해주는 사이트 whatcani.run을 소개합니다.

whatcani.run이 뭔가요?

whatcani.run은 한마디로 "내 PC나 Mac에서 어떤 로컬 LLM을 어떤 런타임과 양자화로 돌리면 좋을지, 커뮤니티 실측 데이터로 보여주는 사이트"입니다.

공식 문서는 이 서비스의 목표를 "모델 선택, 설정, 기대 성능, 기기 비교를 쉽게 만드는 것"이라고 설명합니다. 실제 홈페이지도 모델별로 Runtime, Decode, Prefill, TTFT, Peak memory, Trials, Score를 한 화면에서 비교할 수 있게 구성되어 있습니다.

이 서비스의 핵심 가치는 감이 아니라 실측 데이터라는 점입니다. 사용자가 CLI로 벤치마크를 실행해 결과를 제출하면, 운영 측에서 sanity check를 거친 뒤 승인하고 모델·기기 단위로 집계해 사이트에 공개합니다. 이론상 이 사양이면 돌아갑니다가 아니라 여러 사람이 실제로 돌린 결과를 모아 보여주는 구조입니다.

TIP: 이 사이트가 다루는 질문들
공식 문서가 제시하는 활용 시나리오는 다음과 같습니다.

• 어떤 작업에 어떤 모델을 쓰는 게 좋을까?
• 어떤 양자화·포맷·런타임이 내 환경에 맞을까?
• 실제 성능은 어느 정도 나올까?
• 어떤 기기를 사거나 써야 할까?
• 기기끼리 어떤 지표로 비교할 수 있을까?

2026년 4월 기준 홈페이지에는 26,354,560 토큰, 5,161건의 실측, 216명의 기여 데이터가 집계되어 있습니다. 아이디어 단계 사이트가 아니라 이미 어느 정도 커뮤니티 데이터가 쌓인 상태입니다.

사이트에서 무엇을 볼 수 있나요?

상단 메뉴는 Home, Models, Device, Runs, Docs, GitHub으로 구성됩니다. 각 페이지마다 보여주는 정보가 다릅니다.

페이지	볼 수 있는 것
Home	특정 기기 기준 모델별 성능 비교표
Models	모델별 토큰 수, 양자화 수, 테스트된 기기 수, 런 수
Device	내 장비 기준 테스트된 모델 수, 속도 그래프
Runs	최근 벤치마크 실행 내역 (모델·기기·속도·메모리·날짜)

Device 페이지가 특히 유용합니다. "내 장비에서 뭘 돌릴 수 있나"라는 질문에 바로 연결되는 페이지로, 특정 디바이스에서 테스트된 모델 수, 런 수, 기여자 수와 속도 그래프를 한눈에 볼 수 있습니다.

Runs 페이지를 보면 최근 제출된 벤치마크가 "몇 분 전" 단위로 계속 올라오고 있는 걸 확인할 수 있습니다. 모델·디바이스·런타임 버전·속도 수치가 함께 표시되어 있어서 사이트가 정적 데이터베이스가 아니라 계속 갱신되는 커뮤니티 벤치마크 허브라는 느낌을 줍니다.

누구에게 유용한가요?

이 사이트가 특히 잘 맞는 독자는 다음과 같습니다.

• MacBook이나 데스크톱에서 로컬 LLM을 처음 돌려보려는 분
• "7B가 좋나 14B가 좋나"보다 "내 장비에서 실제로 얼마나 빠른가"가 궁금한 분
• llama.cpp와 MLX 중 어떤 런타임이 유리한지 감이 없는 분
• 하드웨어 구매 전에 대략적인 체감 성능을 먼저 확인하고 싶은 분

로컬 AI 입문자에게는 진입장벽을 낮춰주는 참고 자료로, 이미 여러 모델을 써본 사람에게는 비교 효율을 높이는 도구로 활용할 수 있습니다.

한계도 있습니다

지원 런타임이 현재 llama.cpp와 MLX에 한정되어 있습니다. vLLM이나 Ollama 전반, Windows GPU 생태계를 포괄하는 범용 벤치마크 허브라고 보기는 아직 어렵습니다.

데이터가 커뮤니티 제출 기반이라 폭넓은 장치 커버리지는 강점이지만 특정 장치나 특정 모델의 표본 수는 들쭉날쭉할 수 있습니다. 절대적 진실보다는 실전 참고용 공개 벤치마크로 활용한다는 관점이 더 정확합니다.

정리

포인트	내용
서비스 핵심	커뮤니티 실측 데이터 기반 로컬 LLM 벤치마크 사이트
주요 비교 지표	Decode 속도, Prefill 속도, TTFT, Peak Memory
지원 런타임	llama.cpp, MLX
현재 규모	5,161건 실측, 216명 기여 (2026년 4월 기준)

참고로 위의 주요 비교 지표를 간단하게 설명하면 아래와 같습니다.

• Decode → 응답이 얼마나 빠르게 나오나
• Prefill → 긴 입력을 얼마나 빠르게 소화하나
• TTFT → 첫 응답까지 얼마나 기다려야 하나
• Peak Memory → 내 장비에 들어오기는 하나

내 장비에서 실제로 어느 정도 속도가 나오는지, 이제 감이 아니라 숫자로 확인할 수 있습니다.