README 편집 요약
프로젝트 핵심 읽기
한눈에 보기
Llama 계열을 포함한 여러 대규모 언어 모델을 C/C++ 기반으로 다양한 하드웨어에서 효율적으로 추론하는 런타임입니다.
ggml-org/llama.cpp 저장소의 README에서 사용하는 프로젝트 이미지이미지 원본 보기
프로젝트 설명
핵심 기능
로컬 CPU와 GPU에서 모델을 실행한다
GGUF 모델을 로드해 CLI, 대화형 실행과 OpenAI 호환 서버로 텍스트 및 멀티모달 추론을 제공합니다.
구성과 특징
폭넓은 양자화와 하드웨어 백엔드를 지원한다
낮은 비트 양자화로 메모리를 줄이고 CUDA, Metal, Vulkan과 여러 가속기에서 연산을 분산합니다.
사용 전 확인
라이브러리와 서버, 변환 도구를 함께 제공한다
모델 변환, 벤치마크, 임베딩과 문법 제약 생성까지 로컬 추론에 필요한 도구를 포함합니다.
차별점
대형 프레임워크 없이 어디서나 실행하는 데 집중한다
노트북, 서버와 엣지 장치에서 작은 의존성으로 모델 성능과 배포 통제를 확보합니다.
GitHub 관심도
Star 순위 기록
프로젝트 품질 평가와 별개로, 누적 Star 기준 Top 100에서 나타난 관심도 변화만 기록합니다.
32개 스냅샷현재 #82
- #82기준124,416기준
- #82유지124,581+165
- #81▲ 1124,760+179
- #81유지124,913+153
- #81유지125,069+156
- #81유지125,197+128
- #81유지125,324+127
- #81유지125,660+336
- #81유지125,827+167
- #81유지125,994+167
- #81유지126,129+135
- #81유지126,276+147
- #81유지126,419+143
- #80▲ 1126,561+142
- #80유지126,705+144
- #80유지126,836+131
- #80유지126,967+131
- #80유지127,077+110
- #81▼ 1127,180+103
- #81유지127,290+110
- #81유지127,428+138
- #81유지127,564+136
- #81유지127,669+105
- #81유지127,773+104
- #81유지127,911+138
- #81유지128,022+111
- #81유지128,132+110
- #81유지128,251+119
- #81유지128,373+122
- #81유지128,488+115
- #81유지128,617+129
- #82▼ 1128,752+135
각 점은 해당 날짜의 공개 스냅샷입니다. 날짜가 빠진 구간은 선으로 추정하지 않고 확보한 기록만 표시합니다.
기준 정보
데이터 확인 기준
순위와 Star 수는 공개 목록을 확인한 스냅샷입니다. 실시간 값과 프로젝트의 최신 내용은 실제 저장소에서 확인할 수 있습니다.