2025-04-23 - GitHub Trend Repo
BitNet GitHub 바로가기 BitNet은 1비트 대형 언어 모델(LLM)에 최적화된 오픈소스 추론 프레임워크입니다. 주된 목표는 CPU 아키텍처에서 1.58비트 모델의 빠르고 무손실 추론을 가능하게 하는 것으로, Lookup Table 기반의 최적화 커널을 통해 인퍼런스 속도를 최대 6.17배 향상시키고 에너지 소비를 최대 82%까지 절감합니다. 2.4B, 8B, 3B 모델을 지원하며, 일부는 실시간(5-7 토큰/sec) 인퍼런스를 수행할 수 있습니다. llama.cpp 기반으로 저비트 양자화 연구를 활용하며, source 빌드, conda 의존성 설치, 제공된 스크립트로 간편하게 사용할 수 있습니다. 최신 업데이트에는 공식 모델 공개, 성능 개선, 연구 논문 등이 포함되어 있습니다. 연구자, 개발자, 에지 디바이스 구현자가 효율적인 LLM 추론에 적합합니다. ...