LLAMA.CPP란 무엇인가?

우선 LLaMA에 대해 알아보겠습니다.

메타사의 LLaMa

LLaMA는 메타의 오픈 웨이트(Open-Weights)에서 만든 언어모델로, 

Large Language Model Meta AI의 약자입니다.

 

사용하려는 llama.cpp의 로그를 먼저 보시겠습니다.

LLaMAC++

이미지를 조금 분리해서 보면,

LLaMA와 C++의 만남

네, 그렇습니다. LLaMA가 C/C++과 만난 것을 의미합니다.

유식하게 표현하면 "LLM inference in C/C++"라고 할 수 있습니다. 

C/C++로 구현된 LLaMA라고 생각하면 되겠네요.

일반적으로 AI를 구현하는데는 Python을 기반으로, Tensor Flow랄지 PyTorch 같은 라이브러리를 사용하여 구현되어 있어, 상대적으로 둔할 수 밖에 없습니다.

아무래도 C/C++기반으로 가볍게 동작하는 것보다는 느리겠죠. 빠른 GPU, 거대한 RAM으로 무장한 PC라면 말이 다르겠습니다만 말입니다.

 

 

 그러면 llama.cpp가 가진 특징을 살펴보겠습니다.

위의 기사와 류의 대결처럼, C/C++기반으로 작성되어 체력적(GPU, RAM)으로 미흡한 경우라도 우선 압도적으로 가볍고, 종속성이 거의 없어 빌드 차제가 매우 매우 빠르게 된다는 것입니다.

 

 또한 강력한 양자화(Quantization) 기술이 들 수 있겠습니다.

마이크로소프트의 비트넷(BitNet b1.58) 처럼 극단적인 양자화는 아니더라도,

 수십 GB에 달하는 거대한 모델 파일을 4비트 또는 8비트 등으로 압축하기 때문에,

성능 저하는 최소화하면서 메모리(RAM) 사용량을 획기적으로 줄여줍니다. 

 

 하드웨어 가속 지원을 살펴보면,   애플 M1, M2, M3 칩의 성능을  최적화하여 활용할 수 있도록  구성가능하고,  CPU/GPU 병행하여 NVIDIA GPU(CUDA)뿐만 아니라 타사(AMD, Intel GPU)와 더불어 CPU 연산도 지원됩니다.

지원되는 AI 모델도 최신 오픈 소스 모델을 지원하는 형식인 GGUF 포맷을 사용함으로,  LLaMA뿐만 아니라 Mistral, Mixtral, Phi, Gemma 등 거의 모든 을  AI모델을 활용할 수 있겠습니다.

 

자 이렇게 막강한 기능을 가진 툴을 단돈, 얼마에 사용할 수 있느냐?

 

 

 놀랍게도 무료!?

 

안 써 볼 수가 없겠지요?

 

다음 회차부터 설치부터 차분히 풀어가 보겠습니다.

 

궁금하신 분들은, 아래 github사이트를 먼저 참조해 보시면 되겠습니다.

 

https://github.com/ggml-org/llama.cpp

GitHub - ggml-org/llama.cpp: LLM inference in C/C++

 

마지막으로, 일반적인 LLAMA에 대한 내용에 대해 알아보고자 합니다.

 우선, 기존 AI모델보다  작으면서도 효과적으로 동작된다는 것입니다.

 

LLaMA의 가장 큰 특징은 모델의 크기를 무작정 키우기보다 데이터의 질과 학습량에 집중하여,  훨씬 적은 매개변수(Parameter)로도 더 거대한 모델(예: GPT-3)과 대등하거나 더 나은 성능이 나옴이 확인되었습니다. 더 이상 고가의 슈퍼컴퓨터를 보유한 기업이나 단체만의 전용 소유물이 아니란 말씀입니다.

  오픈 소스 생태계의 중심으로 Meta가 LLaMA를 공개하자 전 세계 개발자들이 이를 기반으로 수만 개의 변형 모델을 만들어 낼만큼 폭발적인 인기를 지니고 있습니다. Alpaca, Vicuna, Llama-2, Llama-3 등 현재 우리가 접하는 대부분의 오픈 소스 모델은 LLaMA가 없었다면 존재할 수 없는 미지의 존재일 수 있습니다. 

 

 Llama3 시리즈처럼 지속적인 진화를 하고 있으며,  최근 공개된 Llama 3 시리즈는 성능이 비약적으로 상승하여, 유료 모델인 GPT-4와 경쟁할 수 정도로 성능이 좋아지고 있습니다.