AI모델(LLaMA-7b-GGUF) 다운로드기

 너는 누구냐 LLaMA 7B-GGUF?

 

AI모델 사용기에 앞서 GGUF가 무엇인지 살펴보겠습니다.

무심결에 걸프로 잘못 찾다보니, 걸프전쟁이 나오는군요.. 역사공부하는 좋은 계기가 되었습니다.

걸프 전쟁이라하면 미국이 주도로 여러 연합군 vs 이라크의 무력충돌입니다. 이 작전은 2Step으로 구별되며,  1st: '사막 방패 작전'으로 불리는 군사력 증강작전으로  1990/8 ~ 1991/1 사이에 진행  2nd: '사막 폭풍 작전'으로 1/27일 이라크에 대한 공습 ~ 2/28 미국이 주도한 쿠웨이트 해방 까지진행 ... Zzz...

 

원하시는 내용이 걸프전쟁이 아닌, AI모델이시라면 잘 찾아오신 것입니다.

GPT-Generated Unifed Format

 

 

당연하겠지만, G, G, U, F를 하나하나 다 모은다고 하더라도 예전 보글보글 게임처럼 생명을 하나 던져주는 효과 따위는 없습니다.

보글보글 보너스

 GGUF 그냥 약자일 뿐입니다. 이는 대규모 언어 모델(LLM)을 효율적으로 저장하고 실행하기 위해 설계된 바이너리 파일 형식으로, 일반 개인용 컴퓨터(CPU) 환경에서 인공지능 모델을 빠르게 돌리기 위해 사용됩니다.

 

위에 파란 글자에 주목해 주시기 바랍니다. 

해석을 하자면 이렇습니다.

 

  "일반" = 가진 거 없는 서민

  "개인용" = 후진 성능

  "CPU" = GPU 없음을 돌려 말함

 쓰면서 너무 비하된 말이 아닌가 걱정은 되지만 그냥 우스개 소리로 넘겨주시기 바랍니다

 

요약하면  빵빵한 리소스의 컴퓨터와 프리미엄급 GPU를 안 써도 된다는 것입니다

 

GGUF의 소개서입니다.

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

About GGUF

GGUF is a new format introduced by the llama.cpp team on August 21st 2023. It is a replacement for GGML, which is no longer supported by llama.cpp.

Here is an incomplate list of clients and libraries that are known to support GGUF:

• llama.cpp. The source project for GGUF. Offers a CLI and a server option.
• text-generation-webui, the most widely used web UI, with many features and powerful extensions. Supports GPU acceleration.
• KoboldCpp, a fully featured web UI, with GPU accel across all platforms and GPU architectures. Especially good for story telling.
• LM Studio, an easy-to-use and powerful local GUI for Windows and macOS (Silicon), with GPU acceleration.
• LoLLMS Web UI, a great web UI with many interesting and unique features, including a full model library for easy model selection.
• Faraday.dev, an attractive and easy to use character-based chat GUI for Windows and macOS (both Silicon and Intel), with GPU acceleration.
• ctransformers, a Python library with GPU accel, LangChain support, and OpenAI-compatible AI server.
• llama-cpp-python, a Python library with GPU accel, LangChain support, and OpenAI-compatible API server.
• candle, a Rust ML framework with a focus on performance, including GPU support, and ease of use

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~<출처: https://huggingface.co/ >~~~~~~~~~

 

다시 본론으로 돌아와서 LLaMA 7B-GGUF 링크를 따라가 봅니다.

( https://huggingface.co/TheBloke/LLaMA-7b-GGUF), 

AI모델을 찾다 보면 위의 주소에 있는 것처럼 "허깅페이스"를 자주 이용하게 될 테니, 눈여겨보면 좋을 거 같습니다.

 

 설명된 내용은 아주아주 간결 명료하게 1줄로 되어있습니다.

뭐 설명이 많아봐야 시간만 걸리고, 다운로드만 하면 되니 다운로드 링크를 보겠습니다.

출처: https://huggingface.co/TheBloke/LLaMA-7b-GGUF

 

시간이 많고, 어느 정도 컴퓨터 사양이 된다면, 하나하나 다운로드하며, 실행해 보고 찍먹 해보고 싶습니다만,

그러기엔 호모 사피엔스 DNA을 물려받은 인간의 수명이 외계인만큼 길지 않으니 그러지 않으시길 권장합니다.

 

 엇나가고 심술 맞으며 비협조적 노선을 지향 (志向 )하는 만큼 저는 "삐딱선"을 타보겠습니다.

맨 아래 권장하지 않는다는, 8비트 "extremely low quality loss"를 다운로드하여 보았습니다.

 

 다른 분들은 가급적 이런 선택지는 지양( 止揚 )하시길 바랍니다.

"not recommended"

 

윈도우 환경이라면, 단순하게 클릭만으로 다운로드가 쉽게 되는군요.

 

 본격적인 동작 테스트를 위해, Linux가 설치된 PC에서 다운로드를 하으려면, huggingface-hub를 pip로 설치하시고,

huggingface-cli로 다운로드하면 되겠습니다.

 

* huggingface-hub를 pip설치

 : pip3 install huggingface-hub

pip3 install huggingface-hub

  만약  pip3가 설치되지 않았다면?

    : sudo apt install python3-pip

sudo apt install python3-pip

 

* llama-7b.Q8_0.gguf 다운로드

 : huggingface-cli download TheBloke/LLaMA-7b-GGUF llama-7b.Q8_0.gguf --local-dir. --local-dir-use-symlinks False

huggingface-cli download TheBloke/LLaMA-7b-GGUF llama-7b.Q8_0.gguf --local-dir . --local-dir-use-symlinks False

 

 

 다운로드한 GGUF는 llama.cpp를 이용하여 실행하면 되겠습니다.

./main -ngl 32 -m llama-7b.Q4_K_M.gguf --color -c 2048 --temp 0.7 --repeat_penalty 1.1 -n -1 -p "{prompt}"

 

 

mpi를  이용한 실행방법은 ,

 

mpirun -n 4 ./bin/llama-cli -m models/7B/ llama-7b.Q8_0.gguf -p "What is retromakers?"