Llama.cpp

Z MruczekWiki

llama.cpp - gangsta program pozwalający testować model LLaMA (i podobne) offline na twoim kompie. Ma w miarę małe wymagania sprzętowe i nie wymaga skomplikowanej instalacji.

Wymagania

Program używa procesora, nie wymaga karty graficznej. Im więcej RAMu posiadasz, tym lepszy model będzie się dało odpalić.

Porównanie modeli
Model (wersja q4_0) Rozmiar pliku Wymagana pamięć
LLaMA-7B, Alpaca-Native-7B, Alpaca-LoRA-7B ~4 GB ~6 GB
LLaMA-13B, Alpaca-LoRA-13B ~8 GB ~12 GB
LLaMA-33B, Alpaca-LoRA-33B ~19 GB ~28,5 GB
LLaMA-65B ~38 GB ~57 GB

Instalacja programu

Wejdź na https://github.com/ggerganov/llama.cpp, po prawej stronie w sekcji "Releases" kliknij na link Latest i pobierz plik .zip. Wypakuj wszystko do jakiegoś folderu.

Przygotowanie modelu

Oficjalna metoda to:

  • Wypełnienie formularza na stronie https://github.com/facebookresearch/llama, żeby uzyskać dostęp do modelu
  • Pobranie 220 GB plików 🙀
  • Przerobienie modelu z formatu Facebooka (*.pth) na format GGML (*.bin)

Problem w tym jest taki, że ta ostatnia operacja wymaga dużo RAMu. :| Na szczęście na necie można znaleźć gotowe przerobione modele. Niestety wstawianie linka do nich to złamanie regulaminu Facebooka i nie może on zostać zamieszczony na Mruczek Wiki[1].

Używanie programu (model LLaMA)

No więc masz już pobrany model oraz program. :D

  • Uruchom wiersz poleceń w folderze w którym znajduje się program. Najłatwiejsza metoda to shift+prawy przycisk myszki w tle folderu i opcja "Otwórz okno programu PowerShell" lub "Otwórz wiersz poleceń"
  • Wpisz polecenie:
.\main.exe -m <ścieżka do modelu> -n <długość tekstu (max 2048)> -p "<prompt>"

Przykład:

.\main.exe -m .\LLaMA-ggml-4bit_2023-03-14\7B\ggml-model-q4_0.bin -n 512 -p "MruczekWiki is the best website on the internet, because "

Używanie programu (model Alpaca)

Model Alpaca jest zrobiony na bazie LLaMy. Obowiązuje ta sama licencja, co sprawia że link do pobrania nie może być tutaj zamieszczony[1].

Utwórz plik alpaca.txt w tym samym folderze, gdzie jest plik main.exe. W środku wpisz poniższy tekst. Pamiętaj o enterze na końcu zdania.

Below is an instruction that describes a task. Write a response that appropriately completes the request.

Uruchom program poleceniem:

.\main.exe -m <ścieżka do modelu> --color -f .\alpaca.txt -ins

Przykład:

.\main.exe -m .\Alpaca-7B-ggml-4bit-LoRA-merged_2023-03-20\ggml-model-q4_0.bin --color -f .\alpaca.txt -ins

Aby przerwać generowanie tekstu użyj Ctrl+C, aby wyjść z programu pospamuj Ctrl+C kilka razy. Jeśli chcesz skopiować wygenerowany tekst, zaznacz go i użyj prawego przycisku myszki.

Przypisy