Descriere:
Când vine vorba de AI, primul gând e de multe ori ChatGPT. Totuși, în ultima vreme, serviciile de AI au apărut peste tot, unele foarte bune, altele mai
puțin reușite. În acest tutorial vreau să discutăm despre LLM-ul Ollama.
Ce este Ollama?
- LLM înseamnă Large Language Model, iar Ollama are la bază Llama, un model dezvoltat de Meta.
- Disponibil gratuit, dar cu o condiție: trebuie să-l găzduiești singur.
- Necesită resurse mari pentru a funcționa, dar scopul acestui tutorial este să te ajute să-l configurezi, nu să punem accent pe viteză.
De ce WSL?
- Deși tutorialul este 99% Linux, am ales să-l postez la categoria Windows pentru că voi folosi WSL. Motivul? Mașinile virtuale disponibile se mișcă
Ce presupunem?
- Presupunem că serverul este deja configurat.
- Ne concentrăm pe instalarea Ollama.
Primul pas:
- Începem cu un update/upgrade al sistemului pentru a ne asigura că totul este la zi. Acesta este un pas esențial înainte de orice instalare.
sudo apt update && sudo apt upgrade -y
Următorul pas este să instalăm cURL, în cazul în care nu este deja instalat. Acesta este un instrument esențial pentru descărcarea și gestionarea
fișierelor direct din terminal. Asigură-te că îl ai instalat înainte de a continua configurarea.
sudo apt install curl -y
Ajunși în acest punct, următorul pas este să instalăm Ollama. Tot ce trebuie să faci este să copiezi și să rulezi comanda specifică în terminal pentru
a finaliza instalarea.
curl -fsSL https://ollama.com/install.sh | sh
Ollama este acum instalat! Pentru a verifica dacă totul este în regulă, poți deschide un browser și accesa link-ul 127.0.0.1:11434. Dacă totul
funcționează corect, vei vedea mesajul: Ollama is running.
Ce urmează?
- Deși Ollama este instalat, momentan nu are niciun LLM configurat. Pentru a putea utiliza Ollama, trebuie să instalezi mai întâi un LLM.
Unde găsești LLM-uri?
- Pe site-ul oficial Ollama, vei găsi o listă vastă de LLM-uri disponibile pentru instalare.
Instalare LLM:
Pentru a instala un LLM, folosești comanda:
ollama runpentru a descărca și rula direct.ollama pulldacă vrei doar să descarci modelul.
Exemple de LLM-uri instalabile:
- Mai jos sunt trei exemple, dar pe site-ul oficial Ollama vei găsi multe altele pe care le poți încerca.
ollama run mistral
ollama run llama3
ollama run gemma
Pentru a închide o sesiune deschisă în Ollama, tot ce trebuie să faci este să tastezi /bye.
Acesta este ultimul pas din proces, iar acum ai toate informațiile necesare pentru a începe să folosești Ollama și LLM-urile instalate.
Tutorial prezentat de: Remus @ Tutoriale IT & Tech