Du-te la conținut

Instalare Ollama # (SelfHosted AI) - Tutoriale IT & Tech

Omite meniul
Tutoriale IT & Tech

Tutoriale

IT & Tech

Invertorul EaSun SMW 8KW 48v 2xMPPT - Tutoriale IT & Tech
Setare Cookie
Pagina cu Butoane
Descriere:

Am mai prezentat câteva variante experimentale anterior, dar astăzi îți voi arăta o soluție completă, pas cu pas.
Primul pas: Instalarea driverelor video
Presupunând că serverul Linux este deja instalat, vom începe prin instalarea driverelor video pentru plăcile NVIDIA.
Ce trebuie să faci:
  1. Copiază și rulează comenzile de mai jos, în ordine, pe serverul tău.
  2. Atenție la pasul 3:
    • Se va afișa o listă de drivere disponibile.
    • Găsește driverul marcat ca „recomandat” și reține numărul asociat.
  3. Înainte de a executa comanda 4, înlocuiește „XXX” cu numărul reținut.
Copiază Comanda 
sudo apt install linux-headers-$(uname -r) build-essential -y
sudo add-apt-repository ppa:graphics-drivers/ppa
						sudo apt update
ubuntu-drivers devices
sudo apt install nvidia-driver-XXX -y
sudo reboot
În mod normal, driverele sunt acum instalate, dar mai este necesar să instalăm CUDA Toolkit, pentru a putea folosi capabilitățile GPU-ului.
Ce trebuie să faci:
  1. Rulează prima comandă de mai jos pentru a instala CUDA Toolkit.
  2. Rulează a doua comandă pentru a reporni sistemul și a aplica modificările.
Copiază Comanda 
sudo apt install nvidia-cuda-toolkit -y
sudo reboot
Acum, pentru a verifica dacă totul este instalat corect, rulează comenzile de mai jos în consolă.
Copiază Comanda 
nvidia-smi
nvcc --version
Înainte de a începe instalarea efectivă, trebuie să ne asigurăm că avem totul pregătit, mai exact, să calculăm câtă memorie alocăm.
Ce trebuie să faci:
  1. Rulează în consolă comanda de mai jos pentru a vedea memoria disponibilă.
  2. Folosește calculatorul din pagină, care îți va calcula automat 90% din memorie, pentru a ști exact cât trebuie să aloci.
Copiază Comanda 
nvidia-smi --query-gpu=memory.total --format=csv
Acum vom instala Ollama împreună cu toate componentele necesare pentru a funcționa corect.
Ce trebuie să faci:
  1. Rulează comenzile de mai jos, una câte una.
  2. După fiecare comandă, așteaptă finalizarea procesului înainte de a continua.
  3. Înainte de a executa prima comandă, asigură-te că:
    • Înlocuiești „XXXX” cu memoria calculată pentru GPU.
    • Setezi corect „layers” modificând cele două „XX” după descrierea din comandă.
  4. Ultima comandă va reporni sistemul pentru a aplica toate modificările.
Copiază Comanda 
curl -fsSL https://ollama.com/install.sh | sh
						
						sudo mkdir -p /etc/ollama/
						
						sudo bash -c 'cat > /etc/ollama/config.yaml << EOF
						serve:
						  host: 0.0.0.0
						  port: 11434
						gpu:
						  layers: xx  # 20-25 pentru plăci mai vechi, 25-35 pentru plăci mai noi
						  memory: xxxx # aproximativ 90% din memoria totală a GPU
						EOF'
sudo bash -c 'cat > /etc/systemd/system/ollama.service << EOF
						[Unit]
						Description=Ollama Service
						After=network-online.target
						[Service]
						ExecStart=/usr/local/bin/ollama serve
						User=ollama
						Group=ollama
						Restart=always
						RestartSec=3
						Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin:/usr/local/cuda/bin"
						Environment="OLLAMA_HOST=http://0.0.0.0:11434"
						Environment="LD_LIBRARY_PATH=/usr/local/cuda/lib64:\$LD_LIBRARY_PATH"
						Environment="CUDA_VISIBLE_DEVICES=0"
						[Install]
						WantedBy=multi-user.target
						EOF'
						
						sudo systemctl daemon-reload
						sudo systemctl enable ollama
						sudo systemctl start ollama
sudo apt update
						sudo apt install -y docker.io
						sudo usermod -aG docker $USER
						newgrp docker
docker stop open-webui 2>/dev/null || true
						docker rm open-webui 2>/dev/null || true
						
						docker run -d -p 3000:8080 \
						  --add-host=host.docker.internal:host-gateway \
						  -v open-webui:/app/backend/data \
						  -e OLLAMA_API_BASE_URL=http://host.docker.internal:11434/api \
						  --name open-webui \
						  --restart always \
						  ghcr.io/open-webui/open-webui:main
sudo reboot
Dacă ai ajuns până aici, Ollama ar trebui să fie funcțional.
  • Poți accesa serverul din browser folosind: http://IP-UL-SERVERULUI:3000
  • Felicitări! Serverul Ollama este up and running!

Pentru a actualiza Ollama, rulează simplu comanda de mai jos în consolă. Această comandă va actualiza automat Ollama pe server.

Prima comandă verifică versiunea instalată. A doua comandă verifică ultima versiune disponibilă pe server. A treia comandă efectuează efectiv
actualizarea, iar ultima comandă verifică dacă s-a realizat actualizarea. Ultima comandă ar trebui să returneze versiunea obținută la
comanda a doua.
Copiază Comanda 
ollama --version
curl -s https://api.github.com/repos/ollama/ollama/releases/latest | jq -r '.tag_name'
curl -fsSL https://ollama.com/install.sh | sh
ollama --version
Urmărește tutorialul video, unde îți explic pas cu pas cum să instalezi și să configurezi Ollama pentru a funcționa corect.

Tutorial prezentat de: Remus @ Tutoriale IT & Tech

Canale și Platforme Sociale
Înapoi la cuprins