AI-dille er sådan, at Raspberry Pi Foundation for nylig udgav en ny AI Hat+-tilføjelse. Når det er sagt, behøver du ikke dedikeret hardware for at køre AI-modeller på Raspberry Pi lokalt. Du kan køre små sprogmodeller på dit Raspberry Pi-kort ved hjælp af CPU’en. Token-genereringen er bestemt langsom, men der er små million-parameter modeller, der kører anstændigt godt. Med den bemærkning, lad os gå videre og lære, hvordan man kører AI-modeller på Raspberry Pi.
Krav
- En Raspberry Pi med mindst 2 GB RAM for en anstændig oplevelse. Jeg bruger min Raspberry Pi 4 til denne tutorial med 4 GB RAM. Nogle brugere har endda haft held med at køre AI-modeller på en Raspberry Pi Zero 2 W med kun 512 MB RAM.
- Et microSD-kort med mindst 8 GB lagerplads.
Installer Ollama på Raspberry Pi
- Før du installerer Ollama, skal du gå videre og konfigurere din Raspberry Pi, hvis du ikke har gjort det.
- Start derefter terminalen og kør kommandoen nedenfor for at opdatere alle pakker og afhængigheder.
sudo apt opdatering && sudo apt opgradering
- Kør nu nedenstående kommando for at installere Ollama på din Raspberry Pi.
curl -fsSL https://ollama.com/install.sh | sh
- Når Ollama er installeret, får du en advarsel om, at den vil bruge CPU’en til at køre AI-modellen lokalt. Du er nu god til at gå.
Kør AI-modeller lokalt på Raspberry Pi
- Efter installation af Ollama, kør den næste kommando for at installere tinyllama AI-model på din Raspberry Pi. Det er en lille 1,1 milliard model og bruger kun 638 MB RAM.
ollama run tinyllama
- Når AI-modellen er installeret, skal du indtaste din prompt og trykke på Enter. Det vil tage noget tid at generere et svar.
- I min test genererede Raspberry Pi 4 svar med en langsom hastighed, men det er, hvad du får på en lille singleboard-computer.
- Jeg vil anbefale at løbe smollm som har 135 millioner parametre og kun bruger 92MB hukommelse. Det er en perfekt lille LLM til Raspberry Pi.
ollama løb smollm:135m
- Endelig kan du også prøve Microsofts Phi-model som er en 2,7 milliarder model og bruger 1,6 GB hukommelse. Så hvis du har en Raspberry Pi 5, kan du prøve denne model.
ollama løb phi
Så det er sådan, du kan køre AI-modeller på Raspberry Pi lokalt. Jeg elsker Ollama, fordi den er ligetil at bruge. Der er andre rammer som Llama.cpp, men installationsprocessen er lidt af en besvær. Med kun to Ollama-kommandoer kan du begynde at bruge en LLM på din Raspberry Pi.
Det er i hvert fald alt fra os. For nylig brugte jeg min Raspberry Pi til at lave en trådløs Android Auto dongle, så hvis du er interesseret i sådanne fede projekter, så gå vores guide igennem. Og hvis du har spørgsmål, så lad os det vide i kommentarerne nedenfor.
Støt vores arbejde ❤️
Hvis du kunne lide denne artikel, kan du overveje at give drikkepenge for at hjælpe os med fortsat at udgive kvalitetsindhold.
