{"id":15277,"date":"2024-05-10T19:47:00","date_gmt":"2024-05-10T17:47:00","guid":{"rendered":"https:\/\/linux-bibel.at\/?p=15277"},"modified":"2024-05-18T08:48:15","modified_gmt":"2024-05-18T06:48:15","slug":"ollama-ki-unter-linux-lokal-nutzen","status":"publish","type":"post","link":"https:\/\/linux-bibel.at\/index.php\/2024\/05\/10\/ollama-ki-unter-linux-lokal-nutzen\/","title":{"rendered":"Ollama – KI unter Linux lokal nutzen"},"content":{"rendered":"\n

Die meisten KI<\/a>-Funktionen (Künstliche Intelligenz<\/em>) lassen sich nur online nutzen – etwa ChatGPT<\/a>, Google Gemini (ehemals Bard<\/em>) und viele weitere. Aber inzwischen gibt es auch so einige Open-Source-KI<\/a>s – sogenannte LLMs, etwa die von Facebook – llama2. Solche lassen sich auch lokal nutzen – und, natürlich auch unter Linux<\/a>, ganz einfach installieren mit Ollama.<\/p>\n\n\n\n

Ollama installieren<\/h3>\n\n\n\n

Sie finden das Script<\/a> zur Installation unter Ollama<\/a> zum Download – einfacher gelingt dies als root<\/a> auf dem Terminal<\/a> mit dem Befehl<\/a>:<\/p>\n\n\n\n

curl -fsSL https:\/\/ollama.com\/install.sh | sh<\/code><\/pre>\n\n\n\n
Haben Sie nur sudo<\/code> – starten Sie den Befehl<\/a> als normaler Benutzer. Ein kleiner Tipp: Finden Sie solche Befehl<\/a>e auf nicht offiziellen Seiten, so laden Sie das Script<\/a> erst nur herunter und sehen es sich erst einmal an, bevor Sie es starten 😁:<\/p>\n\n\n\n
\"\"<\/a><\/figure>\n\n\n\n
Haben Sie keine NVIDIA im Computer eingebaut, wird die KI<\/a> später etwas träge sein – außer die CPU<\/a> gibt ein wenig her.<\/p>\n\n\n\n
Installiert wird die Software übrigens unter „\/usr\/local\/bin“ – ein<\/p>\n\n\n\n
rm \/usr\/local\/bin\/ollama<\/code><\/pre>\n\n\n\n
als root<\/a> am Terminal<\/a> lässt die Software wieder verschwinden.<\/p>\n\n\n\n
KIs mit Ollama installieren<\/h3>\n\n\n\n
Ollama ist nur die Software, mit der Sie KI<\/a>-Sprachmodelle installieren und ausführen. Also gilt es, erst einmal sie zu installieren. Ollama läuft nach der Installation automatisch – dies zeigt die Adresse:<\/p>\n\n\n\n
localhost:11434<\/code><\/pre>\n\n\n\n
Im Webbrowser:<\/p>\n\n\n\n
\"\"<\/a><\/figure>\n\n\n\n
Dies muss natürlich nicht sein, Sie können die Software über Systemd<\/a> steuern – also als root<\/a> auf dem Terminal<\/a>:<\/p>\n\n\n\n
systemctl status ollama.service\nsystemctl diasble --now ollama.service\nsystemctl start ollama.service\nsystemctl stop ollama.service\nsystemctl enable --now ollama.service<\/code><\/pre>\n\n\n\n
Noch können Sie über die Software am Terminal<\/a> keine KI<\/a>s suchen – Sie müssen sich noch auf die Webseite bemühen – Ollama-KIs<\/a>.<\/p>\n\n\n\n
Mit:<\/p>\n\n\n\n
ollama pull KI<\/code><\/pre>\n\n\n\n
installieren Sie anschließend die gewünschte KI<\/a> – gleich ein Versuch:<\/p>\n\n\n\n
ollama pull llama2<\/code><\/pre>\n\n\n\n
Dies gelingt als normaler Benutzer:<\/p>\n\n\n\n
\"\"<\/a><\/figure>\n\n\n\n
Im Fall von llama2 sind dies rund 3,8 GB. Die heruntergeladene KI<\/a> gilt es jetzt über Ollama zu starten, hierzu dient die Syntax:<\/p>\n\n\n\n
ollama run modell<\/code><\/pre>\n\n\n\n
In meinem Beispiel also:<\/p>\n\n\n\n
ollama run llama2<\/code><\/pre>\n\n\n\n
Schon wartet die KI<\/a> auf Anfragen:<\/p>\n\n\n\n
\"\"<\/a><\/figure>\n\n\n\n
Meine erste dumme Frage: „Was ist Linux<\/a>?<\/em>“ Die Software antwortet auf diese Frage in Deutsch zwar auf Englisch, dies ist kein Problem. Ich dachte eigentlich, dass die Software ohne NVIDIA-Grafikkarte Probleme machen würde, aber hier, mit einer Intel-GPU<\/a> am Laptop, kein Problem – nicht lan<\/a>gsamer als etwa ChatGPT<\/a> im Webbrowser:<\/p>\n\n\n\n
\"\"<\/a><\/figure>\n\n\n\n
Nicht mal der Lüfter hat zu arbeiten begonnen. Mit \/?<\/code> lässt sich unter llama2 etwa die Hilfe anzeigen, mit Strg+d<\/kbd> oder \/bye<\/code> beenden Sie die KI<\/a> – Ollama läuft aber weiter – siehe Systemd<\/a> oben.<\/p>\n\n\n\n
Installierte KI<\/a>s lassen Sie sich mit:<\/p>\n\n\n\n
ollama list<\/code><\/pre>\n\n\n\n
anzeigen:<\/p>\n\n\n\n
\"\"<\/a><\/figure>\n\n\n\n
Mit:<\/p>\n\n\n\n
ollama rm modell<\/code><\/pre>\n\n\n\n
entfernen Sie eine KI<\/a> wieder aus dem System – etwa:<\/p>\n\n\n\n
ollama rm llama2<\/code><\/pre>\n\n\n\n
Weiteres<\/h3>\n\n\n\n
Wichtig – bevor Sie Ollama wie oben beschrieben deinstallieren, deaktivieren Sie den Service. Sie können Ollama auch mit der grafischen Oberfläche Open WebUI<\/a> nutzen.<\/p>\n
\r\n    
\r\n    \r\n                            \"Gef\u00e4llt\r\n            <\/a>\r\n    4    <\/span>\r\n<\/div>
\r\n    \r\n                            \"Gef\u00e4llt\r\n            <\/a>\r\n    0<\/span>\r\n<\/div><\/div>","protected":false},"excerpt":{"rendered":"
Die meisten KI-Funktionen (K\u00fcnstliche Intelligenz) lassen sich nur online nutzen – etwa ChatGPT, Google Gemini (ehemals Bard) und viele weitere. Aber inzwischen gibt es auch so einige Open-Source-KIs – sogenannte LLMs, etwa die von Facebook – llama2. Solche lassen sich auch lokal nutzen – und, nat\u00fcrlich auch unter Linux, ganz einfach installieren mit Ollama. Ollama […]<\/p>\n","protected":false},"author":1,"featured_media":15282,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[628,4],"tags":[697,12,698,7,6],"class_list":["post-15277","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-kuenstliche-intelligenz","category-terminal","tag-ki","tag-kommandozeile","tag-kuenstliche-intelligenz","tag-shell","tag-terminal"],"_links":{"self":[{"href":"https:\/\/linux-bibel.at\/index.php\/wp-json\/wp\/v2\/posts\/15277","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/linux-bibel.at\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/linux-bibel.at\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/linux-bibel.at\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/linux-bibel.at\/index.php\/wp-json\/wp\/v2\/comments?post=15277"}],"version-history":[{"count":5,"href":"https:\/\/linux-bibel.at\/index.php\/wp-json\/wp\/v2\/posts\/15277\/revisions"}],"predecessor-version":[{"id":15387,"href":"https:\/\/linux-bibel.at\/index.php\/wp-json\/wp\/v2\/posts\/15277\/revisions\/15387"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/linux-bibel.at\/index.php\/wp-json\/wp\/v2\/media\/15282"}],"wp:attachment":[{"href":"https:\/\/linux-bibel.at\/index.php\/wp-json\/wp\/v2\/media?parent=15277"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/linux-bibel.at\/index.php\/wp-json\/wp\/v2\/categories?post=15277"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/linux-bibel.at\/index.php\/wp-json\/wp\/v2\/tags?post=15277"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}