{"id":15277,"date":"2024-05-10T19:47:00","date_gmt":"2024-05-10T17:47:00","guid":{"rendered":"https:\/\/linux-bibel.at\/?p=15277"},"modified":"2024-05-18T08:48:15","modified_gmt":"2024-05-18T06:48:15","slug":"ollama-ki-unter-linux-lokal-nutzen","status":"publish","type":"post","link":"https:\/\/linux-bibel.at\/index.php\/2024\/05\/10\/ollama-ki-unter-linux-lokal-nutzen\/","title":{"rendered":"Ollama – KI unter Linux lokal nutzen"},"content":{"rendered":"\n

Die meisten KI-Funktionen (K\u00fcnstliche Intelligenz<\/em>) lassen sich nur online nutzen – etwa ChatGPT, Google Gemini (ehemals Bard<\/em>) und viele weitere. Aber inzwischen gibt es auch so einige Open-Source-KIs – sogenannte LLMs, etwa die von Facebook – llama2. Solche lassen sich auch lokal nutzen – und, nat\u00fcrlich auch unter Linux, ganz einfach installieren mit Ollama.<\/p>\n\n\n\n

Ollama installieren<\/h3>\n\n\n\n

Sie finden das Script zur Installation unter Ollama<\/a> zum Download – einfacher gelingt dies als root auf dem Terminal mit dem Befehl:<\/p>\n\n\n\n

curl -fsSL https:\/\/ollama.com\/install.sh | sh<\/code><\/pre>\n\n\n\n
Haben Sie nur sudo<\/code> – starten Sie den Befehl als normaler Benutzer. Ein kleiner Tipp: Finden Sie solche Befehle auf nicht offiziellen Seiten, so laden Sie das Script erst nur herunter und sehen es sich erst einmal an, bevor Sie es starten \ud83d\ude01:<\/p>\n\n\n\n
\"\"<\/a><\/figure>\n\n\n\n
Haben Sie keine NVIDIA im Computer eingebaut, wird die KI sp\u00e4ter etwas tr\u00e4ge sein – au\u00dfer die CPU gibt ein wenig her.<\/p>\n\n\n\n
Installiert wird die Software \u00fcbrigens unter „\/usr\/local\/bin“ – ein<\/p>\n\n\n\n
rm \/usr\/local\/bin\/ollama<\/code><\/pre>\n\n\n\n
als root am Terminal l\u00e4sst die Software wieder verschwinden.<\/p>\n\n\n\n
KIs mit Ollama installieren<\/h3>\n\n\n\n
Ollama ist nur die Software, mit der Sie KI-Sprachmodelle installieren und ausf\u00fchren. Also gilt es, erst einmal sie zu installieren. Ollama l\u00e4uft nach der Installation automatisch – dies zeigt die Adresse:<\/p>\n\n\n\n
localhost:11434<\/code><\/pre>\n\n\n\n
Im Webbrowser:<\/p>\n\n\n\n
\"\"<\/a><\/figure>\n\n\n\n
Dies muss nat\u00fcrlich nicht sein, Sie k\u00f6nnen die Software \u00fcber Systemd<\/a> steuern – also als root auf dem Terminal:<\/p>\n\n\n\n
systemctl status ollama.service\nsystemctl diasble --now ollama.service\nsystemctl start ollama.service\nsystemctl stop ollama.service\nsystemctl enable --now ollama.service<\/code><\/pre>\n\n\n\n
Noch k\u00f6nnen Sie \u00fcber die Software am Terminal keine KIs suchen – Sie m\u00fcssen sich noch auf die Webseite bem\u00fchen – Ollama-KIs<\/a>.<\/p>\n\n\n\n
Mit:<\/p>\n\n\n\n
ollama pull KI<\/code><\/pre>\n\n\n\n
installieren Sie anschlie\u00dfend die gew\u00fcnschte KI – gleich ein Versuch:<\/p>\n\n\n\n
ollama pull llama2<\/code><\/pre>\n\n\n\n
Dies gelingt als normaler Benutzer:<\/p>\n\n\n\n
\"\"<\/a><\/figure>\n\n\n\n
Im Fall von llama2 sind dies rund 3,8 GB. Die heruntergeladene KI gilt es jetzt \u00fcber Ollama zu starten, hierzu dient die Syntax:<\/p>\n\n\n\n
ollama run modell<\/code><\/pre>\n\n\n\n
In meinem Beispiel also:<\/p>\n\n\n\n
ollama run llama2<\/code><\/pre>\n\n\n\n
Schon wartet die KI auf Anfragen:<\/p>\n\n\n\n
\"\"<\/a><\/figure>\n\n\n\n
Meine erste dumme Frage: „Was ist Linux?<\/em>“ Die Software antwortet auf diese Frage in Deutsch zwar auf Englisch, dies ist kein Problem. Ich dachte eigentlich, dass die Software ohne NVIDIA-Grafikkarte Probleme machen w\u00fcrde, aber hier, mit einer Intel-GPU am Laptop, kein Problem – nicht langsamer als etwa ChatGPT im Webbrowser:<\/p>\n\n\n\n
\"\"<\/a><\/figure>\n\n\n\n
Nicht mal der L\u00fcfter hat zu arbeiten begonnen. Mit \/?<\/code> l\u00e4sst sich unter llama2 etwa die Hilfe anzeigen, mit Strg+d<\/kbd> oder \/bye<\/code> beenden Sie die KI – Ollama l\u00e4uft aber weiter – siehe Systemd oben.<\/p>\n\n\n\n
Installierte KIs lassen Sie sich mit:<\/p>\n\n\n\n
ollama list<\/code><\/pre>\n\n\n\n
anzeigen:<\/p>\n\n\n\n
\"\"<\/a><\/figure>\n\n\n\n
Mit:<\/p>\n\n\n\n
ollama rm modell<\/code><\/pre>\n\n\n\n
entfernen Sie eine KI wieder aus dem System – etwa:<\/p>\n\n\n\n
ollama rm llama2<\/code><\/pre>\n\n\n\n
Weiteres<\/h3>\n\n\n\n
Wichtig – bevor Sie Ollama wie oben beschrieben deinstallieren, deaktivieren Sie den Service. Sie k\u00f6nnen Ollama auch mit der grafischen Oberfl\u00e4che Open WebUI<\/a> nutzen.<\/p>\n
\r\n    
\r\n    \r\n                            \"Gef\u00e4llt\r\n            <\/a>\r\n    5    <\/span>\r\n<\/div>
\r\n    \r\n                            \"Gef\u00e4llt\r\n            <\/a>\r\n    0<\/span>\r\n<\/div><\/div>","protected":false},"excerpt":{"rendered":"
Die meisten KI-Funktionen (K\u00fcnstliche Intelligenz) lassen sich nur online nutzen – etwa ChatGPT, Google Gemini (ehemals Bard) und viele weitere. Aber inzwischen gibt es auch so einige Open-Source-KIs – sogenannte LLMs, etwa die von Facebook – llama2. Solche lassen sich auch lokal nutzen – und, nat\u00fcrlich auch unter Linux, ganz einfach installieren mit Ollama. Ollama […]<\/p>\n","protected":false},"author":1,"featured_media":15282,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[628,4],"tags":[697,12,698,7,6],"class_list":["post-15277","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-kuenstliche-intelligenz","category-terminal","tag-ki","tag-kommandozeile","tag-kuenstliche-intelligenz","tag-shell","tag-terminal"],"_links":{"self":[{"href":"https:\/\/linux-bibel.at\/index.php\/wp-json\/wp\/v2\/posts\/15277","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/linux-bibel.at\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/linux-bibel.at\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/linux-bibel.at\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/linux-bibel.at\/index.php\/wp-json\/wp\/v2\/comments?post=15277"}],"version-history":[{"count":5,"href":"https:\/\/linux-bibel.at\/index.php\/wp-json\/wp\/v2\/posts\/15277\/revisions"}],"predecessor-version":[{"id":15387,"href":"https:\/\/linux-bibel.at\/index.php\/wp-json\/wp\/v2\/posts\/15277\/revisions\/15387"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/linux-bibel.at\/index.php\/wp-json\/wp\/v2\/media\/15282"}],"wp:attachment":[{"href":"https:\/\/linux-bibel.at\/index.php\/wp-json\/wp\/v2\/media?parent=15277"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/linux-bibel.at\/index.php\/wp-json\/wp\/v2\/categories?post=15277"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/linux-bibel.at\/index.php\/wp-json\/wp\/v2\/tags?post=15277"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}