Ubuntu-KI unter Linux nutzen

Viele werden es schon gehört haben – ab der nächsten Ubuntu-LTS-Version will Ubuntu KI automatisch installieren. Dabei handelt es sich um lokal laufende LLMs – KI ist für mich der falsche Ausdruck, es handelt sich um einen gut belesenen ChatBot, der die statistisch beste Ausgabe liefert.

In diesem Beitrag der Linux Bibel sehen wir uns an, wie Sie diese KI unter Ubuntu oder anderen Linux-Distributionen jetzt schon nutzen können.

Grundsätzlich handelt es sich bei diesen KIs um freie Versionen – aktuell etwa Gemma3 oder Gemma4 von Google, Nemtron 3 in verschiedenen Versionen, Qwen oder eben auch DeepSeek.

Grundsätzlich nutzt man unter Linux am einfachsten Ollama, um KI lokal zu installieren – Ubuntu geht natürlich wieder seinen eigenen Weg und nutzt seine Snap-Paket-Verwaltung. Die Nutzung mit Snap sehen wir uns in diesem Beitrag an, mit Ollama finden Sie schon zwei Beiträge auf der Linux Bibel.

Um die so genannten Inference Snaps unter Linux zu nutzen, müssen Sie die Snap-Paket-Verwaltung installieren, unter Debian am schnellsten als root auf dem Terminal:

apt update
apt install snapd

Nach der Installation einmal ab- und wieder anmelden. Wie mit Snap üblich, Sie müssen root sein, um damit Pakete zu verwalten, welche Inference Snaps es aktuell gibt, zeigt Ubuntu in seiner Doku hier. Ich in meinem Fall habe Gemma3 genutzt, also:

snap install gemma3

Nach der Installation können Sie sich die Engines ansehen, dazu geben Sie die installierte KI an, in meinem Fall also:

/snap/bin/gemma3 list-engines

Näheres über die jeweilige Engine erfahren wir wie folgt:

/snap/bin/gemma3 show-engine

Nach der Installation funktioniert dies alles natürlich auch mit normalen Rechten!

Jetzt wollen wir mal mit der installierten KI chatten:

/snap/bin/gemma3 chat

Bei den anderen KIs natürlich dasselbe, Sie müssen nur die Namen der KIs anpassen:

Wir können also einfach anfangen zu schreiben:

Wir geben also einfach die Frage ein und bestätigen mit Eingabe, die Antwort kommt nicht einmal langsam, obwohl ich hier nur eine Intel-Karte am Laptop habe. Mit Strg+c können Sie die Kommunikation beenden.

Jetzt gehen wir etwas weiter, sehen wir uns den Status nach dem Start der Software etwas genauer an:

/snap/bin/gemma3 status

Wir sehen hier beispielsweise auch eine Zeile mit einer URL mit der Angabe webui, kopieren und in den Browser einfügen:

Dieselbe Geschichte, Fragen eintippeln und bestätigen:

Sie können der lokal installierten KI (schwachsinnige Bezeichnung …) Dokumente hochladen (Attach), damit diese etwa die Rechtschreibung kontrolliert, was auch immer. Sie können dieser Bilder hochladen, damit sie etwa Text daraus extrahiert, Sie können ihr PDFs oder was auch immer hochladen, damit sie diese für sie zusammenfasst, oder Fragen daraus beantwortet, handschriftliche Notizen (von Scans etwa) in reguläre Textdateien schupfen lassen, … Hier hilft nur ausprobieren.

Die anderen URLs sind so bezeichnete technische URLs, die für openai emuliert so gesehen die Schnittstelle von ChatGPT – haben Sie eine Anwendung, die eine Schnittstelle zu einer KI erwartet, geben Sie diese an.

Die Inference Snaps machen die Installation und Nutzung von lokaler KI für Einsteiger einfacher, weil sie eben Ollama noch nicht kennen, ein Ubuntu-Ding eben …

1