Jan – lokale Alternative zu ChatGPT, Gemini, Microsoft Copilot und Co. unter Linux

Künstliche Intelligenz – kurz einfach KI ist so gut wie überall im Gespräch, nur will nicht jeder seine Daten preisgeben. Jan ist eine freie Alternative – und, Jan läuft lokal, braucht keine Anbindung zum Internet, keine Anmeldung, … Eine bessere Grafikkarte ist bei lokalen Sprachmodellen vom Vorteil, aber nicht unbedingt nötig, ein halbwegs aktueller Rechner wäre natürlich gut.

Jan installieren

Sie finden Jan auf GitHub zum Download – hier finden Sie ein DEB-Paket für Debian, Ubuntu und darauf basierende Linux-Distributionen, sowie auch ein Appimage. Das heruntergeladene DEB-Paket installieren Sie wie gehabt ganz einfach per Mausklick oder als root auf dem Terminal:

apt install /home/username/Downloads/jan-beta-linux-...beta.deb

Oder, wenn Sie sich bereits im Verzeichnis mit der Datei auf dem Terminal befinden, etwas abgekürzt:

apt install ./jan-beta-...

Wie einfach Sie das Appimage unter allen anderen Linux-Distributionen nutzen, lesen Sie am Link oben.

Jan nutzen

Sie finden Jan nach der Installation im Anwendungsmenü unter der Kategorie Dienstprogramme (KDE) oder unter Zubehör (andere Desktop-Umgebungen), das Appimage starten Sie einfach per Mausklick:

Bisher haben Sie eigentlich nur die eigentliche Software heruntergeladen und installiert, jetzt geht es zur Auswahl des eigentlichen Sprachmodells. Hier kann Jan solche nutzen, die nur lokal laufen (on device modells) und auch solche in der Cloud – also etwa ChatGPT und Co. Für entsprechende Cloud-Modelle benötigen Sie natürlich einen Account – dafür interessieren wir uns natürlich nicht, wir wollen lokale Modelle nutzen – klicken Sie neben „On-device Models“ auf „See All„:

Die Liste der Sprachmodelle ist schon recht groß, neben der Bezeichnung finden Sie rechts auch die Download-Größe und den Schalter für den Download. Der Zusatz „Slow on your device“ zeigt Ihnen, wahrscheinlich fehlt es an der Hardware (Grafikkarte). Größere Sprachmodelle haben natürlich auch mehr Wissen in der Datenbank – eigentlich auch verständlich. Etwas mehr Informationen über ein Modell erhalten Sie, indem Sie dessen Namen anklicken:

Ein Klick auf den Schalter „Download“ und den Rest der Installation übernimmt Jan, Sie können natürlich auch mehrere Sprachmodelle installieren und nutzen, installierte wieder über Bord werfen.

Haben Sie eines oder mehrere Modelle heruntergeladen, oder eines in der Cloud zur Nutzung gewählt, klicken Sie links oben auf den Schalter mit dem Chat-Symbol:

Haben Sie mehrere Modelle installiert, lässt sich im Eingabefeld das gewünschte auswählen. Nutzen Sie ein Cloud-Modell, lässt sich dieses in den Einstellungen links unten (der Schalter mit dem Zahnrad) konfigurieren – etwa der API-Key eingeben:

Je nach Hardware kommen nach eingegebenen Fragen (lokales Modell) dann entsprechend schnell die Antworten. Ich habe am Testrechner 16 GB RAM und 16 Kerne und eine AMD-Standard-Grafikkarte – mitlesen kann man bei einer solchen Konfiguration fast nicht mehr, also ansprechend schnell:

Hin und wieder sollten Sie unter den genutzten Modellen natürlich auch nachsehen, ob es Aktualisierungen zum Download gibt.

1