Mit Jan gibt es eine weitere einfache Möglichkeit, einen ChatGPT-ähnlichen KI-Chatbot auf dem eigenen Computer zu verwenden.
Jan ist als freie Open Source-Software auch eine Alternative zu LM Studio, das ohne Bezahlung nicht kommerziell genutzt werden darf.
Jan ist eine lokale App für die Nutzung von Large Language Models (LLMs). Mit Gamma können gängige und leistungsstarke KI-Modelle wie Gemma, Llama3, Mistral oder Qwen direkt heruntergeladen und lokal genutzt werden.
Jan funktioniert standardmässig wie ein typischer KI-Chatbot, stellt über einen lokalen Server aber auch eine OpenAI-kompatible API zur Verfügung.
Wer sonstige LLMs nutzen möchte, kann alle bei Hugging Face verfügbaren LLMs über die jeweilige URLs herunterladen.
Darüber hinaus ist es möglich, die APIs von Anbietern wie Antrophic, OpenAI und NVIDIA zu nutzen.
Experimentell ist es ausserdem möglich, mit Dateien zu chatten, beispielsweise mit Bildern oder PDF-Dateien. Jan ermöglicht damit «Knowledge Retrieval» bzw. die Optimierung mit Retrieval-Augmented Generation (RAG).
Jan ermöglicht zahlreiche Einstellungen. Für den Chatbot können besondere Instruktionen hinterlegt werden, ähnlich wie die «Custom Instructions» bei ChatGPT. Für die Modelle können beispielsweise Parameter wie Temperatur, Kontextlänge und Zahl der Tokens angepasst werden.
Mit Jan können Modelle ausserdem für besondere Zwecke mit Fine-Tuning und RAG angepasst bzw. trainiert werden. Jan unterstützt aber unter anderem auch TensorRT.
Weitere Informationen finden sich in der ausführlichen Dokumentation von Jan und im GitHub-Repository von Jan.
Für interessierte Laien ist Jan eine hilfreiche und kostenlose Möglichkeit, Künstliche Intelligenz lokal auf ihrem eigenen Computer zu nutzen.
So funktioniert ein KI-Chatbot innert Minuten auf dem eigenen Computer mit LM Studio