LM Studio ist momentan die vermutlich einfachste Möglichkeit für interessierte Laien, ein Large Language Model (LLM) auf dem eigenen Computer zu installieren. Man kann mit LM Studio innert Minuten einen ChatGPT-ähnlichen lokalen KI-Chatbot einrichten.
Für die Installation lädt man auf der Website von LM Studio die aktuelle Version herunter. LM Studio ist momentan kostenlos erhältlich. Nach dem Herunterladen zieht man, jedenfalls unter MacOS, die App in den «Applications»-Ordner und kann die App starten.
Hinweis: Dieser Beitrag ist kein Aprilscherz.
Nach dem Start stehen in der App verschiedene Möglichkeiten zur Verfügung. Für Anfänger verspricht «AI Chat» den schnellsten Erfolg. Man kann innert Minuten einen ChatGPT-ähnlichen KI-Chatbot einrichten, der lokal und offline läuft.
Wenn man «AI Chat» auswählt, wird man gebeten, ein LLM zu installieren und erhält verschiedene Vorschläge.
LM Studio greift auf LLMs bei Hugging Face zurück. Man kann damit LLMs mit unterschiedlichen Fähigkeiten und in verschiedenen Grössen herunterladen.
KI-Chatbot: In wenigen Minuten zum ersten Prompt mit dem lokalen LLM
Der Download von «CodeLlama 7B» von Meta ist ein guter Start. Nach wenigen Minuten ist das LLM verfügbar und man kann den ersten Prompt eingeben.
Der Chatbot läuft auf meinem Notebook flüssig. Die Ergebnisse sind bei «CodeLlama 7B» unterschiedlich, so wie man es auch von den kommerziellen Chatbots kennt.
Einen guten Eindruck, wie ein KI-Chatbot mit LM Studio und «CodeLlama 7B» funktionieren kann, zeigt der Prompt für die Menüplanung einer Familie (Screencast):
(Eigentlich ist «CodeLlama 7B» gemäss Meta ein «state-of-the-art large language model for coding», aber das habe ich ignoriert.)
LM Studio: Interference Server und weitere Möglichkeiten für Fortgeschrittene
Mit LM Studio kann man direkt ausprobieren, was verschiedene LLMs leisten (und was nicht). Einzelne LLMs können per Mausklick installiert werden und man kann mit zahlreichen Einstellungen wie dem «System Prompt» spielen. Die «Multi Model»-Funktion von LM Studio ist für einen direkten Vergleich besonders gut geeignet.
Für Fortgeschrittene ist die Möglichkeit von LM Studio interessant, ein LLM als Interference Server zu betreiben. Man kann das LLM direkt über eine API ansprechen. LM Studio liefert beispielhaften Code für mehrere Programmiersprachen.
Wer sich für Künstliche Intelligenz (KI) und Large Language Models interessiert, erhält mit LM Studio eine einfache Möglichkeit für eigene Versuche.
LLMs, die lokal und offline laufen, haben nicht nur den Vorteil, dass der Datenschutz direkt gewährleistet ist, sondern man kämpft auch nicht mit den bei OpenAI und anderen kommerziellen Anbietern inzwischen üblichen Filtern.
(Ursprünglich via Jeremy Morgan.)
Bild: OpenAI / ChatGPT 4.