Mein lokaler KI-Stack auf Windows 11

Seit einigen Monaten betreibe ich auf meinem Windows-11-Rechner (RTX 4070 Ti, 64 GB RAM) einen lokalen KI-Stack – vollständig selbst gehostet, ohne Cloud-Abhängigkeit. Was als Experiment begann, ist mittlerweile ein produktiver Teil meines digitalen Alltags geworden.

Der Stack

Das Herzstück ist Ollama als lokale LLM-Runtime mit GPU-Unterstützung. Als primäres Sprachmodell läuft qwen3:14b – ein chinesisches Open-Source-Modell mit 14 Milliarden Parametern, das mit seinen knapp 9 GB vollständig in den VRAM der RTX 4070 Ti passt. Für Reasoning-Aufgaben steht zusätzlich deepseek-r1:14b bereit.

Damit verschiedene Anwendungen das Modell über eine einheitliche OpenAI-kompatible API ansprechen können, sitzt LiteLLM als Proxy-Schicht dazwischen. Das erlaubt es, Aliasse zu definieren – so landet beispielsweise jeder Aufruf von llama3.1 aus bestehenden n8n-Workflows transparent auf dem neuen qwen3:14b.

Als Chat-Interface dient Open WebUI (Port 8080), das eine saubere, responsive Oberfläche für alle Modelle bietet. Ergänzt wird der Stack durch Prometheus und Grafana für das Monitoring inklusive GPU-Metriken.

Hermes Agent – der Versuch eines KI-Agenten

Neben dem reinen Chat-Interface wollte ich auch einen autonomen KI-Agenten testen, der Aufgaben selbstständig ausführt: Websuche, Terminalzugriff, Gedächtnis über Sessions hinweg. Die Wahl fiel auf Hermes Agent von NousResearch.

Die Integration mit dem lokalen LiteLLM-Stack war technisch anspruchsvoll: Docker-Netzwerke, API-Key-Konfiguration und ein hardcoded Write-Protection im write_file-Tool haben einige Stunden in Anspruch genommen. Am Ende läuft Hermes, chattet auf Deutsch und kann per Terminal Aufgaben ausführen – die File-Write-Einschränkung in v0.17.0 bleibt aber ein Wermutstropfen.

Fazit zur Agent-Frage: Hermes ist mit Cloud-APIs deutlich einfacher einzurichten als mit einem lokalen Stack. Für den Alltag nutze ich vorerst Open WebUI – der Agent bleibt im Stack und wartet auf eine reifere Version.

Technischer Überblick

• Hardware: Ryzen 7 7700, RTX 4070 Ti (12 GB VRAM), 64 GB RAM
• LLM Runtime: Ollama mit NVIDIA GPU-Unterstützung
• Modelle: qwen3:14b (primär), deepseek-r1:14b (Reasoning), nomic-embed-cpu (Embeddings, CPU-only)
• API-Gateway: LiteLLM mit PostgreSQL-Backend
• Chat-Interface: Open WebUI
• Agent: Hermes Agent v0.17.0 (NousResearch)
• Monitoring: Prometheus + Grafana + DCGM Exporter
• Reverse Proxy: Caddy mit automatischem HTTPS

Der gesamte Stack läuft in Docker Compose und ist über ein privates Gitea-Repository versioniert. Alle Konfigurationsänderungen werden von meinem Mac aus über Claude Code verwaltet und direkt auf den Windows-Rechner deployed.