Gemma 4 12B auf der eigenen GPU — was es ablösen könnte

Die Ausgangslage

Auf unserer KI-Workstation steckt eine NVIDIA RTX 3090 mit 24 GB VRAM — gebraucht für unter 1000 Euro, die meiste Zeit im Idle. Heute arbeiten dort Whisper für Sprache-zu-Text, die TTS-Stimmen (Kokoro für Englisch, Orpheus für Deutsch, Piper für schnelle Stimmen) und der Photon-Geocoder. Große Sprachmodelle laufen bewusst extern; lokal fährt unser Dienst mana-llm als Default das kleine Gemma 3 4B über Ollama.

Am 3. Juni 2026 hat Google Gemma 4 12B veröffentlicht: ein offenes, multimodales Modell, das mit 16 GB RAM auf einem Laptop läuft und sein eigenes 27-Mrd-Vorjahresmodell in Mathe und Coding klar schlägt. Die Frage ist also nicht „können wir das hosten“ — sondern „lohnt es sich, und was löst es ab“.

Passt es auf die Karte?

Ja, mit Reserve. Bei 4-bit-Quantisierung braucht ein 12B-Modell grob 8 GB, bei 8-bit etwa 13 GB — beides passt in die 24 GB und lässt Platz für STT/TTS daneben. Nur die volle fp16-Variante (~24 GB) würde die Karte allein belegen. Der praktische Pfad ist also ein quantisiertes Gewicht, das man entweder dauerhaft resident hält oder bei Bedarf neben den anderen Workloads ein- und auslädt.

Was es ablösen könnte

1. Den lokalen Text-LLM (klares Ja). Gemma 3 4B → Gemma 4 12B ist ein Upgrade innerhalb derselben Familie. Auf der 3090 ist die 12B-Version problemlos lauffähig und deutlich fähiger — das hebt die Qualität aller lokal bedienbaren Aufgaben spürbar an.

2. Einen Teil der externen LLM-Aufrufe (bedingtes Ja). Alltags-Arbeit — Zusammenfassen, Verschlagworten, einfache Chats, der Server-Fallback der Browser-LLMs in Memoro, Pageta und Wordeck — könnte künftig lokal statt über OpenRouter/Claude/Gemini laufen. Das spart Token-Kosten und hält Daten im Haus. Die harten Fälle (Coding-Agenten, langes Reasoning) bleiben extern.

3. Ein separates Bild-/Vision-Modell (Ja, falls je nötig). Gemma 4 ist nativ multimodal; Bild- und Dokument-Verständnis kämen aus demselben Gewicht — relevant für Viadocu-Belege und Memoro-Anhänge.

4. Whisper für Transkription (Nein). Hier ist die wichtigste Grenze: Gemma 4 versteht Audio, ist aber kein verbatimes ASR-Modell mit Wort-Zeitstempeln. Für wörtliche Mitschriften und Untertitel bleibt Whisper das richtige Werkzeug. Gemma kann höchstens zusätzlich Audio zusammenfassen oder einordnen — nicht die Transkriptions-Pipeline ersetzen.

Abwägung in einem Satz

Es lohnt sich als Upgrade des lokalen LLM und als Rückholung von Alltags-Aufrufen — nicht als Ablösung der spezialisierten Whisper-Pipeline und nicht als Ersatz für ein Frontier-Modell. Das passt genau zur Linie der GPU-Box: nicht jedes Modell selbst trainieren, aber jedes Modell selbst hosten, das auf einer Consumer-Karte läuft.