Messungen · Modell-Evals · Souveränität in Zahlen
Wir messen, welches Modell sich für welche Aufgabewirklich lohnt.
Statt pauschal „immer die Cloud" oder „immer lokal" zu behaupten, messen wir es: Für jede konkrete App-Operation jagen wir ein Dutzend Modelle — vom kleinen, auf dem Gerät laufenden bis zum teuersten Frontier-Modell — durch dieselbe Aufgabe und bewerten sie mit einem Modell-Panel. Die Empfehlung ist immer das günstigste Modell, das gut genug ist. Meist ist das ein lokales, kostenloses. Manchmal nicht — und dann sagen wir das auch. Methodik:docs/EVALS.md.
Routing-Karte — die Empfehlung pro Operation
- PagetaKurztextArtikel zusammenfassen: das Gerät-Modell reichton-devicegemma3:4b (on-device)0.930 €Wir haben 12 Modelle von der Geräte-Klasse bis zum teuersten Frontier gegeneinander gemessen. Ergebnis: das kleine, lokal auf dem Gerät laufende Modell erreicht 93 % der Qualität des absolut besten — bei 0 Euro.Messung ansehen →
- WordeckStrukturiertLernkarten generieren: das lokale Modell genügtlokalgemma3:12b (lokal)0.900 €Strukturierte Ausgabe ist härter als reiner Text. Das winzige Gerät-Modell reicht hier nicht mehr — aber das lokale 12-Mrd-Modell schon: 0,90 von 1,00, bei 0 Euro. Das teuerste Frontier-Modell ist nicht besser, nur 80× teurer.Messung ansehen →
- mana-HubAnalyseMuster aus der Timeline lesen: hier zahlt sich Frontier ausFrontiergpt-5.5 (Frontier)0.90$0,071Die ehrliche Gegenprobe: eine wirklich analytische Aufgabe. Hier brechen die lokalen und günstigen Modelle ein — nur die teuren Frontier-Modelle (GPT-5.5, Claude Opus) erreichen die Schwelle. Mehr Geld lohnt sich also doch — aber nur hier.Messung ansehen →
- NutriphiBildEssen vom Foto erfassen: das lokale Modell trifft am bestenlokalpixtral:12b (lokal)1.000 €Wir haben sechs Modelle dasselbe Foto analysieren lassen — vom lokalen Modell auf der eigenen GPU bis zum teuersten Frontier-Modell. Das lokale, in Europa gebaute Pixtral erkennt jedes getestete Gericht richtig und liegt damit vor jedem Frontier-Modell — bei 0 Euro und rund fünfmal weniger Strom.Messung ansehen →
Jede Messung zeigt das volle Leaderboard, die Kosten und einen ehrlich benannten Gegenpunkt — auch dort, wo das lokale Modell nicht reicht. Die Zahlen kommen aus unserem offenen Eval-Harness, nicht aus dem Marketing.
Warum das geht — die Thesen →