Artikel zusammenfassen: das Gerät-Modell reicht
Wir haben 12 Modelle von der Geräte-Klasse bis zum teuersten Frontier gegeneinander gemessen. Ergebnis: das kleine, lokal auf dem Gerät laufende Modell erreicht 93 % der Qualität des absolut besten — bei 0 Euro.
Methodik: 5 Fälle · Judge-Panel (Median): gemini-2.5-flash, deepseek-v4-pro, mistral-small. „Format" = deterministische Hard-Checks (gültiges Schema etc.). Die Judge-Modelle stehen selbst im Feld — ein Modell benotet sich nie selbst (Self-Ausschluss), aber Panel und Kandidaten überlappen, eine Peer-Bevorzugung ist nicht ausgeschlossen. Quelle:services/mana-evals.
Pageta fasst gespeicherte Artikel auf Wunsch in drei bis fünf Sätzen zusammen. Die Frage: muss dafür ein teures Cloud-Modell ran, oder reicht etwas Kleines, das lokal läuft?
Die Messung ist eindeutig. Ganz oben drängeln sich die Frontier- und die chinesischen Modelle mit perfekten Werten — aber das auf dem Gerät laufende gemma3:4b liegt nur Haaresbreite dahinter (0,93) und kostet nichts. Es braucht keine GPU-Box und keine Cloud: das Modell läuft im Browser bzw. auf dem Telefon. Selbst das stärkste gemessene Modell rechtfertigt für diese Aufgabe seinen Preis nicht.
Bemerkenswert am unteren Ende: das „smarteste“ Modell im Feld (ein Reasoning- Modell von OpenAI) fällt durch — es verbrennt sein Antwort-Budget mit internem Nachdenken und liefert abgeschnittene Zusammenfassungen. Mehr Intelligenz ist hier nicht besser, sondern schlechter.
Das ist die Souveränität in Zahlen: Die häufigste Textaufgabe läuft gratis, ohne dass Daten das Gerät verlassen. Die volle Methodik steht in docs/EVALS.md.
Der Gegenpunkt
Fünf Artikel sind ein Signal, kein statistischer Beweis. Die Qualität bewertet ein Panel aus drei Modellen (Median) — das mildert Verzerrung, ist aber selbst modell-basiert; final gehört es gegen menschliches Urteil geeicht. „Gut genug" heißt: für pagetas konkrete Zusammenfassungs-Aufgabe — nicht für jede Textsorte.