On-Device-LLM für alle Apps — Anthropic/OpenAI/Gemini ablösen
Die LLM-APIs (Anthropic, OpenAI, Gemini) sind heute die dritte bewusst akzeptierte Externe. Ablöse-Pfad: lokale Modelle, gestaffelt — Gemma/Mistral auf dem Gerät via mana-swift-llm, größere Modelle auf der eigenen GPU-Box.
Schritte
Was als Nächstes ansteht
- mana-swift-llm v0.1 (FoundationModels + Gemma 4 MLX) auf alle nativen Apps ausrollen.
- GPU-Routing in mana-llm so umbauen, dass „leichte" Anfragen on-device bedient werden und nur „schwere" beim Externen landen.
- Pro Modell ein Qualitäts-Soll, ab wann es als Ersatz dient.
Offene Punkte
Was uns aufhält, was wir noch nicht entschieden haben
Die ehrliche Seite: wenn etwas nicht weiterkommt, liegt es meist an einer der hier gelisteten Abhängigkeiten oder offenen Fragen.
Hängt ab von
- App-Group `group.ev.mana.models` muss im Apple-Dev-Portal aktiviert sein (siehe apple-dev-portal-capabilities).
Anker
Wohin das im Verein zeigt
- Servicemana-llmEine Schnittstelle vor Anthropic, OpenAI, Gemini — ein Ort für API-Keys, ein Cost-Tracking, ein Audit.
- InfraAnthropic · OpenAI · GeminiGroße Sprachmodelle (Claude, GPT, Gemini) sind aus Compute-Größe und Modell-Qualität heraus heute nicht im Eigenbetrieb leistbar.
- Inframana-gpuEigene KI-Inferenz-Workstation für die Workloads, die wir nicht auslagern wollen.
- LösungEigenbetrieb auf einem Mac MiniSouveränität fängt damit an, dass jemand im Verein die Stromrechnung der Hardware kennt, auf der die Daten liegen.
Werte
Welche Grundsätze dieses Vorhaben trägt
○ Später
Weitere Vorhaben im selben Horizont
Entschieden, aber ohne festen Termin.
- Eigener Android-Store: F-Droid-Repo + Direkt-APKDie Recherche zum App-Vertrieb hat die Richtung gesetzt: Auf Android bauen wir das souveräne Rückgrat selbst — ein selbst gehostetes F-Droid-Repo plus signierte Direkt-APK, an Google vorbei, in jedem Land nutzbar (auch der Schweiz). Bestehende Kanäle bleiben Reichweiten-Verstärker, die PWA der Default. Hier steht der Weg dorthin.
- Stiftungs-Umwandlung — sobald die Plattform finanziell trägtDer Verein ist als Schweizer Verein konstituiert; die langfristige Rechtsform ist eine Stiftung, weil sie Eigentum endgültig dem Verein bindet und keinen Verkauf zulässt. Schritt entscheidend für „unverkäuflich" — aber nur dann, wenn die laufenden Kosten dauerhaft gedeckt sind.
- SEPA-Lastschrift direkt — Stripe als bewusste Externe ablösenStripe ist heute eine der drei bewusst akzeptierten externen Stellen. Der Ablöse-Pfad steht in der Landing-Sektion „Bewusste Externe": SEPA-Lastschrift direkt, ohne Payment-Provider zwischen Verein und Mitglied.
- Web-Push (VAPID) — APNs/FCM für PWAs ablösenAPNs und FCM sind die zweite bewusste Externe. Für PWAs (unsere Android- Primärlinie) lässt sich der Push-Channel mit Web-Push + VAPID direkt aus dem Server bedienen, ohne Apple oder Google im Pfad.
Vorhaben sind die vorwärts-gerichtete Schwester des Devlogs. Erledigtes wandert in die passende Kalenderwoche, damit hier nur das steht, was wirklich noch ansteht.