On-Device-LLM für alle Apps — Anthropic/OpenAI/Gemini ablösen

Was als Nächstes ansteht

1. mana-swift-llm v0.1 (FoundationModels + Gemma 4 MLX) auf alle nativen Apps ausrollen.
2. GPU-Routing in mana-llm so umbauen, dass „leichte" Anfragen on-device bedient werden und nur „schwere" beim Externen landen.
3. Pro Modell ein Qualitäts-Soll, ab wann es als Ersatz dient.

Was uns aufhält, was wir noch nicht entschieden haben

Die ehrliche Seite: wenn etwas nicht weiterkommt, liegt es meist an einer der hier gelisteten Abhängigkeiten oder offenen Fragen.

• App-Group `group.ev.mana.models` muss im Apple-Dev-Portal aktiviert sein (siehe apple-dev-portal-capabilities).

Wohin das im Verein zeigt

• Service mana-llm Eine Schnittstelle vor Anthropic, OpenAI, Gemini — ein Ort für API-Keys, ein Cost-Tracking, ein Audit.
• Infra Anthropic · OpenAI · Gemini Große Sprachmodelle (Claude, GPT, Gemini) sind aus Compute-Größe und Modell-Qualität heraus heute nicht im Eigenbetrieb leistbar.
• Infra mana-gpu Eigene KI-Inferenz-Workstation für die Workloads, die wir nicht auslagern wollen.
• Lösung Eigenbetrieb auf einem Mac Mini Souveränität fängt damit an, dass jemand im Verein die Stromrechnung der Hardware kennt, auf der die Daten liegen.

Welche Grundsätze dieses Vorhaben trägt

• Unabhängigkeit
  Schweizer Verein, keine Investoren.
• Datensouveränität
  Verwahrer statt Eigentümer.
• Eigenbetrieb
  Eigene Infrastruktur, quelloffener Stack.

Wo dieses Vorhaben in der Doku oder im Code lebt

• Doku MANA_LLM.md

Weitere Vorhaben im selben Horizont

Entschieden, aber ohne festen Termin.

• Stiftungs-Umwandlung — sobald die Plattform finanziell trägt
  Der Verein ist als Schweizer Verein konstituiert; die langfristige Rechtsform ist eine Stiftung, weil sie Eigentum endgültig dem Verein bindet und keinen Verkauf zulässt. Schritt entscheidend für „unverkäuflich" — aber nur dann, wenn die laufenden Kosten dauerhaft gedeckt sind.
• SEPA-Lastschrift direkt — Stripe als bewusste Externe ablösen
  Stripe ist heute eine der drei bewusst akzeptierten externen Stellen. Der Ablöse-Pfad steht in der Landing-Sektion „Bewusste Externe": SEPA-Lastschrift direkt, ohne Payment-Provider zwischen Verein und Mitglied.
• Web-Push (VAPID) — APNs/FCM für PWAs ablösen
  APNs und FCM sind die zweite bewusste Externe. Für PWAs (unsere Android- Primärlinie) lässt sich der Push-Channel mit Web-Push + VAPID direkt aus dem Server bedienen, ohne Apple oder Google im Pfad.
• Knoten-Mitglieder mit Compute beteiligen (Stufe 3)
  Heute können Knoten-Mitglieder Backup-Spiegel anbieten. Stufe 3 wäre, dass sie Compute-Lasten mittragen — verteilte Mac-Minis oder GPU-Boxen, die KI-Inferenz oder Echtzeit-Sync föderieren.