e.V.
Services · KI-Inferenz · Live
L

mana-llm

Eine Schnittstelle vor Anthropic, OpenAI, Gemini — ein Ort für API-Keys, ein Cost-Tracking, ein Audit.

Ersetzt
Direkt-Calls zu Anthropic/OpenAI in jeder App, LangSmith, Helicone
Was er tut

mana-llm ist die einzige Stelle im Vereins-Code, an der API-Keys für Anthropic, OpenAI und Gemini liegen. Apps rufen nicht direkt bei den Anbietern an, sondern bei mana-llm — der entscheidet, an welches Modell die Anfrage geht, trackt die Kosten, und schickt sie als Buchung an mana-credits.

Was das bedeutet: wenn ein Modell-Preis bei einem Anbieter um 30% sinkt, können wir das pro Operation an die Mana-Kosten weiterreichen — innerhalb von 30 Tagen, ohne dass jede App ein Update braucht. Wenn ein Anbieter ausfällt, schwenkt mana-llm auf den nächsten um.

Polyglot-Begründung: der Service läuft in Python, weil die Vendor-SDKs und Provider-Bibliotheken dort am besten gepflegt sind. Es war eine bewusste Entscheidung, hier nicht die TypeScript-Konvention der restlichen Plattform durchzudrücken — Werkzeug schlägt Konsistenz.

Technik

Stack & Infrastruktur

Sprache
Python
Stack
Python · FastAPI · Cost-Tracking-Middleware
Port
3004
Hosting
Eigenbetrieb auf Vereins-Infrastruktur. Keine Drittpartei, kein Cloud-Anbieter, kein Managed-Service.
Konsumenten

Wer ihn benutzt

Grundsätze

Was er für den Verein verkörpert

  • Eigenbetrieb
    Eigene Infrastruktur, quelloffener Stack.
  • Selbstkostenpreis
    Keine Werbung, kein Aufschlag.
  • Offenheit
    Code und Mittelverwendung öffentlich.
Stand

Was läuft, was nicht

Phase: Live.

Offene Punkte
  • Self-hosted-Modelle (Llama, Mistral) als Fallback einbinden ist Roadmap.
  • Provider-Quality-Auto-Routing ist offen.

mana-llm ist einer von vielen Plattform-Services, die unter den Apps des Vereins laufen. Eigenbetrieb statt SaaS, dokumentiert statt undurchsichtig.