OpenRouter hat gestern Ori Eval veröffentlicht – ein Werkzeug, das eine der teuersten Fragen der KI-Entwicklung endlich mit harten Zahlen beantwortet: Welches von über 500 KI-Modellen ist das richtige für Deine Anwendung?
Das Problem: Modelle vergleichen war bisher Glückssache
Wer eine Anwendung mit KI baut, steht vor einem Dschungel: Mehr als 500 Modelle von dutzenden Anbietern, jedes mit anderen Stärken, Schwächen und Preisen. Bisher lief die Auswahl so: Man nimmt das Modell, das auf Social Media gerade gehyped wird, oder das, das auf einem allgemeinen Benchmark ganz oben steht. Beides sagt wenig darüber aus, wie das Modell in Deiner konkreten Anwendung funktioniert – mit Deinen Daten, Deinen Abläufen und Deinen Anforderungen.
Die Folge: Teams bleiben bei einem Modell, das nicht mehr das beste ist, weil eine Neubewertung zu aufwendig wäre. Oder sie wechseln blind und wundern sich über schlechtere Ergebnisse.
Die Lösung: Ori Eval findet das beste Modell für Deine Anwendung
Ori Eval geht einen radikal anderen Weg. Statt allgemeiner Ranglisten fragt es Dich, worauf es ankommt:
- Codebase scannen: Ori Eval durchsucht Deinen Code nach jeder Stelle, an der ein KI-Modell aufgerufen wird. Es zeigt Dir: „Hier rufst Du aktuell Modell X auf – soll ich das testen?“
- Anforderungen klären: Was ist Dir wichtiger – Genauigkeit, Geschwindigkeit, Kosten, Zuverlässigkeit der Werkzeugaufrufe? Ori Eval befragt Dich wie ein erfahrener Entwickler-Kollege.
- 5 Modelle gegeneinander testen: Ori wählt die fünf vielversprechendsten aktuellen Modelle aus, bestätigt die Auswahl mit Dir und führt dann einen umfassenden Test durch.
- Belastbare Empfehlung: Am Ende steht eine Tabelle mit harten Zahlen – und einer klaren Empfehlung mit Begründung.
Was genau wird getestet?
Ein Evaluierungslauf prüft drei Dinge:
- Richtige Werkzeuge aufgerufen? Hat der KI-Agent die Suchfunktion benutzt, aber keine Dateien gelöscht, die er nicht löschen sollte?
- Antwortqualität: Bei offenen Fragen bewertet ein zweites KI-Modell („LLM-Judge“) die Antwort nach vorher festgelegten Kriterien.
- Kosten und Geschwindigkeit: Wie teuer und wie schnell ist das Modell bei Deiner konkreten Aufgabe?
Das Besondere: Ori Eval fixiert Testumgebung und Modell für die Dauer eines Laufs. Wenn sich ein Ergebnis ändert, liegt das garantiert am Modell – nicht an einer veränderten Umgebung.
Beispiel aus der Praxis
Ein Testlauf für einen KI-Support-Agenten, der Kundenanfragen beantwortet, könnte so aussehen:
| Modell | Trefferquote | Antwortzeit | Preis pro Fall | Ergebnis |
|---|---|---|---|---|
| claude-opus-5 | 94% | 38s | $0.041 | ✅ bestanden |
| gpt-5.6-sol | 92% | 44s | $0.038 | ✅ bestanden |
| kimi-k3 | 90% | 31s | $0.019 | ✅ bestanden |
| glm-5.2 | 86% | 26s | $0.008 | ✅ bestanden |
| gemini-3-pro | 84% | 52s | $0.062 | ❌ zu teuer |
Die Empfehlung kommt mit Begründung: „Claude Opus 5 fängt die meisten Fehler. Wenn das Anfragevolumen wächst, ist Kimi K3 der bessere Kompromiss aus Preis und Leistung.“
Das kostet ein Testlauf
Ein Evaluierungslauf kostet typischerweise 10 bis 30 Dollar. Der größte Kostenfaktor ist die Analyse Deiner Codebasis – je größer das Projekt, desto teurer. OpenRouter empfiehlt, mindestens 20 Dollar Guthaben bereitzuhalten.
Jeder Bug wird zum automatischen Test
Ein besonders nützliches Feature: Du kannst Ori Eval einen Bug in Alltagssprache beschreiben – etwa: „Der Support-Agent hat eine Rückerstattung ausgelöst, ohne vorher die Bestellung zu prüfen.“ Ori Eval schreibt daraus automatisch einen Test, der beweist, dass der Bug existiert. Nach der Fehlerbehebung bestehst Du den Test erneut – und der Test bleibt dauerhaft in Deiner Suite, sodass dieser Fehler nie wieder durchrutscht.
In CI/CD einbinden: Regressionen automatisch blockieren
Ori Eval lässt sich in GitHub Actions einbinden. Es verhält sich wie ein normaler Test-Runner: Schlägt ein Test fehl, scheitert der Build. Ein Betatester lässt seine Modellvergleiche sogar monatlich automatisch laufen – wenn ein neues Modell besser abschneidet, wird automatisch ein Pull Request geöffnet. Einmal mergen, und die Anwendung profitiert vom besseren Modell, ohne dass jemand manuell testen musste.
Klartext-Winkel
Ori Eval löst kein neues Problem – es löst ein altes, das bisher zu aufwendig war. Die Frage „Welches Modell ist das beste für mich?“ konnten sich bisher nur große Tech-Firmen mit eigenen Evaluierungsteams beantworten. Alle anderen haben geraten. Ori Eval macht aus Rätselraten einen automatisierten, wiederholbaren Prozess, der in jede CI/CD-Pipeline passt.
Für Mittelständler mit KI-Einsatz – etwa einem Shopware-Shop mit KI-gestützter Produktbeschreibung oder einem Website-Chatbot – ist das ein konkreter Sparhebel: Statt monatelang das falsche Modell zu bezahlen, findet ein 20-Dollar-Testlauf in wenigen Stunden das richtige.
Für wen lohnt sich das?
- Entwicklungsteams, die bereits KI-Modelle in ihrer Anwendung nutzen und unsicher sind, ob sie das beste Modell gewählt haben
- Agenturen, die für verschiedene Kunden unterschiedliche KI-Anwendungen bauen
- SaaS-Anbieter, deren Produkt auf KI-Modellen basiert und die bei neuen Modell-Releases automatisch testen wollen
Los geht’s
Am einfachsten startest Du über Deinen Coding-Agenten:
curl -fsSL https://openrouter.ai/skills/spawn-ori-eval | bashAlternativ manuell installieren:
curl -fsSL https://openrouter.ai/labs/ori/install.sh | bash
ori loginQuelle: OpenRouter Blog – Ori Eval: Find the Best Model for What You’re Building (03.08.2026)