Ein Name vor jedem Modell, das Sie betreiben.

Eine Route ist eine Entscheidung und kein Modell. Ein Client fragt dynamic/support an, und Regeln, die Sie setzen, entscheiden, welches Modell genau diesen Aufruf beantwortet.

  • Aufgerufen als dynamic/Name
  • Keine Änderung im Client
  • Ausgerollt mit Versionsverlauf
truefalsewithinexceededon_errorjeder Aufruf wennprompt_tokens > 8000 Rate pro Schlüssel600 / min das starke Modellglm5.2 das günstige Modellgemma-4-26b Ablehnung429
  1. Eine gezeichnete Entscheidung, keine programmierte

    Eine Route ist ein Graph aus wenigen Schritten: eine Bedingung, eine Aufteilung, eine Obergrenze, ein Modell, eine Ablehnung. Sie liegt als Daten vor und wird vor dem Speichern geprüft, deshalb ist sie ein Formular zum Ausfüllen und keine Ausdruckssprache zum Lernen.

  2. Bedingungen auf dem, was der Aufruf schon mitbringt

    Der Schlüssel, die Person, der angegebene Zweck, das angefragte Modell, die Länge der Eingabe, die Länge der letzten Nachricht, ob Bilder dabei sind, und wie viele Aufrufe pro Sekunde dieser Schlüssel, diese Person und diese Organisation absetzen. Nichts, was erst die Antwort verraten könnte.

  3. Obergrenzen, die lenken statt abzulehnen

    Ein Ratenlimit und ein Budgetlimit haben je zwei Ausgänge: innerhalb und überschritten. Verkehr über der Grenze geht an das günstigere Modell oder an eine in der Route hinterlegte Ablehnung, statt auszugeben, was niemand eingeplant hatte.

  4. Ein Rückfall, und ein Weg, ihn zu erproben

    Jedes Modell in einer Route hat einen Zweig für den Fehlerfall, deshalb beendet die Ablehnung eines Anbieters den Aufruf nicht. Und dynamic/beta/Name führt den noch bearbeiteten Graphen an echtem Verkehr aus einem Staging-Client aus, bevor ihn jemand vor alle stellt.

Betriebliche Details

  • Die Antwort nennt in eigenen Kopfzeilen die genommene Route und den Weg durch sie
  • In eine Route lassen sich nur Modelle stellen, die diese Organisation freigeschaltet hat
  • Eine Ablehnung kommt in der üblichen Fehlerform zurück, mit Status, Satz und Code nach Wahl der Autorin
  • Jedes Ausrollen ist eine Version, und eine frühere lässt sich wiederherstellen
  • Eine von den Modellisten genommene Route beantwortet weiterhin die Integrationen, die sie bereits aufrufen

Probieren Sie es zuerst an einem Schlüssel

Richten Sie einen Staging-Client auf die Entwurfsadresse, lesen Sie den Weg, den die Antwort meldet, und rollen Sie dann aus.