OpenAI-kompatibel, mit angeschlossener Buchhaltung.

Richten Sie Ihren vorhandenen Client auf den Endpunkt, ändern Sie Basis-URL und Schlüssel und lassen Sie den Rest Ihres Codes stehen.

  • Ohne Umbau kompatibel
  • Budget je Schlüssel
  • Kosten je Aufruf festgehalten
  1. Ihre Namen für Ihre Modelle

    Ein Deployment bildet den Namen, den Sie verwenden, auf einen Anbieter und ein Modell dahinter ab. Zu wechseln, was hinter dem Namen steht, ist eine Verwaltungsänderung und kein Release.

  2. Ein Schlüssel, der nicht mit der Rechnung davonläuft

    Jeder Schlüssel trägt sein eigenes Budget. Ist die Obergrenze erreicht, wird die Anfrage in der üblichen Fehlerform abgelehnt, mit dem Grund darin.

  3. Geld reserviert, bevor die Anfrage hinausgeht

    Die Plattform hält die schlimmstenfalls anfallenden Kosten eines Aufrufs zurück, bevor er nach oben geht, und rechnet den echten Betrag danach ab, deshalb kann paralleler Verkehr das Guthaben nicht überziehen.

  4. Ein Eintrag, den Sie abstimmen können

    Jeder Aufruf wird mit seinen Tokens, seinen Kosten, dem Schlüssel, der ihn abgesetzt hat, und der Person oder dem Agenten dahinter in die Spur geschrieben.

Betriebliche Details

  • Übliche Fehlerformen, deshalb kommen bestehende Clients mit Ablehnungen zurecht
  • Auch Antworten im Datenstrom melden den Verbrauch
  • Schlüssel werden als Hashes gespeichert und einmal angezeigt
  • Ausgabengrenzen je Organisation und je Schlüssel, in der Konsole gesetzt

Ändern Sie zwei Zeilen und probieren Sie es

Die Basis-URL und den Schlüssel. Alles andere in Ihrem Client bleibt, wo es ist.