Un seul nom devant chaque modèle que vous exploitez.
Une route est une décision, pas un modèle. Un client demande dynamic/support, et les règles que vous posez décident quel modèle répond à cet appel précis.
- Appelée comme dynamic/nom
- Aucun changement côté client
- Déployée avec un historique de versions
Une décision dessinée, pas codée
Une route est un graphe de quelques étapes: une condition, une répartition, un plafond, un modèle, un refus. Elle est stockée comme donnée et vérifiée avant d'être enregistrée, donc c'est un formulaire que l'on remplit plutôt qu'un langage d'expressions à apprendre.
Des conditions sur ce que l'appel porte déjà
La clé, la personne, la finalité déclarée, le modèle demandé, la longueur de la requête, la longueur du dernier message, la présence d'images, et le nombre d'appels par seconde de cette clé, de cette personne et de cette organisation. Rien que seule la réponse pourrait vous apprendre.
Des plafonds qui orientent au lieu de refuser
Une limite de cadence et une limite de budget ont chacune deux sorties: dans la limite et au dessus. Le trafic qui dépasse part vers le modèle le moins cher, ou vers un refus écrit dans la route, plutôt que de dépenser ce que personne n'avait prévu.
Un repli, et un moyen de l'essayer
Chaque modèle d'une route a une branche pour le cas où il échoue, donc le refus d'un fournisseur ne met pas fin à l'appel. Et dynamic/beta/nom exécute le graphe encore en cours d'édition sur du trafic réel venu d'un client de préproduction, avant que quiconque le mette devant tout le monde.
Détail opérationnel
- La réponse nomme la route empruntée et le chemin suivi, dans ses propres en têtes
- Seuls les modèles activés par cette organisation peuvent être placés dans une route
- Un refus revient dans la forme d'erreur standard, avec le statut, la phrase et le code choisis par l'auteur
- Chaque déploiement est une version, et une version antérieure peut être restaurée
- Une route retirée des listes de modèles continue de répondre aux intégrations qui l'appellent déjà
Ce que votre équipe reçoit
Cinq parties, un compte, un seul jeu de permissions.
Chat et Fusion
Interrogez plusieurs modèles à la fois, à partir de vos propres documents, avec des citations que vous pouvez ouvrir.
Agents
Des automatisations qui font le travail, demandent avant toute étape irréversible et laissent une trace.
Connaissances
Vos documents, cherchés par le sens, avec un accès accordé par base et par groupe.
Code et données
Des fonctions, une base de documents et des sites hébergés, sans quitter la plateforme.
API
Un point de terminaison compatible OpenAI, avec un budget par clé et un reçu par appel.
Essayez d'abord sur une seule clé
Pointez un client de préproduction vers l'adresse du brouillon, lisez le chemin que la réponse indique, puis déployez.