De nombreux développeurs exécutent des modèles open source tels que Llama 3, Mixtral, Gemma et Phi sur leur propre matériel. Weave prend en charge par défaut plusieurs environnements d’exécution de modèles locaux, à condition qu’ils soient compatibles avec le SDK d’OpenAI.
Ce guide explique comment tracer avec Weave les appels vers des modèles hébergés en local, afin de capturer les entrées, les sorties et les métadonnées comme vous le feriez avec des fournisseurs de LLM hébergés. Il s’adresse aux développeurs qui exécutent des modèles open source sur leur propre machine et qui souhaitent bénéficier de l’observabilité sur ces appels.
Encapsuler les fonctions de modèles locaux avec @weave.op()
Si votre modèle local n’est pas accessible via un environnement d’exécution compatible avec OpenAI, vous pouvez tout de même capturer les traces en encapsulant vos propres fonctions qui appellent le modèle. Pour intégrer Weave à n’importe quel LLM, initialisez Weave avec weave.init('<your-project-name>'), puis encapsulez les appels à vos LLM avec weave.op(). Pour plus de détails, consultez le guide de traçage.
Adapter votre code utilisant le SDK d’OpenAI aux modèles locaux
Si votre environnement d’exécution de modèles local prend en charge le SDK d’OpenAI, deux modifications suffisent pour rediriger le client OpenAI existant vers celui-ci.
La principale modification concerne le paramètre base_url lors de l’initialisation de openai.OpenAI(). Ce paramètre indique au SDK d’OpenAI d’envoyer les requêtes à votre serveur local plutôt qu’à l’API hébergée par OpenAI.
Pour les modèles locaux, api_key peut être n’importe quelle chaîne de caractères, mais vous devez la définir explicitement. Sinon, le SDK d’OpenAI tente de la lire dans les variables d’environnement et renvoie une erreur.
Environnements d’exécution de modèles locaux pris en charge
Les environnements d’exécution suivants vous permettent de télécharger et d’exécuter sur votre ordinateur des modèles issus de Hugging Face. Chacun d’eux expose un point de terminaison compatible avec OpenAI, vers lequel vous pouvez diriger le SDK d’OpenAI grâce aux modifications précédentes.
Dernière modification le 30 septembre 2026
