> ## Documentation Index
> Fetch the complete documentation index at: https://docs.coreweave.com/llms.txt
> Use this file to discover all available pages before exploring further.

# Modèles locaux

> Exécutez des modèles open source en local avec Ollama, LMStudio ou GPT4All et tracez-les avec Weave grâce à la compatibilité du SDK OpenAI.

De nombreux développeurs exécutent des modèles open source tels que Llama 3, Mixtral, Gemma et Phi sur leur propre matériel. Weave prend en charge par défaut plusieurs environnements d’exécution de modèles locaux, à condition qu’ils soient compatibles avec le SDK d’OpenAI.

Ce guide explique comment tracer avec Weave les appels vers des modèles hébergés en local, afin de capturer les entrées, les sorties et les métadonnées comme vous le feriez avec des fournisseurs de LLM hébergés. Il s’adresse aux développeurs qui exécutent des modèles open source sur leur propre machine et qui souhaitent bénéficier de l’observabilité sur ces appels.

<h2 id="wrap-local-model-functions-with-weaveop">
  Encapsuler les fonctions de modèles locaux avec `@weave.op()`
</h2>

Si votre modèle local n’est pas accessible via un environnement d’exécution compatible avec OpenAI, vous pouvez tout de même capturer les traces en encapsulant vos propres fonctions qui appellent le modèle. Pour intégrer Weave à n’importe quel LLM, initialisez Weave avec `weave.init('<your-project-name>')`, puis encapsulez les appels à vos LLM avec `weave.op()`. Pour plus de détails, consultez le [guide de traçage](/fr/products/wandb/weave/guides/tracking/tracing).

<h2 id="update-your-openai-sdk-code-to-use-local-models">
  Adapter votre code utilisant le SDK d’OpenAI aux modèles locaux
</h2>

Si votre environnement d’exécution de modèles local prend en charge le SDK d’OpenAI, deux modifications suffisent pour rediriger le client OpenAI existant vers celui-ci.

La principale modification concerne le paramètre `base_url` lors de l’initialisation de `openai.OpenAI()`. Ce paramètre indique au SDK d’OpenAI d’envoyer les requêtes à votre serveur local plutôt qu’à l’API hébergée par OpenAI.

```python lines theme={"system"}
client = openai.OpenAI(
    base_url="http://localhost:1234",
)
```

Pour les modèles locaux, `api_key` peut être n’importe quelle chaîne de caractères, mais vous devez la définir explicitement. Sinon, le SDK d’OpenAI tente de la lire dans les variables d’environnement et renvoie une erreur.

<h2 id="supported-local-model-runners">
  Environnements d’exécution de modèles locaux pris en charge
</h2>

Les environnements d’exécution suivants vous permettent de télécharger et d’exécuter sur votre ordinateur des modèles issus de Hugging Face. Chacun d’eux expose un point de terminaison compatible avec OpenAI, vers lequel vous pouvez diriger le SDK d’OpenAI grâce aux modifications précédentes.

* Nomic [GPT4All](https://www.nomic.ai/gpt4all) - prise en charge via Local Server dans les paramètres ([FAQ](https://docs.gpt4all.io/gpt4all_help/faq.html))
* [LMStudio](https://lmstudio.ai/) - prise en charge du SDK d’OpenAI par Local Server : [documentation](https://lmstudio.ai/docs/developer/core/server)
* [Ollama](https://ollama.com/) - [compatibilité avec OpenAI](https://ollama.readthedocs.io/en/openai/) pour le SDK d’OpenAI
* [llama-cpp-python](https://llama-cpp-python.readthedocs.io/en/latest/server/) - package Python permettant d’exécuter `llama.cpp` avec prise en charge du SDK d’OpenAI
* [llamafile](https://github.com/Mozilla-Ocho/llamafile#other-example-llamafiles) - `http://localhost:8080/v1` prend automatiquement en charge le SDK d’OpenAI lorsque vous exécutez Llamafile


## Related topics

- [Aperçu des intégrations](/fr/products/wandb/weave/guides/integrations.md)