Utiliser votre propre adaptateur LoRA

Cette page explique comment servir vos propres adaptateurs LoRA personnalisés sur Serverless Inference. Elle s’adresse aux développeurs et aux professionnels du ML qui souhaitent déployer des variantes affinées de modèles de base pris en charge sans avoir à gérer d’infrastructure. LoRA (Low-Rank Adaptation) vous permet de personnaliser de grands modèles de langage en n’entraînant et en ne stockant qu’un module complémentaire léger, plutôt qu’un nouveau modèle complet. La personnalisation s’en trouve allégée et moins coûteuse. Vous pouvez entraîner ou téléverser un LoRA pour doter un modèle de base de nouvelles capacités, par exemple pour le spécialiser dans l’assistance client, l’écriture créative ou un domaine technique précis. Vous adaptez ainsi le comportement du modèle sans avoir à le réentraîner ni à le redéployer entièrement.

Pourquoi utiliser Serverless Inference pour les LoRA

Serverless Inference pour les LoRA offre les avantages suivants :

Téléversez une seule fois, puis déployez sans avoir à gérer de serveurs.
Suivez la version en production grâce à la gestion des versions des artifacts.
Mettez à jour vos modèles en remplaçant de petits fichiers LoRA plutôt que l’intégralité des poids du modèle.

Flux de travail

Dans les grandes lignes, la mise à disposition d’un LoRA personnalisé se déroule en trois étapes :

Téléversez vos poids LoRA sous forme d’artifact Weights & Biases.
Indiquez l’URI de l’artifact comme nom de modèle dans l’API.
CoreWeave charge dynamiquement vos poids pour l’inférence.

L’exemple suivant montre comment appeler votre modèle LoRA personnalisé avec Serverless Inference. Remplacez les valeurs fictives par votre propre clé API, votre équipe et votre projet. Les sections suivantes expliquent comment téléverser ou entraîner le LoRA utilisé ici.

from openai import OpenAI

model_name = "wandb-artifact:///[YOUR-TEAM]/[YOUR-PROJECT]/qwen_lora:latest"

client = OpenAI(
    base_url="https://api.inference.wandb.ai/v1",
    api_key="[YOUR-API-KEY]",
    project="[YOUR-TEAM]/[YOUR-PROJECT]",
)

resp = client.chat.completions.create(
    model=model_name,
    messages=[{"role": "user", "content": "Say 'Hello World!'"}],
)
print(resp.choices[0].message.content)

Consultez ce notebook de prise en main pour une démonstration interactive de la création d’un LoRA et de son téléversement dans Weights & Biases en tant qu’artifact.

Prérequis

Vous devez disposer des éléments suivants :

Une clé API CoreWeave Forge.
Un projet Weights & Biases.
Python 3.8 ou version ultérieure avec les packages openai et wandb : pip install wandb openai.

Ajouter et utiliser des LoRA

Vous pouvez ajouter des LoRA à votre compte CoreWeave Forge et commencer à les utiliser selon l’une des méthodes suivantes. Choisissez l’onglet correspondant à l’endroit où votre LoRA a été entraîné :

Téléverser un LoRA entraîné ailleurs
Entraîner un nouveau LoRA avec Serverless RL
Entraîner un nouveau LoRA par fine-tuning supervisé

Téléversez votre propre répertoire de LoRA personnalisé en tant qu’artifact Weights & Biases. Utilisez cette méthode si vous avez entraîné votre LoRA ailleurs (environnement local, fournisseur de cloud ou service partenaire).Ce code Python téléverse vos poids LoRA stockés localement vers Weights & Biases sous forme d’artifact versionné. Il crée un artifact de type lora avec les métadonnées requises (modèle de base et région de stockage), y ajoute vos fichiers LoRA depuis un répertoire local, puis le journalise dans votre projet Weights & Biases pour l’utiliser en inférence.

import wandb

run = wandb.init(entity="[YOUR-TEAM]", project="[YOUR-PROJECT]")

artifact = wandb.Artifact(
    "qwen_lora",
    type="lora",
    metadata={"wandb.base_model": "OpenPipe/Qwen3-14B-Instruct"},
    storage_region="coreweave-us",
)

artifact.add_dir("[PATH-TO-LORA-WEIGHTS]")
run.log_artifact(artifact)

Exigences clés pour utiliser un LoRA existant

Pour utiliser vos propres LoRA avec Serverless Inference, assurez-vous des points suivants :

Le LoRA doit avoir été entraîné à partir de l’un des modèles répertoriés dans la section Modèles de base pris en charge.
Le rang LoRA ne doit pas dépasser la valeur Rang LoRA maximal indiquée pour son modèle de base dans le tableau Modèles de base pris en charge.
Le LoRA doit être enregistré au format PEFT en tant qu’artifact de type lora dans votre compte CoreWeave Forge.
Le LoRA doit être stocké dans storage_region="coreweave-us" afin de garantir une faible latence.
Lors du téléversement, indiquez le nom du modèle de base sur lequel vous l’avez entraîné (par exemple, meta-llama/Llama-3.1-8B-Instruct). Serverless Inference pourra ainsi le charger avec le bon modèle.

Une fois votre LoRA ajouté à votre projet en tant qu’artifact, quelle que soit la méthode utilisée, vous pouvez le référencer depuis n’importe quel appel d’inférence en transmettant son URI comme nom de modèle :

# Une fois l’entraînement terminé, utilisez directement votre artifact
model_name = "wandb-artifact:///[YOUR-TEAM]/[YOUR-PROJECT]/your_trained_lora:latest"

Modèles de base pris en charge

Votre LoRA doit avoir été entraîné à partir de l’un des modèles de base suivants. Lorsque vous définissez wandb.base_model, utilisez la chaîne exacte de l’ID du modèle afin que Serverless Inference puisse associer votre adaptateur au bon modèle de base lors de l’inférence. La colonne Rang LoRA maximal indique la taille maximale des adaptateurs que Serverless Inference peut charger pour chaque modèle de base. Il s’agit d’une limite qui s’applique aux adaptateurs que vous entraînez ailleurs puis téléversez, et non d’un paramètre d’entraînement. Les adaptateurs issus de Serverless SFT et de Serverless RL utilisent un rang fixe qui respecte toujours cette limite. Voir Rang et alpha LoRA.

ID du modèle (à utiliser avec l’API)	Rang LoRA maximal
`google/gemma-4-26B-A4B-it`	16
`meta-llama/Llama-3.1-8B-Instruct`	16
`nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B`	16
`Qwen/Qwen3.8-27B`	16
`Qwen/Qwen3.6-35B-A3B`	16

Tarification

Vous ne payez que le stockage et l’inférence que vous exécutez, et non des serveurs actifs en permanence ou des instances GPU dédiées. La tarification comprend deux composants :

Stockage : le stockage de vos poids LoRA vous est facturé.
Utilisation de Serverless Inference : les appels qui utilisent des artifacts LoRA sont facturés aux mêmes tarifs que l’inférence de modèle standard.

Paramètres de réponse

Tutoriels

Référence de l’API

Utiliser votre propre adaptateur LoRA

Pourquoi utiliser Serverless Inference pour les LoRA

Flux de travail

Prérequis

Ajouter et utiliser des LoRA

Exigences clés pour utiliser un LoRA existant

Modèles de base pris en charge

Tarification

​Pourquoi utiliser Serverless Inference pour les LoRA

​Flux de travail

​Prérequis

​Ajouter et utiliser des LoRA

​Exigences clés pour utiliser un LoRA existant

​Modèles de base pris en charge

​Tarification

Pourquoi utiliser Serverless Inference pour les LoRA

Flux de travail

Prérequis

Ajouter et utiliser des LoRA

Exigences clés pour utiliser un LoRA existant

Modèles de base pris en charge

Tarification