Informations sur l’utilisation et les limites

Comprendre la tarification, les limites d’utilisation et les restrictions de compte pour W&B Serverless RL

​

Tarification

La tarification comporte trois composants : l’inférence, l’entraînement et le stockage. Pour connaître les tarifs de facturation applicables, consultez notre page de tarification.

​

Inférence

La tarification des requêtes d’inférence de Serverless RL est alignée sur celle de Serverless Inference. Voir les coûts propres à chaque modèle pour plus de détails. Pour en savoir plus sur l’achat de crédits, les niveaux de compte et les plafonds d’utilisation, consultez la documentation Serverless Inference.

​

Entraînement

À chaque étape d’entraînement, Serverless RL collecte des lots de trajectoires comprenant les sorties de votre agent ainsi que les récompenses associées (calculées par votre fonction de récompense). Serverless RL utilise ces trajectoires regroupées par lots pour mettre à jour les poids d’un adaptateur LoRA qui spécialise un modèle de base pour votre tâche. Les tâches d’entraînement qui mettent à jour ces LoRA s’exécutent sur des clusters GPU dédiés gérés par Serverless RL.

L’entraînement est gratuit pendant la période de préversion publique.

​

Stockage des modèles

Serverless RL stocke les points de contrôle de vos LoRA entraînés afin que vous puissiez les évaluer, les déployer ou reprendre leur entraînement à tout moment. W&B facture le stockage chaque mois en fonction de la taille totale des points de contrôle et de votre forfait tarifaire. Chaque forfait inclut au moins 5 Go de stockage gratuit, ce qui suffit pour environ 30 LoRA. Supprimez les LoRA les moins performants pour économiser de l’espace. Voir l’ART SDK pour obtenir des instructions.

​

Limites

• Limites de concurrence pour l’Inférence : Par défaut, Serverless RL prend actuellement en charge jusqu’à 2 000 requêtes simultanées par utilisateur et 6 000 par projet. Si vous dépassez votre limite de débit, l’API d’Inférence renvoie une réponse 429 Concurrency limit reached for requests. Pour éviter cette erreur, réduisez le nombre de requêtes simultanées envoyées par votre tâche d’entraînement ou votre charge de travail de production. Si vous avez besoin d’une limite de débit plus élevée, vous pouvez en faire la demande à [e-mail].

• Restrictions géographiques : Serverless RL est disponible uniquement dans les zones géographiques prises en charge. Pour plus d’informations, voir les Conditions d’utilisation.