Masquer les PII dans les traces

Cette fonctionnalité est uniquement accessible via le SDK Python.

Certaines organisations traitent des informations personnelles identifiables (PII), telles que des noms, des numéros de téléphone et des adresses e-mail, dans leurs flux de travail basés sur des grands modèles de langage (LLM). Stocker ces données dans W&B Weave présente des risques en matière de conformité et de sécurité. En supprimant ces données avant de les journaliser, vous aidez votre agent à rester conforme à des réglementations comme le RGPD et la loi HIPAA. La fonctionnalité de protection des données sensibles vous permet de masquer automatiquement les informations personnelles identifiables (PII) d’une trace avant que Weave ne l’envoie à ses serveurs. Cette fonctionnalité intègre Microsoft Presidio au SDK Python de Weave, ce qui vous permet de contrôler les paramètres de masquage au niveau du SDK. La fonctionnalité de protection des données sensibles ajoute les éléments suivants au SDK Python :

Un paramètre redact_pii, que vous pouvez activer ou désactiver dans l’appel weave.init() pour activer le masquage des PII.
Le masquage automatique des entités courantes lorsque redact_pii = True.
Des champs de masquage personnalisables grâce au paramètre configurable redact_pii_fields.
L’exclusion de certaines entités du masquage grâce au paramètre redact_pii_exclude_fields.

Activer le masquage des PII

Cette section vous guide dans l’installation des dépendances requises, l’activation du masquage des PII dans weave.init() et, si vous le souhaitez, le choix des entités que Weave masque. Pour commencer à utiliser la fonctionnalité de protection des données sensibles dans Weave, procédez comme suit :

Installez les dépendances requises :

pip install presidio-analyzer presidio-anonymizer

Modifiez votre appel à weave.init() pour activer le masquage. Lorsque redact_pii=True, Weave masque par défaut les entités courantes :
import weave weave.init("my-project", settings={"redact_pii": True})
Facultatif : personnalisez les champs à masquer avec le paramètre redact_pii_fields :
weave.init("my-project", settings={"redact_pii": True, "redact_pii_fields":["CREDIT_CARD", "US_SSN"]})
Pour obtenir la liste complète des entités pouvant être détectées et masquées, consultez PII entities supported by Presidio.
Facultatif : excluez certaines entités du masquage avec le paramètre redact_pii_exclude_fields. Cette option est utile lorsque vous souhaitez conserver le masquage par défaut tout en épargnant certains types d’entités. L’exemple suivant montre comment masquer toutes les entités par défaut, à l’exception de EMAIL_ADDRESS et PERSON :
weave.init("my-project", settings={"redact_pii": True, "redact_pii_exclude_fields":["EMAIL_ADDRESS", "PERSON"]})

Une fois ces étapes terminées, Weave masque les entités PII configurées dans les traces avant de les envoyer aux serveurs Weave.

Entités masquées par défaut

Cette section répertorie les types d’entités PII que Weave masque automatiquement lorsque vous activez le masquage des PII sans préciser redact_pii_fields. Lorsque le masquage des PII est activé, Weave masque automatiquement les entités suivantes :

CREDIT_CARD
CRYPTO
EMAIL_ADDRESS
ES_NIF
FI_PERSONAL_IDENTITY_CODE
IBAN_CODE
IN_AADHAAR
IN_PAN
IP_ADDRESS
LOCATION
PERSON
PHONE_NUMBER
UK_NHS
UK_NINO
US_BANK_NUMBER
US_DRIVER_LICENSE
US_PASSPORT
US_SSN

Masquer les clés sensibles avec `REDACT_KEYS`

En plus du masquage des PII, le SDK Weave prend en charge le masquage de clés personnalisées avec REDACT_KEYS. Cette fonctionnalité est utile pour protéger d’autres données sensibles qui ne relèvent pas forcément de la catégorie des PII, mais qui doivent rester privées. Par exemple :

Clés API
En-têtes d’authentification
Jetons
ID internes
Valeurs de configuration

Clés `REDACT_KEYS` prédéfinies

Par défaut, Weave masque automatiquement les clés sensibles suivantes :

[
  "api_key",
  "auth_headers",
  "authorization"
]

Ajouter vos propres clés

Si votre application utilise d’autres noms de champs contenant des valeurs sensibles, vous pouvez étendre la liste REDACT_KEYS par défaut. Ajoutez les clés personnalisées que vous souhaitez masquer dans les traces :

import weave
from weave.utils import sanitize

client = weave.init("my-project", settings={"redact_pii": True})

# Ajouter des clés personnalisées à masquer
sanitize.add_redact_key("client_id")
sanitize.add_redact_key("token")

client_id = "123"
token = "789"

@weave.op
def test(client_id, token):
    return client_id + token

test(client_id, token)

Lorsque vous les consultez dans l’interface utilisateur de Weights & Biases, les valeurs de client_id et de token s’affichent sous la forme "REDACTED" :

client_id = "REDACTED"
token = "REDACTED"

Informations d’utilisation

Cette fonctionnalité n’est disponible que dans le SDK Python.
L’activation du masquage allonge le temps de traitement en raison de la dépendance à Presidio.

​Activer le masquage des PII

​Entités masquées par défaut

​Masquer les clés sensibles avec REDACT_KEYS

​Clés REDACT_KEYS prédéfinies

​Ajouter vos propres clés

​Informations d’utilisation

Activer le masquage des PII

Entités masquées par défaut

Masquer les clés sensibles avec `REDACT_KEYS`

Clés `REDACT_KEYS` prédéfinies

Ajouter vos propres clés

Informations d’utilisation