Clarifier la tâche et la décision
Ce guide transforme l'évaluation des fournisseurs d'IA externes en un flux de travail opérationnel révisable. Il relie les décisions de domaine, la propriété, les preuves et l'acceptation afin que le résultat continue de fonctionner en production.
Cartographiez le flux de données complet, l'utilisation de la formation, les transferts, les journaux, les contrôles de modification et le chemin de sortie avant d'approuver un fournisseur.
Méthode pratique
- 1
Dessinez le flux de données depuis la collecte jusqu'au traitement, aux journaux, au cache, à la prise en charge, à la sauvegarde et à la suppression.
- 2
Classez chaque catégorie de données et reliez-la à l’objectif, au rôle juridique, à l’emplacement, au destinataire et à la conservation.
- 3
Demandez des preuves d’architecture, contractuelles, opérationnelles et de test pour chaque réclamation importante.
- 4
Évaluez les risques et enregistrez les contrôles requis, les propriétaires, les preuves d’acceptation et les risques résiduels.
- 5
Approuvez uniquement la configuration documentée, puis surveillez les sous-traitants, les incidents, les modifications et les preuves de suppression.
Exemple ou outil
Un score de risque pondéré transforme les réponses et les preuves du fournisseur en condition d'approbation. Dans l'outil, enregistrez également la référence, le propriétaire, la décision, les preuves, le problème en suspens et la date d'approbation. Utilisez une page ou une transaction réelle pour que l'équipe voie les dépendances, les exceptions et le travail de maintenance qui suit la publication.
| Point de décision | Enregistrer | Critère d'acceptation |
|---|---|---|
| Référence | État actuel observé | Source et date d'enregistrement |
| Décision | Option sélectionnée et justification | Risque et public pris en compte |
| Preuve | Tester, documenter ou mesurer | Révisable et spécifique à la version |
| Approbation | Nom, rôle et date | Tous les critères obligatoires sont remplis |
Cartographier les données, l'objectif et le comportement du fournisseur
Décrire les entrées, pièces jointes, sorties, métadonnées, identifiants d'utilisateur et enregistrements administratifs représentatifs. Suivez-les via l'inférence, le filtrage, la journalisation, la prise en charge, l'évaluation et la suppression. Un diagramme doit distinguer la configuration contrôlée par le client des valeurs par défaut du fournisseur.
Demandez si un contenu est utilisé à des fins de formation, d'examen humain, de détection d'abus, d'analyse comparative ou d'amélioration du modèle. Enregistrez la réponse pour chaque niveau de produit et fonctionnalité, car les points de terminaison d'entreprise, les interfaces grand public, les outils de commentaires facultatifs et les fonctions de prévisualisation suivent souvent des règles différentes.
Testez des scénarios de saisie ordinaires, sensibles et accidentels.
Identifiez chaque enregistrement dérivé et destinataire.
Vérifiez les paramètres de formation et de révision dans le contrat et la console.
Enregistrez la version du produit, le plan, la région et la date d'évaluation.
Vérifier les transferts et l'accès à distance
Répertoriez les pays de traitement et d'accès pour le service principal, les sous-traitants, le support, les opérations de sécurité, les sauvegardes et la reprise après sinistre. Évaluez les mécanismes de transfert et les mesures supplémentaires par rapport au modèle réel de données et d’accès plutôt que d’accepter une déclaration de confidentialité globale.
L'assistance à distance peut créer un transfert même lorsque le stockage reste local. Exigez des contrôles de rôle, une approbation, des délais, une journalisation et une notification client pour un accès exceptionnel. Déterminez qui détient les clés de chiffrement et si le fournisseur peut divulguer du contenu lisible.
- 1
Réconciliez les revendications de localisation avec les preuves d'architecture et de sous-traitant secondaire.
- 2
Examinez les informations sur l’accès et la transparence du gouvernement.
- 3
Testez si l’accès à l’assistance peut être restreint à une région.
- 4
Documenter les exceptions approuvées et les contrôles compensatoires.
Noter le risque opérationnel et le risque de changement
Utilisez des scores distincts pour la sensibilité des données, la criticité du service, la maturité du contrôle des fournisseurs, l'exposition au transfert, le verrouillage et la qualité des preuves. Conservez les exigences obligatoires comme portes d’entrée, puisqu’une moyenne élevée ne doit pas compenser une utilisation interdite de la formation ou un lieu de traitement inacceptable.
Évaluez les modifications du modèle, la dérive de sortie, la disponibilité, les limites de débit, les modifications de modération et la dépréciation. Exigez des délais de préavis, l'épinglage de version le cas échéant, une évaluation avant les mises à niveau, une capacité d'exportation et un plan de sortie couvrant les invites, les glossaires, les journaux et les intégrations.
Définissez les étapes de réussite et d'échec avant d'examiner les fournisseurs.
Évaluez la qualité des preuves, pas la qualité de la présentation.
Testez une charge de travail et des modes de défaillance représentatifs.
Évaluez et répétez un chemin de remplacement crédible.
Approuver un cas d'utilisation limité et le surveiller
L'approbation doit indiquer les données autorisées, les utilisateurs, les fonctions, les intégrations, les régions, la conservation et les paramètres requis. Convertissez les conditions en contrôles d’accès, prévention des pertes de données, conseils aux utilisateurs, surveillance et obligations contractuelles. L'approbation générale d'un nom de marque ne constitue pas un contrôle utilisable.
Surveillez les notifications des sous-traitants, les modifications de politique, les événements de sécurité, les versions de modèle, les dépenses, les modèles de données et la qualité des résultats. Réévaluer après un changement important et à intervalle fixe. Conservez un ensemble de preuves à jour afin que la gouvernance puisse expliquer pourquoi le service reste acceptable.
- 1
Publiez la limite d’utilisation autorisée dans un langage opérationnel clair.
- 2
Appliquez les paramètres requis via l’administration centrale.
- 3
Passez en revue les alertes et les changements de fournisseurs avec les propriétaires nommés.
- 4
Suspendre les utilisations concernées lorsqu'une condition obligatoire échoue.
Testez le service par rapport à un pack d'évaluation contrôlé
Créez un pack d'évaluation à partir de tâches représentatives avant de choisir un fournisseur. Incluez le contenu ordinaire, les cas limites sensibles, les documents longs, les tableaux, les instructions contradictoires, les exigences terminologiques, les demandes non prises en charge et les tentatives de divulgation d'informations sur le système ou les clients. Définissez le comportement attendu, le comportement inacceptable, les conseils de l'évaluateur et un niveau de gravité pour chaque cas. Exécutez le même pack avec le niveau de produit exact, la région, la version du modèle, la configuration de sécurité et le modèle d'intégration proposés pour la production.
Capturez les demandes complètes, les réponses, les horodatages, les paramètres, la latence, l'utilisation de jetons ou de caractères, le comportement de refus, les citations et les scores des évaluateurs. Répétez un échantillon pour observer la variation. Un prestataire ne devrait pas recevoir un score élevé parce qu’une réponse soigneusement sélectionnée semble bonne. Mesurez la cohérence, les efforts de correction, la détectabilité des pannes et si les journaux contiennent des éléments qui, selon la politique, ne seraient pas conservés.
Traitez l’évaluation comme un contrôle maintenu. Réexécutez les cas critiques après des modifications de modèle, d'invite, de filtre, de région ou de fournisseur et comparez-les avec la référence approuvée. Définissez des conditions d’arrêt en cas de défaillances graves en matière de confidentialité, de sécurité, factuelles ou de discrimination. Protégez les données d'évaluation, car elles peuvent contenir des scénarios sensibles réalistes, et séparez-les du matériel que le fournisseur peut utiliser pour améliorer le produit.
Utilisez exactement le produit, le modèle, la région et les paramètres contractés.
Définissez les comportements attendus et interdits avant de consulter les résultats.
Mesurez la cohérence, les efforts de correction, la journalisation et les coûts opérationnels.
Réexécutez les cas critiques après chaque changement de service important.
Rôles, preuves et approbation
Les examens de sécurité et de confidentialité doivent décrire la configuration de production plutôt qu'un fournisseur générique. Enregistrez le service exact, la région, les indicateurs de fonctionnalités, la télémétrie facultative, l'accès au support, les sous-traitants, les limites de chiffrement, les paramètres de conservation et les responsabilités du client. Réévaluez après des changements d’architecture matérielle, de contrat, de fournisseur ou d’objectif et gardez la décision liée aux preuves examinées.
Opérations et entretien
Le travail ne s'arrête pas à la publication. Liez la version linguistique ou la configuration à sa source, surveillez les mesures de qualité et de service et définissez des déclencheurs de révision concrets. Les déclencheurs incluent les changements de source, les changements juridiques, les nouveaux besoins du public, les questions d'assistance récurrentes, les changements techniques et les incidents. Un propriétaire nommé évalue le déclencheur, ouvre une nouvelle révision si nécessaire et enregistre une nouvelle approbation.
Liste de contrôle avant publication
Le cheminement complet du traitement est documenté.
Les rôles du contrôleur et du sous-traitant sont convenus.
Les emplacements et les sous-traitants ultérieurs sont mis en évidence.
La formation et l’utilisation secondaire sont explicitement abordées.
Les contrôles d’accès, de chiffrement, de journalisation et d’incidents sont vérifiés.
La conservation et la suppression sont définies par catégorie de données.
Les transferts internationaux et les garanties sont documentés.
Les modifications, les audits, la sortie et la propriété des preuves sont attribués.