Ujasnite si úlohu a rozhodnutie
Táto príručka premení hodnotenie externého poskytovateľa AI na prehľadný prevádzkový pracovný postup. Spája rozhodnutia o doméne, vlastníctvo, dôkazy a akceptovanie, takže výsledok naďalej funguje vo výrobe.
Pred schválením poskytovateľa zmapujte kompletný tok údajov, využitie školení, prenosy, protokoly, ovládacie prvky zmien a výstupnú cestu.
Praktický postup
- 1
Nakreslite tok údajov od zberu cez spracovanie, protokoly, vyrovnávaciu pamäť, podporu, zálohovanie a odstraňovanie.
- 2
Klasifikujte každú kategóriu údajov a pripojte ju k účelu, právnej úlohe, umiestneniu, príjemcovi a uchovávaniu.
- 3
Požiadajte o architektúru, zmluvné, prevádzkové a testovacie dôkazy pre každý materiálny nárok.
- 4
Vyhodnoťte riziko a zaznamenajte požadované kontroly, vlastníkov, dôkazy o akceptácii a zvyškové riziko.
- 5
Schváľte iba zdokumentovanú konfiguráciu a potom monitorujte podprocesorov, incidenty, zmeny a dôkazy o vymazaní.
Príklad alebo nástroj
Skóre váženého rizika premení odpovede a dôkazy poskytovateľa na podmienku schválenia. V nástroji tiež zaznamenajte základnú líniu, vlastníka, rozhodnutie, dôkazy, otvorený problém a dátum schválenia. Použite skutočnú stránku alebo transakciu, aby tím videl závislosti, výnimky a údržbu, ktorá nasleduje po vydaní.
| Rozhodovací bod | Záznam | Akceptačné kritérium |
|---|---|---|
| Základná línia | Pozorovaný aktuálny stav | Zdroj a dátum zaznamenania |
| rozhodnutie | Vybraná možnosť a zdôvodnenie | Zvážte riziko a publikum |
| Dôkazy | Testujte, dokumentujte alebo merajte | Kontrolovateľné a špecifické pre verziu |
| Schválenie | Meno, rola a dátum | Splnené všetky povinné kritériá |
Mapové údaje, účel a správanie poskytovateľa
Popíšte reprezentatívne vstupy, prílohy, výstupy, metadáta, identifikátory používateľov a administratívne záznamy. Sledujte ich prostredníctvom odvodzovania, filtrovania, protokolovania, podpory, hodnotenia a odstraňovania. Diagram by mal odlíšiť konfiguráciu riadenú zákazníkom od predvolených nastavení poskytovateľa.
Opýtajte sa, či sa nejaký obsah používa na školenie, kontrolu človekom, zisťovanie zneužitia, porovnávanie alebo zlepšovanie modelov. Zaznamenajte si odpoveď pre každú vrstvu a funkciu produktu, pretože podnikové koncové body, spotrebiteľské rozhrania, voliteľné nástroje spätnej väzby a funkcie náhľadu sa často riadia odlišnými pravidlami.
Otestujte scenáre bežného, citlivého a náhodného vstupu.
Identifikujte každý odvodený záznam a príjemcu.
Overte školenie a skontrolujte nastavenia v zmluve a konzole.
Zaznamenajte verziu produktu, plán, región a dátum hodnotenia.
Overte prenosy a vzdialený prístup
Uveďte krajiny spracovania a prístupu pre primárnu službu, podprocesory, podporu, bezpečnostné operácie, zálohy a obnovu po havárii. Posúďte prenosové mechanizmy a doplňujúce opatrenia oproti skutočným údajom a modelu prístupu namiesto prijatia globálneho vyhlásenia o ochrane osobných údajov.
Vzdialená podpora môže vytvoriť prenos, aj keď úložisko zostáva lokálne. Vyžadovať ovládanie rolí, schválenie, časové limity, protokolovanie a upozornenia zákazníkov pre výnimočný prístup. Zistite, kto je držiteľom šifrovacích kľúčov a či poskytovateľ môže zverejniť čitateľný obsah.
- 1
Zosúladiť nároky na umiestnenie s architektúrou a dôkazmi podprocesora.
- 2
Skontrolujte informácie o prístupe vlády a transparentnosti.
- 3
Otestujte, či môže byť prístup k podpore obmedzený na región.
- 4
Zdokumentujte schválené výnimky a kompenzačné kontroly.
Skóre prevádzkového rizika a rizika zmeny
Použite samostatné skóre pre citlivosť údajov, kritickosť služieb, zrelosť kontroly dodávateľa, vystavenie sa prenosu, uzamknutie a kvalitu dôkazov. Zachovajte povinné požiadavky ako brány, pretože silný priemer nesmie kompenzovať zakázané školiace použitie alebo neprijateľné miesto spracovania.
Vyhodnoťte zmeny modelu, výstupný posun, dostupnosť, limity sadzieb, zmeny moderovania a ukončenie podpory. Vyžadovať lehoty na upozornenia, pripnutie verzie, ak je k dispozícii, vyhodnotenie pred aktualizáciou, možnosť exportu a plán ukončenia, ktorý zahŕňa výzvy, slovníky, protokoly a integrácie.
Pred kontrolou dodávateľov definujte brány pass-fail.
Kvalita dôkazu o hmotnosti, nie kvalita prezentácie.
Otestujte reprezentatívne pracovné zaťaženie a režimy zlyhania.
Náklady a nacvičenie dôveryhodnej náhradnej cesty.
Schváľte ohraničený prípad použitia a monitorujte ho
Schválenie by malo obsahovať povolené údaje, používateľov, funkcie, integrácie, oblasti, uchovávanie a požadované nastavenia. Premeňte podmienky na riadenie prístupu, prevenciu straty údajov, pokyny pre používateľov, monitorovanie a zmluvné záväzky. Široké schválenie názvu značky nie je použiteľná kontrola.
Monitorujte upozornenia podprocesora, zmeny politiky, udalosti zabezpečenia, vydania modelov, výdavky, vzory údajov a kvalitu výstupu. Prehodnoťte po zmene materiálu a v pevnom intervale. Udržujte aktuálny balík dôkazov, aby mohla správa vysvetliť, prečo je služba naďalej prijateľná.
- 1
Zverejnite hranicu povoleného použitia v jednoduchom prevádzkovom jazyku.
- 2
Aplikujte požadované nastavenia prostredníctvom centrálnej správy.
- 3
Skontrolujte upozornenia a zmeny dodávateľov s menovanými vlastníkmi.
- 4
Pozastavte ovplyvnené použitia, keď povinná podmienka zlyhá.
Otestujte službu oproti balíku kontrolovaného hodnotenia
Pred výberom poskytovateľa vytvorte hodnotiaci balík z reprezentatívnych úloh. Zahrňte bežný obsah, citlivé hraničné prípady, dlhé dokumenty, tabuľky, protichodné pokyny, terminologické požiadavky, nepodporované požiadavky a pokusy o odhalenie systémových alebo zákazníckych informácií. Definujte očakávané správanie, neprijateľné správanie, usmernenie recenzenta a úroveň závažnosti pre každý prípad. Spustite rovnaký balík s presnou produktovou vrstvou, regiónom, verziou modelu, bezpečnostnou konfiguráciou a integračným vzorom navrhnutým pre produkciu.
Zachyťte úplné požiadavky, odpovede, časové pečiatky, nastavenia, latenciu, použitie tokenov alebo znakov, odmietavé správanie, citácie a skóre recenzentov. Zopakujte vzorku, aby ste pozorovali odchýlky. Poskytovateľ by nemal dostať vysoké skóre, pretože jedna starostlivo vybraná odpoveď vyzerá dobre. Zmerajte konzistentnosť, úsilie o nápravu, zistiteľnosť zlyhania a to, či protokoly obsahujú materiál, o ktorom sa podľa zásad neuchováva.
Považujte hodnotenie za udržiavanú kontrolu. Znova spustite kritické prípady po zmenách modelu, výzvy, filtra, oblasti alebo poskytovateľa a porovnajte ich so schválenou základnou hodnotou. Nastavte podmienky zastavenia pre vážne zlyhania v oblasti ochrany osobných údajov, zabezpečenia, faktu alebo diskriminácie. Chráňte údaje hodnotenia, pretože môžu obsahovať realistické citlivé scenáre, a oddeľte ich od materiálu, ktorý môže poskytovateľ použiť na zlepšenie produktu.
Použite presný zmluvný produkt, model, región a nastavenia.
Pred zobrazením výsledkov definujte očakávané a zakázané správanie.
Merajte konzistenciu, úsilie o opravu, protokolovanie a prevádzkové náklady.
Kritické prípady zopakujte po každej zmene materiálovej služby.
Úlohy, dôkazy a schválenie
Kontroly zabezpečenia a ochrany osobných údajov musia popisovať produkčnú konfiguráciu a nie všeobecného poskytovateľa. Zaznamenajte si presnú službu, región, príznaky funkcií, voliteľnú telemetriu, prístup k podpore, podprocesory, hranice šifrovania, nastavenia uchovávania a zodpovednosti zákazníka. Prehodnoťte po zmenách štruktúry materiálu, zmluvy, poskytovateľa alebo účelu a nechajte rozhodnutie prepojené s dôkazmi.
Prevádzka a údržba
Publikovaním práca nekončí. Prepojte jazykovú verziu alebo konfiguráciu s jej zdrojom, monitorujte opatrenia na kvalitu a služby a definujte konkrétne spúšťače kontroly. Spúšťače zahŕňajú zmeny zdroja, právne zmeny, nové potreby publika, opakujúce sa otázky podpory, technické zmeny a incidenty. Pomenovaný vlastník vyhodnotí spúšťač, v prípade potreby otvorí novú revíziu a zaznamená obnovené schválenie.
Kontrolný zoznam na zverejnenie
Kompletná cesta spracovania je zdokumentovaná.
Úlohy správcu a spracovateľa sú dohodnuté.
Evidujú sa miesta a subdodávatelia.
Výslovne sa rieši školenie a sekundárne použitie.
Kontroly prístupu, šifrovania, protokolovania a incidentov sú overené.
Uchovávanie a vymazanie sú definované podľa kategórie údajov.
Medzinárodné prevody a záruky sú zdokumentované.
Zmeny, audity, ukončenie a vlastníctvo dôkazov sú priradené.