Pojasnite nalogo in odločitev
Ta vodnik spremeni ocenjevanje zunanjih ponudnikov umetne inteligence v operativni potek dela, ki ga je mogoče pregledati. Povezuje domenske odločitve, lastništvo, dokaze in sprejemanje, tako da rezultat še naprej deluje v proizvodnji.
Preslikajte celoten pretok podatkov, uporabo usposabljanja, prenose, dnevnike, nadzor sprememb in izhodno pot, preden odobrite ponudnika.
Praktični postopek
- 1
Narišite tok podatkov od zbiranja do obdelave, dnevnikov, predpomnilnika, podpore, varnostnega kopiranja in brisanja.
- 2
Razvrstite vsako kategorijo podatkov in jo povežite z namenom, pravno vlogo, lokacijo, prejemnikom in hrambo.
- 3
Zahtevajte arhitekturne, pogodbene, operativne in preskusne dokaze za vsak materialni zahtevek.
- 4
Ocenite tveganje in zabeležite zahtevane kontrole, lastnike, dokazila o sprejemu in preostalo tveganje.
- 5
Odobrite samo dokumentirano konfiguracijo, nato spremljajte podprocesorje, incidente, spremembe in dokaze o izbrisu.
Primer ali orodje
Utežena ocena tveganja spremeni odgovore in dokaze ponudnika v pogoj za odobritev. V orodju zabeležite tudi izhodišče, lastnika, odločitev, dokaze, odprto vprašanje in datum odobritve. Uporabite pravo stran ali transakcijo, da bo skupina videla odvisnosti, izjeme in vzdrževalna dela, ki sledijo izdaji.
| Točka odločitve | Zapis | Kriterij sprejemljivosti |
|---|---|---|
| Izhodišče | Opaženo trenutno stanje | Vir in datum zapisa |
| Odločitev | Izbrana možnost in utemeljitev | Upoštevano je tveganje in občinstvo |
| Dokazi | Preizkusite, dokumentirajte ali izmerite | Pregledljiv in specifičen za različico |
| Odobritev | Ime, vloga in datum | Izpolnjeni vsi obvezni kriteriji |
Podatki zemljevidov, namen in vedenje ponudnika
Opišite reprezentativne vnose, priloge, izhode, metapodatke, identifikatorje uporabnikov in administrativne zapise. Sledite jim s sklepanjem, filtriranjem, beleženjem, podporo, vrednotenjem in brisanjem. Diagram mora razlikovati konfiguracijo, ki jo nadzira stranka, od privzetih nastavitev ponudnika.
Vprašajte, ali se katera koli vsebina uporablja za usposabljanje, človeški pregled, odkrivanje zlorab, primerjalno analizo ali izboljšanje modela. Zabeležite odgovor za vsako raven izdelka in funkcijo, ker končne točke podjetja, uporabniški vmesniki, izbirna orodja za povratne informacije in funkcije predogleda pogosto sledijo različnim pravilom.
Preizkusite navadne, občutljive scenarije in scenarije nenamernega vnosa.
Identificirajte vsak izpeljani zapis in prejemnika.
Preverite usposabljanje in preglejte nastavitve v pogodbi in konzoli.
Zabeležite različico izdelka, načrt, regijo in datum ocene.
Preverite prenose in oddaljeni dostop
Seznam držav obdelave in dostopa za primarno storitev, podprocesorje, podporo, varnostne operacije, varnostne kopije in obnovitev po katastrofi. Ocenite mehanizme prenosa in dodatne ukrepe glede na dejanske podatke in model dostopa, namesto da sprejmete globalno izjavo o zasebnosti.
Oddaljena podpora lahko ustvari prenos, tudi če shramba ostane lokalna. Za izjemen dostop zahtevajte nadzor vlog, odobritev, časovne omejitve, beleženje in obveščanje strank. Ugotovite, kdo ima šifrirne ključe in ali lahko ponudnik razkrije berljivo vsebino.
- 1
Uskladite trditve o lokaciji z dokazi o arhitekturi in podprocesorju.
- 2
Pregled informacij o dostopu vlade in preglednosti.
- 3
Preizkusite, ali je dostop podpore mogoče regionalno omejiti.
- 4
Dokumentirajte odobrene izjeme in kompenzacijske kontrole.
Ocenite operativno tveganje in tveganje sprememb
Uporabite ločene ocene za občutljivost podatkov, kritičnost storitve, zrelost nadzora dobavitelja, izpostavljenost prenosa, zaklepanje in kakovost dokazov. Obvezne zahteve imejte kot vrata, saj močno povprečje ne sme izravnati prepovedane uporabe usposabljanja ali nesprejemljive lokacije obdelave.
Ocenite spremembe modela, premik izhoda, razpoložljivost, omejitve stopnje, moderacijske spremembe in opustitev. Zahtevajte odpovedna obdobja, pripenjanje različic, kjer je na voljo, oceno pred nadgradnjami, zmožnost izvoza in izhodni načrt, ki zajema pozive, glosarje, dnevnike in integracije.
Preden pregledate prodajalce, določite prehode.
Kakovost tehtnih dokazov, ne kakovost predstavitve.
Preizkusite reprezentativno delovno obremenitev in načine napak.
Izračunajte stroške in vadite verodostojno nadomestno pot.
Odobrite primer omejene uporabe in ga spremljajte
V odobritvi morajo biti navedeni dovoljeni podatki, uporabniki, funkcije, integracije, regije, hramba in zahtevane nastavitve. Spremenite pogoje v nadzor dostopa, preprečevanje izgube podatkov, usmerjanje uporabnika, spremljanje in pogodbene obveznosti. Široko odobravanje blagovne znamke ni uporaben nadzor.
Spremljajte obvestila podprocesorja, spremembe pravilnika, varnostne dogodke, izdaje modelov, porabo, vzorce podatkov in kakovost izhoda. Ponovno ocenite po spremembi materiala in v določenem intervalu. Hranite trenutni paket dokazov, da lahko vodstvo pojasni, zakaj je storitev še vedno sprejemljiva.
- 1
Objavite mejo dovoljene uporabe v preprostem operativnem jeziku.
- 2
Zahtevane nastavitve uporabite prek centralne administracije.
- 3
Preglejte opozorila in spremembe dobavitelja z imenovanimi lastniki.
- 4
Začasno ustavite prizadete uporabe, ko obvezni pogoj ne izpolni.
Preizkusite storitev glede na nadzorovan ocenjevalni paket
Sestavite ocenjevalni paket iz reprezentativnih nalog, preden izberete ponudnika. Vključite običajno vsebino, občutljive mejne primere, dolge dokumente, tabele, nasprotujoča si navodila, terminološke zahteve, nepodprte zahteve in poskuse razkritja informacij o sistemu ali strankah. Opredelite pričakovano vedenje, nesprejemljivo vedenje, navodila pregledovalca in stopnjo resnosti za vsak primer. Zaženite isti paket glede na natančno raven izdelka, regijo, različico modela, varnostno konfiguracijo in integracijski vzorec, predlagan za proizvodnjo.
Zajemite celotne zahteve, odgovore, časovne žige, nastavitve, zakasnitev, uporabo žetonov ali znakov, zavrnitveno vedenje, citate in ocene recenzentov. Ponovite vzorec, da opazite variacije. Ponudnik ne bi smel dobiti visoke ocene, ker je en skrbno izbran odgovor videti dober. Izmerite doslednost, prizadevanja za popravljanje, zaznavanje napak in ali dnevniki vsebujejo gradivo, za katerega pravilnik pravi, da se ne bo obdržal.
Ocenjevanje obravnavajte kot vzdrževan nadzor. Znova zaženite kritične primere po spremembah modela, poziva, filtra, regije ali ponudnika in jih primerjajte z odobrenim izhodiščem. Nastavite pogoje zaustavitve za resne napake glede zasebnosti, varnosti, dejstev ali diskriminacije. Varujte podatke o vrednotenju, ker lahko vsebujejo realistične občutljive scenarije, in jih ločite od gradiva, ki ga ponudnik lahko uporabi za izboljšanje izdelka.
Uporabite natančen pogodbeni izdelek, model, regijo in nastavitve.
Pred ogledom rezultatov določite pričakovano in prepovedano vedenje.
Izmerite doslednost, trud popravkov, beleženje in operativne stroške.
Ponovno zaženite kritične primere po vsaki spremembi materialne storitve.
Vloge, dokazi in odobritev
Pregledi varnosti in zasebnosti morajo opisovati produkcijsko konfiguracijo in ne splošnega ponudnika. Zabeležite natančno storitev, regijo, zastavice funkcij, izbirno telemetrijo, dostop do podpore, podprocesorje, meje šifriranja, nastavitve hrambe in odgovornosti strank. Ponovno ocenite po spremembi materialne arhitekture, pogodbe, ponudnika ali namena in naj bo odločitev povezana s pregledanimi dokazi.
Delovanje in vzdrževanje
Delo se ne konča z objavo. Povežite jezikovno različico ali konfiguracijo z njenim izvorom, spremljajte ukrepe kakovosti in storitev ter definirajte konkretne sprožilce pregleda. Sprožilci vključujejo spremembe vira, pravne spremembe, nove potrebe občinstva, ponavljajoča se vprašanja podpore, tehnične spremembe in incidente. Imenovani lastnik oceni sprožilec, po potrebi odpre novo revizijo in zabeleži ponovno odobritev.
Kontrolni seznam za objavo
Celotna pot obdelave je dokumentirana.
Vlogi krmilnika in procesorja sta dogovorjeni.
Lokacije in podprocesorji so evidentirani.
Usposabljanje in sekundarna uporaba sta izrecno obravnavana.
Dostop, šifriranje, beleženje in nadzor dogodkov so preverjeni.
Hranjenje in brisanje sta opredeljena glede na kategorijo podatkov.
Mednarodni prenosi in zaščitni ukrepi so dokumentirani.
Spremembe, revizije, izhod in lastništvo dokazov so dodeljeni.