Wyjaśnij zadanie i decyzję
Ten przewodnik zmienia ocenę zewnętrznego dostawcy sztucznej inteligencji w możliwy do sprawdzenia przepływ pracy operacyjnej. Łączy decyzje dotyczące domeny, własność, dowody i akceptację, dzięki czemu wynik nadal sprawdza się w produkcji.
Mapuj pełny przepływ danych, wykorzystanie szkoleń, transfery, dzienniki, kontrolę zmian i ścieżkę wyjścia przed zatwierdzeniem dostawcy.
Praktyczny proces
- 1
Narysuj przepływ danych od gromadzenia poprzez przetwarzanie, dzienniki, pamięć podręczną, wsparcie, tworzenie kopii zapasowych i usuwanie.
- 2
Sklasyfikuj każdą kategorię danych i powiąż ją z celem, rolą prawną, lokalizacją, odbiorcą i przechowywaniem.
- 3
Żądaj dowodów dotyczących architektury, umów, operacyjnych i testów w przypadku każdego istotnego roszczenia.
- 4
Oceń ryzyko i zapisz wymagane kontrole, właścicieli, dowody akceptacji i ryzyko resztkowe.
- 5
Zatwierdzaj tylko udokumentowaną konfigurację, a następnie monitoruj podprocesorów, incydenty, zmiany i dowody usunięcia.
Przykład lub narzędzie
Ważona ocena ryzyka zamienia odpowiedzi i dowody dostawcy w warunek zatwierdzenia. W narzędziu zapisz także punkt odniesienia, właściciela, decyzję, dowody, otwartą kwestię i datę zatwierdzenia. Użyj prawdziwej strony lub transakcji, aby zespół mógł zobaczyć zależności, wyjątki i prace konserwacyjne następujące po wydaniu.
| Punkt decyzji | Nagrywać | Kryterium akceptacji |
|---|---|---|
| Linia bazowa | Zaobserwowany stan obecny | Źródło i data zapisu |
| Decyzja | Wybrana opcja i uzasadnienie | Uwzględniono ryzyko i odbiorców |
| Dowód | Testuj, dokumentuj lub mierz | Możliwość przeglądu i specyficzna dla wersji |
| Aprobata | Imię i nazwisko, rola i data | Wszystkie obowiązkowe kryteria spełnione |
Mapuj dane, cel i zachowanie dostawcy
Opisz reprezentatywne dane wejściowe, załączniki, wyniki, metadane, identyfikatory użytkowników i zapisy administracyjne. Śledź je poprzez wnioskowanie, filtrowanie, rejestrowanie, obsługę, ocenę i usuwanie. Diagram powinien odróżniać konfigurację kontrolowaną przez klienta od ustawień domyślnych dostawcy.
Zapytaj, czy jakakolwiek treść jest wykorzystywana do szkoleń, weryfikacji ręcznej, wykrywania nadużyć, testów porównawczych lub ulepszania modelu. Zapisz odpowiedź dla każdej warstwy produktu i funkcji, ponieważ punkty końcowe przedsiębiorstwa, interfejsy konsumenckie, opcjonalne narzędzia do przesyłania opinii i funkcje podglądu często podlegają innym regułom.
Przetestuj scenariusze zwykłe, wrażliwe i przypadkowego wprowadzania danych.
Zidentyfikuj każdy pochodny rekord i odbiorcę.
Sprawdź ustawienia szkolenia i przejrzyj ustawienia w umowie i konsoli.
Zapisz wersję produktu, plan, region i datę oceny.
Weryfikacja przelewów i dostępu zdalnego
Lista krajów przetwarzania i dostępu dla usług podstawowych, podprocesorów, wsparcia, operacji bezpieczeństwa, kopii zapasowych i odzyskiwania po awarii. Zamiast akceptować globalne oświadczenie o ochronie prywatności, oceniaj mechanizmy przesyłania i środki dodatkowe w porównaniu z rzeczywistym modelem danych i dostępu.
Zdalna pomoc może utworzyć transfer nawet wtedy, gdy pamięć pozostaje lokalna. Wymagaj kontroli ról, zatwierdzeń, limitów czasowych, rejestrowania i powiadamiania klientów o wyjątkowym dostępie. Ustal, kto posiada klucze szyfrujące i czy dostawca może ujawnić czytelną treść.
- 1
Uzgodnij roszczenia dotyczące lokalizacji z architekturą i dowodami podprocesora.
- 2
Przejrzyj informacje dotyczące dostępu i przejrzystości rządów.
- 3
Sprawdź, czy dostęp do pomocy technicznej może być ograniczony regionalnie.
- 4
Dokumentuj zatwierdzone wyjątki i kontrole kompensujące.
Ocena ryzyka operacyjnego i zmian
Użyj oddzielnych ocen dla wrażliwości danych, krytyczności usług, dojrzałości kontroli dostawcy, ekspozycji na transfer, uzależnienia i jakości dowodów. Zachowaj obowiązkowe wymagania jako bramki, ponieważ silna średnia nie może równoważyć zabronionego wykorzystania w szkoleniu lub niedopuszczalnej lokalizacji przetwarzania.
Oceń zmiany modelu, dryf wyników, dostępność, limity szybkości, zmiany moderacji i przestarzałość. Wymagaj okresów powiadamiania, przypinania wersji, jeśli to możliwe, oceny przed aktualizacją, możliwości eksportu i planu wyjścia obejmującego monity, glosariusze, dzienniki i integracje.
Zdefiniuj bramki pass-fail przed sprawdzeniem dostawców.
Oceniaj jakość dowodów, a nie jakość prezentacji.
Przetestuj reprezentatywne tryby obciążenia i awarii.
Oceń i przetestuj wiarygodną ścieżkę wymiany.
Zatwierdź ograniczony przypadek użycia i monitoruj go
Zatwierdzenie powinno określać dozwolone dane, użytkowników, funkcje, integracje, regiony, przechowywanie i wymagane ustawienia. Przekształć warunki w kontrolę dostępu, zapobieganie utracie danych, wskazówki dla użytkownika, monitorowanie i zobowiązania umowne. Szeroka akceptacja marki nie stanowi użytecznej kontroli.
Monitoruj powiadomienia podwykonawców przetwarzania, zmiany zasad, zdarzenia związane z bezpieczeństwem, wydania modeli, wydatki, wzorce danych i jakość wyników. Dokonaj ponownej oceny po zmianie materiału i w ustalonych odstępach czasu. Zachowaj aktualny pakiet dowodów, aby kierownictwo mogło wyjaśnić, dlaczego usługa jest nadal akceptowalna.
- 1
Opublikuj granice dozwolonego użytku prostym językiem operacyjnym.
- 2
Zastosuj wymagane ustawienia poprzez administrację centralną.
- 3
Przeglądaj alerty i zmiany dostawców z nazwanymi właścicielami.
- 4
Zawieś dotknięte zastosowania, jeśli warunek obowiązkowy nie zostanie spełniony.
Przetestuj usługę w kontrolowanym pakiecie ewaluacyjnym
Przed wybraniem dostawcy zbuduj pakiet ewaluacyjny na podstawie reprezentatywnych zadań. Uwzględnij zwykłą treść, wrażliwe przypadki graniczne, długie dokumenty, tabele, sprzeczne instrukcje, wymagania terminologiczne, nieobsługiwane żądania i próby ujawnienia informacji o systemie lub kliencie. Zdefiniuj oczekiwane zachowanie, niedopuszczalne zachowanie, wskazówki dla recenzenta i poziom istotności dla każdego przypadku. Uruchom ten sam pakiet dla dokładnie tego poziomu produktu, regionu, wersji modelu, konfiguracji bezpieczeństwa i wzorca integracji zaproponowanego do produkcji.
Rejestruj kompletne żądania, odpowiedzi, znaczniki czasu, ustawienia, opóźnienia, użycie tokenów lub znaków, zachowania związane z odmową, cytaty i oceny recenzentów. Powtórz próbkę, aby zaobserwować różnice. Dostawca nie powinien otrzymać wysokiej oceny, ponieważ jedna starannie wybrana odpowiedź wygląda dobrze. Mierz spójność, wysiłek naprawczy, wykrywalność awarii i to, czy dzienniki zawierają materiały, które zgodnie z zasadami nie zostaną zachowane.
Traktuj ocenę jako utrzymywaną kontrolę. Uruchom ponownie krytyczne przypadki po zmianie modelu, monitu, filtru, regionu lub dostawcy i porównaj z zatwierdzoną wartością bazową. Ustaw warunki zatrzymania w przypadku poważnych błędów związanych z prywatnością, bezpieczeństwem, faktami lub dyskryminacją. Chroń dane ewaluacyjne, ponieważ mogą zawierać realistyczne i wrażliwe scenariusze, i oddzielaj je od materiałów, które dostawca może wykorzystać do ulepszenia produktu.
Używaj dokładnie objętego umową produktu, modelu, regionu i ustawień.
Zdefiniuj oczekiwane i zabronione zachowanie przed przejrzeniem wyników.
Mierz spójność, wysiłek związany z korektami, rejestrowanie i koszty operacyjne.
Uruchom ponownie krytyczne przypadki po każdej istotnej zmianie usługi.
Role, dowody i zatwierdzenie
Przeglądy bezpieczeństwa i prywatności muszą opisywać konfigurację produkcyjną, a nie ogólnego dostawcę. Zapisz dokładną usługę, region, flagi funkcji, opcjonalną telemETRię, dostęp do pomocy technicznej, podprocesory, granice szyfrowania, ustawienia przechowywania i obowiązki klienta. Dokonaj ponownej oceny po zmianie architektury materiału, umowy, dostawcy lub celu i powiąż decyzję z zweryfikowanymi dowodami.
Eksploatacja i konserwacja
Praca nie kończy się w momencie publikacji. Połącz wersję językową lub konfigurację ze źródłem, monitoruj jakość i miary usług oraz zdefiniuj konkretne wyzwalacze przeglądu. Wyzwalacze obejmują zmiany źródła, zmiany prawne, nowe potrzeby odbiorców, powtarzające się pytania dotyczące pomocy, zmiany techniczne i incydenty. Nazwany właściciel ocenia wyzwalacz, w razie potrzeby otwiera nową wersję i rejestruje ponowne zatwierdzenie.
Lista kontrolna przed publikacją
Pełna ścieżka przetwarzania jest udokumentowana.
Uzgodniono role administratora i podmiotu przetwarzającego.
Udokumentowano lokalizacje i podprocesory.
Wyraźnie uwzględniono szkolenia i wtórne zastosowania.
Weryfikuje się kontrolę dostępu, szyfrowania, rejestrowania i incydentów.
Przechowywanie i usuwanie są definiowane dla każdej kategorii danych.
Przelewy międzynarodowe i zabezpieczenia są dokumentowane.
Przypisuje się zmiany, audyty, wyjścia i własność dowodów.