Изяснете задачата и решението
Това ръководство превръща външната оценка на доставчиците на изкуствен интелект в прегледен оперативен работен процес. Той свързва решения за домейн, собственост, доказателства и приемане, така че резултатът да продължи да работи в производството.
Картирайте пълния поток от данни, използването на обучението, трансферите, регистрационните файлове, контролите за промяна и изходния път, преди да одобрите доставчик.
Практически процес
- 1
Начертайте потока от данни от събиране през обработка, регистрационни файлове, кеш, поддръжка, архивиране и изтриване.
- 2
Класифицирайте всяка категория данни и я свържете с цел, правна роля, местоположение, получател и задържане.
- 3
Изисквайте архитектурни, договорни, оперативни и тестови доказателства за всеки съществен иск.
- 4
Оценка на риска и записване на необходимите контроли, собственици, доказателства за приемане и остатъчен риск.
- 5
Одобрете само документираната конфигурация, след което наблюдавайте подпроцесори, инциденти, промени и доказателства за изтриване.
Пример или инструмент
Претегленият рисков рейтинг превръща отговорите и доказателствата на доставчика в условие за одобрение. В инструмента запишете също базовата линия, собственика, решението, доказателствата, отворения проблем и датата на одобрение. Използвайте реална страница или транзакция, така че екипът да види зависимости, изключения и работата по поддръжката, която следва освобождаването.
| Точка на решение | Записвайте | Критерий за приемане |
|---|---|---|
| Базово ниво | Наблюдавано текущо състояние | Източник и дата на запис |
| Решение | Избран вариант и обосновка | Обмислени риск и аудитория |
| Доказателство | Тествайте, документирайте или измервайте | Възможност за преглед и специфична за версията |
| Одобрение | Име, роля и дата | Спазени всички задължителни критерии |
Картографски данни, цел и поведение на доставчика
Опишете представителни входове, прикачени файлове, изходи, метаданни, потребителски идентификатори и административни записи. Проследете ги чрез извод, филтриране, регистриране, поддръжка, оценка и изтриване. Една диаграма трябва да разграничава контролираната от клиента конфигурация от настройките по подразбиране на доставчика.
Попитайте дали някакво съдържание се използва за обучение, човешки преглед, откриване на злоупотреби, сравнителен анализ или подобряване на модела. Запишете отговора за всяко продуктово ниво и функция, тъй като корпоративните крайни точки, потребителските интерфейси, незадължителните инструменти за обратна връзка и функциите за визуализация често следват различни правила.
Тествайте обикновени, чувствителни и случайно въведени сценарии.
Идентифицирайте всеки извлечен запис и получател.
Проверете обучението и прегледайте настройките в договора и конзолата.
Запишете версията на продукта, плана, региона и датата на оценка.
Проверете трансферите и отдалечения достъп
Избройте страните за обработка и достъп за основната услуга, подпроцесори, поддръжка, операции по сигурността, архивиране и възстановяване след бедствие. Оценявайте механизмите за прехвърляне и допълнителните мерки спрямо действителните данни и модел на достъп, вместо да приемате глобална декларация за поверителност.
Отдалечената поддръжка може да създаде прехвърляне дори когато хранилището остава локално. Изисквайте ролеви контроли, одобрение, времеви ограничения, регистриране и известяване на клиента за изключителен достъп. Определете кой държи ключове за криптиране и дали доставчикът може да разкрие четливо съдържание.
- 1
Съгласувайте претенциите за местоположение с архитектурата и доказателствата за подпроцесора.
- 2
Прегледайте информацията за правителствения достъп и прозрачността.
- 3
Тествайте дали достъпът до поддръжката може да бъде регионално ограничен.
- 4
Документирайте одобрените изключения и компенсиращите контроли.
Оценка на оперативния риск и риска от промяна
Използвайте отделни резултати за чувствителност на данните, критичност на услугата, зрялост на контрола на доставчика, излагане на трансфер, блокиране и качество на доказателствата. Запазете задължителните изисквания като пропуски, тъй като силната средна стойност не трябва да компенсира забранено използване за обучение или неприемливо място за обработка.
Оценете промените в модела, отклонението на изхода, наличността, ограниченията на скоростта, промените в модерирането и отмяната. Изисквайте периоди на предизвестие, закрепване на версията, когато е възможно, оценка преди надстройки, възможност за експортиране и план за излизане, който обхваща подкани, речници, регистрационни файлове и интеграции.
Определете пропуските за преминаване-неуспех, преди да прегледате доставчиците.
Качество на доказателство за тежест, а не качество на представяне.
Тествайте представително работно натоварване и режими на отказ.
Разходите и репетирайте надежден заместващ път.
Одобрете случай на ограничена употреба и го наблюдавайте
Одобрението трябва да посочва разрешените данни, потребители, функции, интеграции, региони, задържане и необходими настройки. Преобразувайте условията в контрол на достъпа, предотвратяване на загуба на данни, ръководство за потребителя, наблюдение и договорни задължения. Широкото одобрение на име на марка не е използваем контрол.
Наблюдавайте известията на подпроцесора, промените в политиката, събитията за сигурност, изданията на моделите, разходите, моделите на данните и качеството на изхода. Повторна оценка след промяна на материала и на фиксиран интервал. Съхранявайте актуален пакет с доказателства, така че управлението да може да обясни защо услугата остава приемлива.
- 1
Публикувайте границата на разрешената употреба на обикновен оперативен език.
- 2
Приложете необходимите настройки чрез централната администрация.
- 3
Прегледайте сигналите и промените на доставчика с посочени собственици.
- 4
Спиране на засегнатите употреби, когато задължително условие е неуспешно.
Тествайте услугата спрямо пакет за контролирана оценка
Създайте пакет за оценка от представителни задачи, преди да изберете доставчик. Включете обикновено съдържание, чувствителни гранични случаи, дълги документи, таблици, противоречиви инструкции, терминологични изисквания, неподдържани заявки и опити за разкриване на системна или клиентска информация. Дефинирайте очаквано поведение, неприемливо поведение, насоки на проверяващия и ниво на сериозност за всеки случай. Пуснете същия пакет спрямо точното продуктово ниво, регион, версия на модела, конфигурация за безопасност и интеграционен модел, предложен за производство.
Заснемане на пълни заявки, отговори, времеви отпечатъци, настройки, латентност, използване на токени или символи, поведение на отказ, цитати и оценки на рецензенти. Повторете проба, за да наблюдавате вариациите. Доставчикът не трябва да получава висока оценка, защото един внимателно подбран отговор изглежда добре. Измерете последователността, усилието за коригиране, откриваемостта на неуспехите и дали регистрационните файлове съдържат материал, който според политиката няма да бъде запазен.
Отнасяйте се към оценката като към поддържан контрол. Пуснете повторно критични случаи след промени в модела, подканата, филтъра, региона или доставчика и сравнете с одобрената базова линия. Задайте условия за спиране при тежки поверителност, сигурност, фактология или дискриминация. Пазете данните за оценка защитени, тъй като може да съдържат реалистични чувствителни сценарии, и ги отделете от материала, който доставчикът може да използва за подобряване на продукта.
Използвайте точния договорен продукт, модел, регион и настройки.
Определете очакваното и забраненото поведение, преди да видите резултатите.
Измерете последователността, усилията за коригиране, регистрирането и оперативните разходи.
Повторно изпълнение на критични случаи след всяка промяна на материалната услуга.
Роли, доказателства и одобрение
Прегледите за сигурност и поверителност трябва да описват производствената конфигурация, а не общ доставчик. Запишете точната услуга, регион, флагове на функции, опционална телеметрия, достъп до поддръжка, подпроцесори, граници на криптиране, настройки за задържане и отговорности на клиента. Преоценете след промени в архитектурата на материала, договора, доставчика или целта и поддържайте решението свързано с прегледаните доказателства.
Експлоатация и поддръжка
Работата не приключва с публикуването. Свържете езиковата версия или конфигурация с нейния източник, наблюдавайте мерките за качество и обслужване и дефинирайте конкретни тригери за преглед. Задействанията включват промени в източника, правни промени, нови нужди на аудиторията, повтарящи се въпроси за поддръжка, технически промени и инциденти. Посочен собственик оценява тригера, отваря нова ревизия, когато е необходимо, и записва подновено одобрение.
Контролен списък за публикуване
Пълният път на обработка е документиран.
Ролите на администратор и процесор са договорени.
Доказани са местоположенията и подпроцесорите.
Обучението и вторичната употреба са изрично адресирани.
Контролите за достъп, криптиране, регистриране и инциденти се проверяват.
Запазването и изтриването се определят за категория данни.
Международните трансфери и предпазни мерки са документирани.
Присвояват се промени, одити, изход и собственост на доказателства.