Може ли AI да има Biases?

Съдържание

• AI Beauty Bias
• Половите пристрастия на езици
• 2. Полова и възрастова дискриминация в работата
• Неуспешно разпознаване на лице
• Рецидивизъм пристрастие

За вкъщи:

През последните години AI все по-често се възприема и прилага към всичко - от оценка на красотата до оценка на риска от рецидив. По този начин той също поддържа стандарти, които подкрепят предубедеността и дискриминацията в няколко случая.

Напредъкът на технологиите има потенциал за наистина демократизиране на достъпа до информация и възможности. Въпреки това, когато в някои случаи той се използва по начини, които засилват представата, че в нашето общество някои хора са по-равни от други.

Това видяхме от следващите седем случая, в които изкуственият интелект (ИИ) нарочно се използва за изключване на определени категории или в който той просто отразява пристрастията, вложени от човешките му програмисти с дискриминационен ефект.

AI Beauty Bias

Красотата може да бъде в очите на гледащия, но когато този субективен изглед може да програмира AI, вие имате предубеждения в програмата. Рейчъл Томас съобщи за един такъв епизод в конкурс за красота от beauty.ai през 2016 г. Резултатите показват, че по-леките тени са оценени по-привлекателни от тъмните.

На следващата година „FaceApp, който използва невронни мрежи за създаване на филтри за снимки, създаде„ филтър за горещина “, който изсветли кожата на хората и им даде повече европейски характеристики.“

Половите пристрастия на езици

Томас цитира и документиран пример на преводи, които пренасят стереотипните очаквания за кариера. Отправната точка е две изречения: "Тя е лекар. Той е медицинска сестра."

Ако след това ги преведете на турски и обратно на английски, ще получите вида резултати, които бихте могли да очаквате от телефонна игра.

Вместо да започнете с това, с което сте започнали, ще получите очакванията от 1950-те години: „Той е лекар. Тя е медицинска сестра“. Тя обяснява, че това се дължи на полово неутралното местоимение за единствено число в турския език, което ще присвоява пол въз основа на очакванията и стереотипните пристрастия. (Прочетете Жените в AI: Подсилване на сексизма и стереотипите с помощта на Tech.)

Докато расовите и половите пристрастия, филтриращи в изображения и език, са причина за раздразнение, те не са съвсем същото нещо като активната дискриминация в резултат на ИИ, но и това се е случило.

Неговото доказателство беше екранна снимка на ограниченията, поставени за реклама под категорията на жилищата, която позволяваше да се ограничи аудиторията, като се проверят изключвания на категории като афроамериканец, азиатски американец или испаноядци. Рекламата може да бъде разгледана тук.

Както ProPublica посочва, дискриминационният ефект от подобни реклами е незаконен както съгласно Закона за справедливото жилищно настаняване от 1968 г., така и от Закона за гражданските права от 1964 г. Единствената защита в този случай е, че рекламата не е била за самото жилище, както не е било. “ t за имот или дом за продажба или под наем.

Има обаче и други случаи на насочване, които показват расови пристрастия и които са мотивирали различни субекти да заведат граждански дела срещу социалната мрежа. Както Wired съобщи, накрая реши да коригира технологията си за насочване на реклами в резултат на уреждане на пет правни дела, които я натоварват с разрешаване на дискриминация срещу малцинствата чрез реклами през март 2019 г.

В своя доклад за населеното място ACLU посочи колко коварни биха могли да бъдат такива насочени реклами, тъй като малцинствата и жените може дори да не осъзнават, че не им е предоставен същия достъп до информация, жилища и възможности за работа, които се споделят с белите мъже.

Тъй като все повече хора се обръщат към интернет, за да намерят работа, апартаменти и заеми, съществува реален риск рекламното насочване да се повтори и дори да изостри съществуващите расови и полови пристрастия в обществото. Представете си, ако работодателят реши да показва реклами за инженерни задачи само на мъже - не само потребителите, които не са идентифицирани като мъже, никога няма да виждат тези реклами, но и никога няма да разберат какво са пропуснали.

В крайна сметка рядко имаме начин да идентифицираме рекламите, които не виждаме онлайн. Това, че тази дискриминация е невидима за изключения потребител, прави още по-трудно да се спре.

2. Полова и възрастова дискриминация в работата

Сред легалните случаи беше незаконната дискриминация в жилищата, която е насочена към насочване. В доклада си за селището ProPublica казва, че е тествала платформата и е успяла да закупи „свързани с жилището реклами, които изключват групи като афро-американци и евреи, и преди това е намерила обяви за работа, с изключение на потребители по възраст и пол, поставени от компании това са имена на домакинствата. "

Редица обяви за работа, които ACLU установи, че са изрично насочени само към мъже в определена възрастова група, тъй като потребителите могат да намерят, като кликнат върху отговора защо им е показана тази конкретна реклама, са включени в друга статия за Wired. ACLU повдигна обвинение пред Комисията за равни възможности за заетост срещу социалната мрежа и компаниите, които поставиха рекламите с мотива, че те нарушават както трудовите, така и гражданските закони.

Дискриминацията срещу наемането на хора над 40 години нарушава федералния Закон за дискриминация в областта на заетостта (ADEA). Но насочването на обяви за работа само на хора под тази възраст е едно от нещата, активирани от платформата.

ProPublica направи, че акцентът на един от неговите доклади разкрива кои реклами за работа се възползват от тази незаконна форма на изключване по възраст. „Имената на домакинствата“ включват Verizon, UPS, Uber, Target, Statefarm, Northwestern Mutual, Microsoft, J Street, HusbSpot, IKEA, Фонд за обществен интерес, Goldman Sach, OpenWorks и себе си.

Неуспешно разпознаване на лице

„Разпознаването на лицето е точно, ако сте бял човек“ обяви заглавието на статия на „Ню Йорк Таймс“, публикувана през февруари 2018 г. Той цитира резултати, които откриват отчетлива зависимост между тона на кожата и неправилната идентификация:

„Колкото по-тъмна е кожата, толкова повече грешки възникват - до близо 35% за изображения на жени с по-тъмна кожа, според ново проучване, което разбива свежата основа, измервайки как технологията работи върху хора от различни раси и пол.“

Откритията са кредитирани на Джой Буоламини, изследовател в MIT Media Lab и основател на Алгоритмичната лига на справедливостта (AJL). Нейната област на изследване е пристрастията, които стоят в основата на AI, което води до такива изкривени резултати, когато става въпрос за разпознаване на лица, които не отговарят на бялата мъжка норма, зададена за модела.

Buolamwini представи проблема за расовото и половото пристрастие за разпознаване на лицето в беседа на TED за 2017 г., която тя се позова на началото на 2018 г. във видеото към проекта за джендър сенки от лабораторията на MIT:

<

Описаното в описанието на видеото е, че оставянето на предубедеността на AI не е проверено, „ще осакате епохата на автоматизация и допълнително ще изостри неравенството, ако бъде оставено да се гневи“. Рисковете са нищо по-малко от „загуба на печалбите, направени с движението за граждански права и движението на жените при фалшивото предположение за машинен неутралитет“.

Описанието на видеото добавя предупреждението, което много други са изтъкнали сега, както видяхме в „Жените в ИИ: Укрепване на сексизма и стереотипите с технологиите:„ Автоматизираните системи не са присъщи неутрални. Те отразяват приоритетите, предпочитанията и предразсъдъците - кодираните поглед - на онези, които имат силата да формират изкуствен интелект. "

На 25 януари 2019 г. Buolamnwini публикува среден пост, който се позова на нейните собствени изследвания и този на допълнителни изследователи, които посочват как недостатъците на AI водят до грешки при възстановяването на Amazon и поискаха компанията да спре продажбата на AI услугата в полицейските управления.

Докато Rekognation може да се похвали със 100% точност за разпознаване на светлокожи мъже и 98,7% точност дори при по-тъмни мъже, когато става въпрос за женски, точността спадна до 92,9% за по-светлите жени. Още по-ярко беше рязкото падане до точно 68,6% точност при по-тъмните жени.

Но Амазонка отказа да отстъпи. Статия на Venture Beat цитира изявление на д-р Мат Ууд, генерален мениджър по задълбочено обучение и AI в AWS, в което той настоя, че откритията на изследователите не отразяват как действително се използва AI, обяснявайки:

„Анализът на лицето и разпознаването на лицето са напълно различни по отношение на основната технология и данните, използвани за обучението им. Опитът да се използва анализ на лицето, за да се прецени точността на разпознаването на лицето, е нежелателно, тъй като това не е предвидения алгоритъм за тази цел. "

Но не само тези, които са свързани с големи изследователски центрове, които намериха алгоритмите за много проблемни. ACLU провежда собствен тест на най-разумната цена от 12,33 долара, според доклада на Gizmodo. Той установи, че Rekogservation съвпада с 28 членове на Конгреса със снимки на престъпници.

„Фалшивите идентификации бяха направени, когато ACLU в Северна Калифорния възложи на Rekogservation с съвпадение на снимки на всички 535 членове на Конгреса срещу 25 000 публично достъпни снимки на мъгли.“

Тъй като 11 от 28-те бяха цветни хора, това отразява значителна степен на грешка от 39%. За разлика от тях процентът на грешките като цяло беше по-приемливите 5%. Шестима членове на Конгреса на Черния кавказ, които бяха сред онези откъсвания, свързани с мъжки снимки, изразиха своята загриженост в отворено писмо до изпълнителния директор на Amazon.

Рецидивизъм пристрастие

Пристрастията, вградени в AI спрямо хората в цвят, се превръщат в по-сериозен проблем, когато това означава повече от грешка в идентифицирането. Това беше констатацията на друго разследване на ProPublica през 2016 г. Последиците от подобно пристрастие не са нищо по-малко от индивидуалната свобода, съчетана с игнориране на реален риск от човека, чийто цвят на кожата се предпочита от алгоритъма.

Статията се отнася до два успоредни случая, в които участват един бял извършител и един черен. Използван е алгоритъм, за да се предвиди кой от тях може да наруши закона отново. Черният е оценен с висок риск, а белият - с нисък риск.

Прогнозата се оказа напълно погрешна и белият, който се освободи, трябваше отново да бъде затворен. Това е изключително проблематично, тъй като съдилищата разчитат на оценката при вземане на решение за условно освобождаване, а това означава, че расовото предубеждение, включено в програмата, означава неравностойно третиране съгласно закона.

ProPublica постави алгоритъма на свой собствен тест, сравнявайки рисковите оценки на над 7000 души, арестувани в окръг Брауърд, Флорида, през 2013 и 2014 г., с броя на новите наказателни обвинения срещу тях през следващите две години.

Те откриха, че едва 20% от прогнозите за повторение на престъпления с насилствен характер се сбъднаха, а по-леките престъпления се случиха само за 61% от тези с оценки, показващи риск.

Истинският проблем е не само липсата на точност, но и расовите пристрастия:

• Особено вероятно е формулата да фалшифицира черен подсъдими като бъдещи престъпници, като погрешно ги маркира по този начин почти два пъти по-често от белите обвиняеми.
• Белите обвиняеми бяха погрешно обозначени като нискорискови по-често от черните обвиняеми.
  
  

Всъщност това се превръща в процент на грешка от 45% за чернокожите и 24% за белите. Въпреки тази страхотна статистика, Томас съобщи, че Върховният съд на Уисконсин все още подкрепя използването на този алгоритъм. Тя също така описва други проблеми, свързани с алгоритмите за рецидивизъм.