Результати на рівні: Чому алгоритми роблять такі помилки, і що ми можемо зробити, щоб їх виправити

Шкала гніву громадськості з приводу автоматизованого зниження рівня результатів A тисяч на рівні тисяч студентів вказує на те, скільки зараз має алгоритмічне прийняття рішень щодо соціальної та політичної влади. Окрім оцінок студентів, алгоритми тепер вирішують усілякі речі, які дуже впливають на життя простих людей, від заявок на позику до співбесіди, на які мікрорайони орієнтовані поліцією.

Занадто часто результати цих рішень — це те, що більшість людей вважає несправедливим, як це було у студентів, чиї результати були знижені, незважаючи на те, що вони мали сильний академічний облік чи не базувались на минулому успішності школи. Як ці алгоритми йдуть настільки неправильно, і як ми можемо забезпечити справедливіші результати в майбутньому?

В інформатиці алгоритм — це набір інструкцій на основі математичної моделі, які розповідають комп'ютеру, як виконати обчислення. Модель зазвичай будується на основі даних про минулі рішення та деяких факторів, які використовуються для їх прийняття.

Потім алгоритм може автоматизувати прийняття рішень, тому великі обсяги даних можуть бути ефективно оброблені за короткий проміжок часу. Алгоритми машинного навчання покращать свої моделі, оскільки вони обробляють все більше даних.

Саме в цих даних, що використовуються для побудови та навчання алгоритмів, лежить багато проблем. По-перше, алгоритмам, як правило, потрібні відносно великі набори даних, щоб добре працювати. Так, що стосується результатів на рівні А, малі класи, що мають менше 15 учнів, все ще враховували оцінки своїх викладачів, але більші класи — не.

Ще одне ключове питання полягає в тому, що дані про минуле не обов'язково допомагають приймати адекватні рішення щодо сьогодення чи майбутнього. Це блокує будь-які шанси на зміну та розвиток — наприклад, коли школа покращує викладання чи однорічна група учнів працює краще, ніж їх однолітки в попередні роки.

Це може не мати значення, коли Google або Amazon намагаються розробити, які оголошення чи рекомендації можуть бути корисними для вас, виходячи з того, що сподобалось іншим людям подібного профілю. Але визначення свого майбутнього на основі чужого минулого має набагато більші наслідки.

Вид соціальних даних, який бере участь у цих критичних життєвих рішеннях, є за своєю суттю непередбачуваним. Побудова моделі того, як пухлина буде реагувати на лікування, ґрунтується на чітко встановлених законах природи щодо молекул та клітин. Але люди не ведуть себе за аналогічними законами. Це збільшує шанси на те, що дані тестування, які використовуються для побудови алгоритмів, можуть відрізнятися від реальних даних, які вони обробляють, і що рішення алгоритму будуть неточними або несправедливими.

На додаток до цього, всі соціальні дані мають упередження, що алгоритм може в кінцевому підсумку копіювати. Наприклад, алгоритм рівня А коригував результати, щоб спробувати повторити попередні загальні досягнення різних етнічних груп, які, ймовірно, відображають расову нерівність. Знову ж таки, покладаючись на історичні дані для підготовки алгоритму, що замикається на минулих проблемах, запобігаючи змінам у суспільстві або намаганням вирішити ці упередження, не з'являючись у тому, як працює система.

Нарешті, соціальні дані також мають політичне та соціальне значення. Наприклад, когорта з менш ніж 15 учнів, які виключаються з алгоритму, мабуть, або клас приватної школи, або вивчають менш популярний предмет. Отже, зручне рішення, засноване на функціональній роботі алгоритму, матиме серйозні соціальні наслідки, в цьому випадку сприятимуть приватні школярі чи учні, які вивчають менш популярні предмети.

Це означає, що ви не можете усунути систематичну дискримінацію певних характеристик, які можна знайти в упереджених алгоритмах, просто уникаючи використання цих характеристик у розрахунку, оскільки інші дані можуть виступати як проксі.

Існує також більш широка проблема. Алгоритми, що підтримуються машинним навчанням, мають на меті не тиражувати рішення експертів, а скоріше повторити середнє прийняття рішень з минулих даних.

Ця логіка усереднення суспільства небезпечна для суспільства, яке цінує творчість та досягнення особистості. Це перешкоджає розрізненню та досконалості, оскільки алгоритм систематично підштовхує людей до середнього рівня.

Все це означає, що алгоритмічна справедливість — це багатогранна проблема, яку технічне рішення самостійно не може вирішити. Натомість спосіб переконатись у тому, що люди не є несправедливо неблагополучними за алгоритмом, це тісно залучити їх до свого розвитку.

Влада людей

Наше дослідження показало, що люди, що використовують алгоритм, можуть здогадуватися, як він працює, і виявляти зміни в ньому, просто перебуваючи в кінці прийому своїх рішень. Наприклад, ми з’ясували, що працівники, які використовують цифрові платформи праці, такі як Uber і Fiverr, можуть розробити, як маніпулювати даними, які надходять у систему, щоб отримати більш сприятливі рішення.

Ще одне наше дослідження показало, що люди, що працюють в організації, яка використовує AI з ухваленням рішення, можуть виявити, коли її рішення є неправильними. Це означає, що вони можуть виступати як система раннього виявлення несправедливого та упередженого рішення.

В одному успішному випадку організація розробила свої алгоритми в тісній консультації з людьми, які раніше відповідали за прийняття рішень і з різними типами користувачів. Це створило спосіб для працівників реєструвати свої спостереження та висвітлювати будь-які проблеми, які потрібно виправити.

Організація також визнала, що вона все ще несе відповідальність за рішення, прийняті машиною. Таким чином, він створив механізм пояснення алгоритму та його рішень, щоб різні працівники мали довіру до системи та мали змогу звітувати, коли вона пішла не так.

Коли алгоритми мають таку владу над нашим життям, це життєво важливо, що ці системи є результатом політичних дискусій та обговорень між усіма, хто на них впливає. Така дискусія забезпечує прозорість, пояснення та прийняття алгоритму.

Фіаско рівня А є вагомим уроком того, чому нам потрібно переглянути важливість справедливості в алгоритмах, їхніх даних та математичних моделях, які ними керують. Алгоритми не можуть дозволяти приймати соціальні рішення, не розуміючи їх соціальних наслідків.

Facebook Comments