Image
13.9.2019 0 Comments

Závažné rozhodnutia AI by mali byť preverované. Buducnosť patrí auditovateľnej AI

Systémy s umelou inteligenciou dnes rozhodujú o pôžičkách, lekárskych diagnózach či prepustení na kauciu. No sú to nepriehľadné systémy, navyše náchylné na zaujatosť. Z technických aj obchodných dôvodov nemožno automaticky generovať vysvetlenia väčšiny rozhodnutí umelej inteligencie. Preto by sme sa mali usilovať o externý audit systémov AI zodpovedných za rozhodovacie procesy v závažných veciach. Automatizovaný audit môže permanentne testovať systémy AI a odhaľovať predsudky alebo iné nežiaduce správanie.

Analýza jedného z najpoužívanejších algoritmov na rozhodovanie o prepustení z väzby ProPublica odhalila potenciálne významné skreslenie a nepresnosť. Tvorca však nebol ochotný zverejniť špecifiká svojho proprietárneho algoritmu. Zaujatosť AI bola objavená aj v mnohých ďalších kontextoch, napríklad v systémoch rozpoznávania tváre, ktoré sú menej presné pri identifikácii ľudí tmavej pleti, či v náborových nástrojoch s AI, ktoré diskriminujú ženy.

Regulačné úrady sa preto snažia o transparentnosť prostredníctvom tzv. vysvetliteľnej AI. Napríklad pri odmietnutí žiadosti jednotlivca o pôžičku treba uviesť „osobitné dôvody“ vedúce k nepriaznivému rozhodnutiu. V Európskej únii si GDPR stanovuje „právo na vysvetlenie“ pri všetkých automatizovaných rozhodnutiach o závažných veciach.

Takéto vysvetľovanie však naráža na problémy. Môžu sa pri ňom totiž odhaliť majetkové údaje a obchodné tajomstvá. Navyše je nesmierne ťažké vysvetliť správanie komplexných, nelineárnych modelov neurónovej siete, vyškolených na obrovských množinách údajov. Preto sa zvyčajne stretávame s kompromismi a zjednodušovaním. No v situáciách, keď je v stávke veľa (napr. pri lekárskych diagnózach), môže byť takéto zjednodušenie nebezpečné.

Zvýšenú transparentnosť by mohli priniesť auditovateľné systémy AI. Pri skúmaní sa dajú použiť hypotetické prípady, či už umelé, alebo reálne. Je to jednoduchý spôsob, ako odhaliť zaujatosť AI. Napríklad čo sa stane, ak zmeníme pohlavie obžalovaného? Čo sa stane, ak žiadateľ o pôžičku býva v chudobnej štvrti, kde žijú menšiny?

Auditovateľná AI má niekoľko výhod oproti vysvetľujúcej AI. Neutrálna tretia strana, ktorá skúma tieto otázky, je oveľa lepšia kontrola ako vysvetľovanie riadené tvorcom algoritmu. Navyše výrobcovia softvéru nemusia zverejňovať obchodné tajomstvá svojich vlastných systémov a súborov údajov.

Prvé príklady auditovateľných AI už ukázali svoj pozitívny vplyv. Existuje stále viac dôkazov, že takéto audity môžu zlepšiť presnosť modelu pre nedostatočne zastúpené skupiny. Napríklad auditovateľné algoritmy na rozpoznávanie tváre spoločnosti Amazon takmer dvakrát presnejšie identifikovali ľudí s farebnou pleťou.

V budúcnosti by mohol vzniknúť robustný ekosystém auditných systémov, ktoré by umožnili preskúmať rozhodovanie AI. Regulačné úrady by dokonca mohli trvať na tom, aby systémy AI používané pri závažných rozhodnutiach poskytovali audítorské rozhrania.

Zdroj: https://www.wired.com/story/ai-needs-to-be-audited/?verso=true

Zobrazit Galériu
Autor: Redakcia

Nechajte si posielať prehľad najdôležitejších správ emailom

Mohlo by Vás zaujímať

Technológie

IQOS 3 DUO chce pomôcť ešte viac presadiť bezdymové fajčenie

15.10.2019 14:36

Philip Morris pokračuje vo vývoji technológie IQOS s cieľom pomôcť dospelým fajčiarom prejsť na bezdymové výrobky. IQOS je riešenie typu “Heat-not-burn”, čo znamená, že funguje na báze zahrievania tab ...

Technológie

Bude takto vyzerať smartfón budúcnosti? Spolutvorca Androidu predstavil Project Gem

10.10.2019 14:15

Zatiaľ sú o novom zariadení k dispozícii len obrázky od Andyho Rubina, výkonného manažéra spoločnosti Essential a spolutvorcu Androidu, na ktorých vidíme podlhovastý telefón s veľmi vysokým používateľ ...

Technológie

Robotika: musia byť roboty humanoidné?

09.10.2019 00:10

Rovnaký názov, ako nadpis článku mala aj prednáška profesora Dennisa Honga, riaditeľa RoMeLa (Robotics and Mechanism Laboratory) UCLA na konferencii Slovak TechForum. Dennis predstavil niekoľko veľmi ...

Vyhľadávanie

ITAPA_2019

Najnovšie videá

SlovakiaTech 2019