Proč potřebujeme, aby byla umělá inteligence vysvětlitelná? A na jaké spory se připravit v rámci významné modernizace starých platforem? Moshe Kranc přichází se svým pohledem na technologické výzvy současnosti a nabízí řešení.
Jako technický ředitel mám příležitost potkávat se s mnoha současnými a potenciálními zákazníky, kteří působí v různých oblastech, například v maloobchodě, finančním sektoru, vzdělávání nebo zdravotnictví. To mi poskytuje jedinečný pohled na obchodní a technologické výzvy, kterým tyto společnosti a instituce čelí, a na způsoby, jak se s nimi vypořádávají. V tomto článku popisuji společná témata, se kterými jsem se setkal za posledních několik měsíců u společností z různých segmentů.
Vysvětlitelná umělá inteligence
Umělá inteligence (AI) se dnes nabízí jako řešení mnoha podnikových výzev a nesnází. Za samotná rozhodnutí jsou však nakonec zodpovědní lidé, nikoliv algoritmy. Když se něco pokazí, dělat jen to, co doporučil algoritmus AI, nezní jako příliš rozumný přístup.
Pokud tedy podniky chtějí založit kritická rozhodnutí na algoritmech AI, musí pochopit, proč algoritmus doporučil konkrétní akci a jaké je logické zdůvodnění. To nejen zvyšuje důvěru v systém, ale také pomáhá označit nepřesná nebo jinak problematická doporučení.
Mnoho algoritmů AI, jako je hluboké učení, zakládá svá doporučení na vzorcích, které rozeznávají ve velkých objemech trénovacích dat. V mnoha případech jsou data založena spíše na statistikách než na jakékoli logice srozumitelné pro člověka, takže výsledky mohou obsahovat skrytou předpojatost nebo zkreslení.
Předpokládejme například, že společnost chce analyzovat data a určit úroveň platu, kterou navrhne novému zaměstnanci. Zkušební data použitá k vyladění tohoto algoritmu, pokud jsou založena čistě na historických datech o mzdách, mohou být zkreslená, protože budou ovlivněna nespravedlivými mzdami žen nebo menšin v minulosti.
Jakýkoliv systém založený na AI, který my používáme, je vysvětlitelný, tj. jakákoli doporučení, která navrhuje, mohou být člověku vysvětlena a odůvodněna.
To vyplývá z nejnovějšího technologického vývoje, který dokáže lidem pomoci pochopit nejasné statistické algoritmy typu hlubokého učení, například LIME – Local Interpretable Model-Agnostic Explanations (Lokální interpretovatelná modelová agnostická vysvětlení).
Vysvětlitelnou AI lze použít na cokoli, co má dopad na životy lidí a mohlo by být zkresleno předpojatostí – od stanovení přijetí do vzdělávacího programu nebo na univerzitu až po rozhodnutí, jak (resp. spíš na kolik) někoho pojistit, nebo zda někomu vydat kreditní kartu nebo poskytnout půjčku na základě demografických údajů.
Modernizace s respektem
Někteří naši zákazníci se rozhodli provést významnou modernizaci svých platforem a přechází ze staršího mainframového systému na modernější kontejnerizovanou architekturu založenou na cloudu. Motivací bývá závažná událost, jako je oznámení konce životnosti mainframu, nebo potřeba zvýšit agilnost a zkrátit dobu nutnou pro zavedení nové obchodní funkce.
Ať už zákazníci mají jakýkoliv důvod, musí přechod pečlivě řídit tak, aby obvyklý provoz pokračoval bez přerušení a aby celá společnost byla připravena přijmout a používat nový systém na konci přechodného období.
Veteráni vs. nováčci
Mezi běžná úskalí těchto modernizačních projektů patří rozpor mezi přívrženci starší verze a modernizačními týmy. Příliš často se společnost dělí na „veterány“, kteří rozumí stávajícím podnikovým procesům a technologiím, a „nováčky“, kteří rozumí nejnovějším technologiím a metodologiím.
Výsledkem je určitý kulturní rozkol, kdy přívrženci starší verze nesdílí znalosti s modernizačním týmem, protože se cítí z celého procesu vynecháni, a modernizačnímu týmu zase chybí hluboké znalosti o existující doméně a technologiích, které jsou potřebné k jejich modernizaci. Jedním z řešení, jak takový rozkol zmírnit, je „smíchání“ těchto dvou skupin, například použití produktových manažerů „veteránů“ k řízení požadavků na modernizovaný systém.
- dostupnost odborníků na danou problematiku pro zachycení požadavků;
- vyvíjející se požadavky, které vyplynou až poté, co uživatelé uvidí první verzi;
- čas potřebný k zachycení a implementaci nefunkčních požadavků pro pozdější operace, jako je paralelní provoz a vyřazení z mainframu;
- porodní bolesti při vytváření funkčního vývojového prostředí.
Umíme rozpoznat zkratky
Přístup „velkého třesku“, který neposkytuje žádná krátkodobá řešení, jednoznačně vítězí. Víceletý časový plán pro produkt, který se nasadí najednou na konci vývoje, je odsouzen k selhání, protože tvůrci podnikatelských rozhodnutí ztratí trpělivost dlouho předtím, než bude produkt připraven.
U nás jsme se naučili rozpoznat „zkratky“, které umožňují, aby části nového systému byly nasazeny během několika měsíců, a mohly poskytovat hmatatelné obchodní výhody, které povzbuzují k dalším krokům.
Je lákavé dosáhnout jiných cílů, zatímco modernizujete celý systém, například vylepšit obchodní procesy, které nefungují úplně ideálně, nebo transformovat způsob práce organizace z vodopádového modelu s občasnými dodávkami na agilnější model.
Dle našich zkušeností je ale takový postup chybný, protože tím otevíráte příliš mnoho bojových front najednou. Kdo říká, že nový proces definovaný modernizačním týmem je ve všem lepší než ten stávající? Kdo říká, že uživatelé vašeho produktu by upřednostňovali časté releasy, které by umožnil agilní vývoj? Modernizace je sama o sobě dostatečnou výzvou, a proto by měla být financována a řešena samostatně.