Hledání identity pohřešovaných migrantů pomocí umělé inteligence

Každý rok statisíce lidí opouštějí své domovy a opouštějí svou zemi při hledání lepšího života nebo útěku před násilím. Mnozí jsou na cestě zraněni nebo zabiti. Mnoho dalších zmizí, aniž by jejich blízcí věděli, zda jsou živí nebo mrtví, nebo co se s nimi stalo.

Podle projektu Pohřešovaní migranti Mezinárodní organizace pro migraci (IOM) jsme od roku 45 ztratili přehled o 000 2014 migrantech po celém světě, včetně 24 000 ve Středomoří.

V roce 2020 se na alianci INSA (Národní institut aplikovaných věd) obrátil nadregionální forenzní tým Mezinárodního výboru Červeného kříže (ICRC), jehož cílem bylo zlepšit proces identifikace migrantů zemřelých v evropsko-středomořské oblasti. . Je zde mnoho utopenců – 16 000 od roku 2014. Pokud je nám známo, toto úsilí vedené antropologem Jose Pablo Baraybarem z MVČK je jediné, které v regionu řeší tento problém napříč.

Týmy INSA tak zasáhly, aby navrhly řešení této zásadní identifikační práce MVČK, která se musí potýkat s velkým počtem případů, roztroušených nebo nekvalitních informací o pohřešovaných.

Po pilotním projektu vedeném INSA Lyon, který poskytl MVČK nástroje pro správu informací o nalezených tělech, se partnerství formovalo. Integroval Program aliancí nadace INSA.

Tento program mobilizuje studenty a učitele-výzkumníky ke konkrétním případům, pro které nevládní organizace, jako je Handicap International nebo ICRC, potřebují vědecké a technické znalosti. Celkem jde o 37 studentů, kteří v rámci svého kurzu vypracovali sedm projektů kombinující metody a nástroje specifické pro technické školy s terénními znalostmi MVČK.

Umělá inteligence ve službách humanismu

Teoreticky by proces identifikace utonulých mohl být snadno zahájen tak, že by zemřelého poznali jejich příbuzní pomocí fotografií. Tyto dokumenty však nejsou vždy „zobrazitelné“: buď jsou tyto fotografie nekvalitní, nebo jsou těla natolik poškozená a snímky tak traumatické, že brání jakémukoli formálnímu rozpoznání.

Tato situace nás přivedla k prozkoumání myšlenky porovnat fotografie zesnulých jedinců s fotografiemi lidí, které chtěli jejich příbuzní pomocí technologií rozpoznávání obličeje.

Tento přístup byl zkoumán zejména v rámci závěrečné stáže Zacharieho Hellouina v roce 2020. Jeho projekt spočíval v použití a následném vyhodnocení přínosu algoritmů a modelů pro rozpoznávání obličeje při identifikaci pozůstatků nalezených utopených lidí.

Konkrétně jde o přizpůsobení a používání modelů strojové učení, technika umělé inteligence umožňující programu naučit se samostatně rozpoznávat podobnosti a rozdíly v souborech dat. Konfrontací s opakovanými zkušenostmi, jako je rozpoznání identity člověka, program trénuje a zlepšuje své výsledky. Tato práce umožnila ověřit zájem této techniky o rozpoznání nezvěstných.

Abychom to provedli, porovnali jsme fotografie žijících migrantů s fotografiemi zemřelých migrantů v naději, že získáme kladné shody. Za tímto účelem jsme nastavili index podobnosti založený na párovacím algoritmu, který umožňuje získat pravděpodobné skóre identity osoby ve formě procent.

Vše bylo integrováno do webové aplikace určené pro agenty MVČK a osoby, které mají legálně na starosti identifikaci smrtelných ostatků, jako jsou soudní ústavy. Tato aplikace je ve vývoji a každý z projektů si klade za cíl ji vylepšit.

Získané výsledky jsou povzbudivé. Díky tomuto softwaru jsme byli schopni vyvinout kompletní prototyp rozpoznávání obličeje aplikovaného na pohřešované migranty. Abychom však mohli nabídnout skutečně spolehlivé ukazatele podobnosti fotografií živých a mrtvých lidí, bylo by třeba získat tisíce a tisíce fotografií.

Po stanovení těchto limitů nabízí dnes vyvinutý nástroj agentům ICRC možnost řídit svá hledání poskytnutím seznamu pravděpodobných shod, takže hledání je jistě pracné, ale v lidských silách.

Neustále zdokonalování softwaru

Na začátku tohoto projektu, v roce 2020, musely být vypracovány specifikace. Studenti INSA a jejich učitel Charles Dossal proto převedli do odborných termínů automatické nebo neautomatické zpracování, které se má na těchto snímcích provést: vyjmout obličej z dekoru (taška, dno lodi, stůl atd.), vycentrovat a zarovnat obraz, zmírnit nebo odstranit rány, odstranit pěnu z úst a vnést do očí záblesk života.

Dva studenti ve 4^e Adam Hamidallah a Din Triem Phan poté naprogramovali algoritmy, které jsme identifikovali jako nejrelevantnější pro řešení těchto různých problémů. Někdy bylo nutné zkopírovat části zdravé kůže k „digitálnímu vyléčení“ ran nebo vložit oči z jiné tváře, když byly příliš poškozené. Výsledky jsou povzbudivé, ale také jsme byli schopni změřit, že umělá inteligence (AI) by mohla poskytnout úplnější odpovědi.

Během léta 2021 si Zoé Philippon a Jeong Hwan Ko prohlédli tyto hrozné obrázky s cílem přesněji vidět, co může AI přinést této misi.

Cílem Zoé Philippon bylo otestovat limity algoritmů rozpoznávání obličejů založených na umělých neuronových sítích při aplikaci na snímky tváří zesnulých, převážně afrického původu. Tyto algoritmy jsou účinné na snímky podobné těm, které se používají k jejich kalibraci, zde jsou tváře živých lidí, většinou bílé a mužské, s malým podílem ženských nebo afrických tváří.

Proto provedla četné testy, přeškolila AI, aby byla efektivnější na snímcích pohřešovaných osob. Zdá se, že výsledky naznačují, že těmto algoritmům by prospělo, kdyby byly trénovány konkrétněji na tvářích populace, která více zastupuje pohřešované, a že rozpoznávání se výrazně zhoršuje, když je osoba, která má být rozpoznána, mrtvá. Přístup k většímu množství dat by mohl potvrdit tyto velmi povzbudivé počáteční výsledky.

Digitální make-up

Jeong Hwan Ko se pokusil vylepšit výsledky „digitálního make-upu“ pomocí umělých neuronových sítí, rovněž předem trénovaných, k vyplnění děr v obrazech. Tyto metody se ukázaly jako extrémně účinné při mazání zranění, ale k opravě úst nebo očí bylo nutné použít jiné neuronové sítě schopné vložit část obrázku do jiného.

V tuto chvíli si programátor vybírá obrázek, který má vložit, ale v budoucnu bude pravděpodobně efektivnější nechat algoritmus hledat sám sebe ve velké databázi, oči, ústa nebo uši v dobrém stavu, který se nejvíce podobá tomu tvář k identifikaci. Stále je na čem pracovat a i zde by širší přístup k datům nepochybně zlepšil kvalitu této rekonstrukce obličeje.

Dnes projekty pokračují. Neustále hledáme data pro další trénování programů strojového učení. Hledáme také firemní sponzory ochotné podělit se s námi o své technologie, čas a podporu.

Nakonec je třeba poznamenat, že tyto stejné aplikace, vyvinuté jako reakce na krizi pohřešovaných migrantů, lze použít i v jiných kontextech, jako jsou katastrofy, konflikty nebo jakákoli situace, která může vést k neidentifikace zesnulých osob.

Tento článek byl spoluautorem Samuel Kenny, koordinátor Aliance ICRC-INSA.

Sami Yangui, učitel-výzkumník v oboru informatiky, INSA Toulouse et Charles Dossal, profesor matematiky, INSA Toulouse

Tento článek je publikován z Konverzace pod licencí Creative Commons. Čístpůvodní článek.

Obrazový kredit: Shutterstock.com/pabloavanzini