Nezávislé hodnocení potvrzuje vysokou přesnost

V Gender-API bereme přesnost naší služby vážně. Nedávno proběhlo nezávislé hodnocení, které mělo ověřit spolehlivost naší služby při určování genderu podle křestních jmen. Výsledky byly povzbudivé a ukázaly vysokou přesnost i efektivitu našeho API při práci s různorodými jmény napříč více zeměmi.

Přehled studie

Validační studie, kterou provedl Jim Hagberg z University of Maryland, měla za cíl vyhodnotit chybovost naší služby pro určení genderu jména ve srovnání s ručně ověřenými online zdroji. Studie analyzovala křestní jména získaná z výzkumných článků publikovaných ve třech vědeckých časopisech:

• Journal of aplikované fyziologie
• Medicína a věda ve sportu a medicíně
• Mezinárodní časopis sportovní medicíny

Analýza zahrnovala 500 křestních jmen, která nebyla genderově jednoznačná a pro výzkumníka byla neznámá. Tato jména byla ověřena pomocí online vyhledávání obrázků nebo genderově specifických zájmen spojených s autory.

Metody určení pohlaví

Studie použila tři nezávislé metody k určení genderu:

• Tradiční rozpoznávání křestních jmen vychází ze všeobecně uznávaných jmen typických pro muže nebo ženy.
• Osobní znalost genderu dané osoby ze strany výzkumníka.
• Gender-API využívá AI a databázi s více než 6 miliony jmen ze 190 zemí, aby dokázalo předpovědět gender.

Klíčová zjištění

• Z 500 jmen nemělo 11 (2,2 %) žádné výsledky v databázi Gender-API.
• Z celkem 488 zbývajících jmen bylo 435 (89,1 %) správně určeno s minimálně 80% jistotou.
• 392 jmen (80,3 %) bylo správně rozpoznáno s jistotou přes 90 %.
• 359 jmen (73,5 %) bylo správně určeno s více než 95% jistotou.
• 282 jmen (57,8 %) bylo správně rozpoznáno s více než 98% jistotou.

Průměrná míra spolehlivosti napříč všemi předpověďmi byla 94 % ± 13 %. To ukazuje vysokou úroveň spolehlivosti, a to i u méně běžných jmen.

Analýza chybovosti

Celkem u 22 jmen (4,5 %) došlo k nesrovnalostem mezi predikcemi Gender-API a ověřením online. Když jsme ale nastavili práh spolehlivosti na 80 %, počet chybně určených jmen klesl na pouhých sedm (1,4 %).

Závěr

Tato nezávislá validační studie potvrzuje, že Gender-API je vysoce spolehlivý nástroj pro určení genderu podle jména. Při použití prahu spolehlivosti 80 % dosahuje velmi nízké míry chybné klasifikace – jen 1,4 %. Naše API tak poskytuje přesnou a snadno škálovatelnou klasifikaci genderu na základě křestních jmen.

Stáhni si zde validační report jako PDF.

Gender-API je spolehlivá volba pro výzkumníky, firmy i analytiky, kteří hledají ověřené řešení pro určování genderu na základě dat.