来自美国俄勒冈州立年夜学项目学院以及Adobe公司的科学家联袂，开发出一种用在练习人工智能（AI）的新技能FairDeDup。该技能不只能降低练习成本，并且无望削减AI体系的社会成见。研究团队已经经于近期在美国西雅图进行的IEEE/CVF计较机视觉以及模式辨认集会年夜会上先容了FairDeDup算法。该集会是由电子电气项目师学会（IEEE）计较机协会以及计较机视觉基金会（CVF）配合主理的全世界顶级学术集会。

图片来历：物理学家构造网

FairDeDup是“公允反复数据消弭”的缩写，指从用在练习AI体系的数据中删除了冗余信息，从而年夜幅降低练习成本。研究职员暗示，之以是将新要领定名为FairDeDup，也是由于它基在此前一种具备成本效益的要领Sem���DeDup。SemDeDup可以用更少的资源对于AI举行练习。但这一历程会强化AI的社会成见。于最新研究中，他们经由过程引入公允机制，对于SemDeDup举行了革新，FairDeDup是以面世。

FairDeDup的事情道理是：经由过程一种名为“修剪”的历程，细化从收集上网络的图象字幕数据集。“修剪”指选择能代表整个数据集的数据子集。该东西可以感知内容，并决议保留或者删除了哪些数据。成果显示，FairDeDup删除了了冗余数据，同时联合了可控的、报酬界说的多样性维度，从而削减成见。