Facebook今天宣布，它公开开源两种算法，能够发现相同和几乎相同的照片和视频，并称其在其平台上积极用于打击对儿童的剥削，恐怖主义宣传和暴力。该公司指出，这是它首次共享任何与媒体匹配的技术，该技术希望行业合作伙伴，规模较小的开发商和非营利组织将采用这种技术来更轻松地识别有害内容。

全球安全主管Antigone Davis和诚信副总裁Guy Rosen在博客发布时间写道：“当我们确定有害的内容时……技术可以帮助我们找到重复的内容并防止它们被共享”，恰逢Facebook第四届年度儿童安全黑客马拉松。“对于那些已经使用自己的或其他内容匹配技术的人，这些技术是防御的另一层……使系统变得更加强大。”

Facebook说，有问题的两种算法PDQ和TMK + PDQ旨在“大规模”运行，并受现有模型和实现的启发，包括pHash，Microsoft的PhotoDNA，aHash和dHash。照片匹配的PDQ是根据pHash建模的(尽管它是从头开始设计的)，而视频识别TMK + PDQF是由Facebook人工智能研究团队以及意大利摩德纳大学和雷焦艾米利亚大学的学者共同开发的。

两者都有效地将文件存储为短数字哈希(唯一标识符)，即使没有原始图像或视频，也可以帮助确定两个文件是相同还是相似。Facebook指出，通过全球反恐互联网论坛(GIFCT)可以轻松地在公司和非营利组织之间以及与行业合作伙伴共享这些哈希值，因此如果将这些内容上传到其服务中，他们也可以删除这些内容。

“我们根据检测Facebook数十亿条帖子中的滥用情况的经验设计了这些技术，” Davis和Rosen写道。“我们希望，通过回馈社区，我们将使更多的公司能够确保他们的服务安全，并增强在太空工作的非营利组织的能力。

Facebook在PDQ和TMK + PDQ方面的贡献紧随10年前的上述PhotoDNA之后，旨在打击对儿童的剥削。最近，谷歌推出了Content Safety API，这是一个AI平台，旨在识别在线儿童性虐待材料并减少人类评论者接触该内容的机会。

Facebook首席执行官马克·扎克伯格(Mark Zuckerberg) 经常断言，人工智能将大大减少数百万恶意用户的滥用行为。生产过程中的一个具体示例是“最近邻居”算法，该算法发现非法照片的速度比以前的版本快8.5倍，它补充了一个系统，该系统学习了将深层图形嵌入到Facebook Graph中的所有节点(数据收集，故事，广告和网络上的照片-查找可能彼此相关的滥用帐户和页面。

在5月份发布的Facebook的《社区标准执行报告》中，该公司报告说，人工智能和机器学习有助于减少9种内容类别中6种的辱骂性帖子。具体来说，Facebook表示在人类发现它之前主动检测了其采取行动的内容的96.8%(2018年第四季度为96.2%)，对于仇恨言论，它表示现在可以识别出超过400万仇恨中的65%。每个季度从Facebook删除演讲稿的人数，一年前为24%，2018年第四季度为59%。

该公司表示，这些以及其他算法上的改进有助于减少在Facebook上查看的非法内容的总量。报告估计，每观看10,000次该网络内容的人中，只有11到14次观看包含成人裸体和性行为，而25次观看包含暴力。关于恐怖主义，儿童裸露和性剥削，这些数字要低得多。Facebook表示，在2019年第一季度，每10,000次浏览社交网络内容的人中，只有少于三次的观看内容违反了这些政策。