Facebook面临的挑战是巨大的。每天都有来自世界各地的数十亿条内容-简短和长篇文章，图像以及二者的组合-被上传到网站。而且其中的任何微小部分（任何短语，图像或视频）都可能包含所谓的不良内容。
在早期，Facebook依靠简单的计算机过滤器通过其单词来识别可能有问题的帖子，例如那些包含亵渎的帖子。这些自动过滤的帖子，以及用户标记为冒犯性的帖子，都已送给人类进行裁决。
2015年，Facebook开始使用人工智能来剔除包含裸露，非法商品和其他违禁内容的图像；那些被认为可能有问题的图像将被发送给人类进行进一步审查。
到2016年，Facebook的AI系统报告的令人反感的照片数量超过了Facebook用户（现在仍然如此）。
Facebook首席执行官马克·扎克伯格（Mark Zuckerberg）在2018年发表了一项大胆的声明：他预测，在五到十年内，Facebook的AI不仅会查找亵渎，裸露以及其他明显违反Facebook政策的行为。这些工具还能够发现欺凌，仇恨言论和其他对平台的滥用，并立即制止它们。
如今，使用AI开发的算法的自动化系统会在用户完成帖子和网站上其他人可以看到它们之间的时间之间扫描每条内容（仅几分之一秒）。在大多数情况下，很明显违反了Facebook的标准，并且AI系统会自动阻止该帖子。在其他情况下，该职位将由人工审核人员做出最终决定，该人员队伍包括15,000名内容审核人员和另外20,000名专注于安全性的员工，在全球20多个机构中运营。
今年第一季度，Facebook删除或采取了其他行动（如添加警告标签），涉及960万多个涉及仇恨言论的帖子，860万涉及对儿童的裸露或剥削的帖子，近800万涉及毒品销售的帖子，2.3数以百万计的帖子涉及欺凌和骚扰，以及数千万的帖子违反了Facebook的其他规定。
目前，Facebook有1000多名工程师致力于进一步开发和实施公司所谓的“完整性”工具。使用这些系统来筛选Facebook上发布的每个帖子，并且在毫秒内这样做，正在消耗计算资源。负责Facebook的AI和完整性工作的Facebook首席技术官Mike Schroepfer与IEEE Spectrum谈到了该团队在构建可检测不良内容的AI系统方面的进展。
自那次讨论以来，Facebook围绕仇恨言论的政策受到了越来越多的审查，尤其是政治人物对分歧言论的关注。一群主要广告客户于6月宣布，他们将在审查情况时停止在该平台上投放广告，而民权组织则向其他人施加压力，要求他们效仿，直到Facebook做出与仇恨言论相关的政策更改，以及煽动仇恨，错误信息，和阴谋。
Facebook首席执行官马克·扎克伯格（Mark Zuckerberg）回应称，Facebook将扩大其认为广告中令人讨厌的内容的类别。现在，该公司禁止声称具有特定种族，种族，国籍，宗教信仰，种姓，性取向，性别认同或移民身份的人对他人的人身安全，健康或生存构成威胁。这项政策变更还旨在更好地保护移民，移民，难民和寻求庇护者免受广告暗示这些群体自卑或表示蔑视。最后，扎克伯格宣布，该公司将标记一些政客和政府官员有问题的帖子为违反Facebook政策的内容。
但是，民权组织说，这还不够。和独立审计公布7月份还表示，Facebook需要走得更远在解决民事权利的关注和造谣。
Schroepfer表示，Facebook的AI系统旨在快速适应政策变化。“我不认为需要相当的技术变化进行调整，”他告诉谱。
为了清楚起见，本次采访已被编辑和压缩。
IEEE Spectrum： 内容审核有哪些好处？这是对Facebook的生存威胁吗？您今年处理好选举干扰问题是否至关重要？
Schroepfer：这可能是存在的。这肯定是巨大的。我们对此投入了大量精力。
正如民主国家的人民和公民一样，任何人都可以参加选举的想法对我们这里的所有人都深感不安和反感。我们不想在任何地方看到这种情况，当然也不要在手表上看到。因此，无论它对公司重要与否，对于我们作为员工而言都是重要的。在内容审核方面，我也有类似的感觉。
这里没有很多简单的选择。可以肯定地阻止人们发布不良消息的唯一方法是不让他们发布任何东西。我们可以放开所有声音，然后说：“对不起，互联网太危险了。没有人可以使用它。” 那肯定会摆脱在线上所有的仇恨言论。但我不想最终进入那个世界。而且，各国政府都在尝试实施这个世界的变体，他们可以在其中决定什么是正确的，而您作为一个人则不是。我也不想到那儿。
我的希望是，我们可以构建一套使我们切实可行的工具，以使我们做好足够的工作，从而使每个人仍然对任何人都可以共享自己想要的东西的想法感到兴奋，从而使Facebook安全，合理。人们进行手术的地方。
Spectrum：您是在AI成为公司工具箱的一部分之前于2008年加入Facebook的。什么时候改变了？您何时开始认为AI工具对Facebook有用？
Schroepfer：十年前，AI在商业上还不可行。该技术并不能很好地发挥作用。在2012年，有很多人将其中之一称为当前深度学习和AI革命的开始。使用我们所谓的监督训练对计算机视觉模型（即神经网络）进行了训练，结果证明它比所有现有模型都要好。
Spectrum：培训是如何进行的，计算机视觉模型是如何进入Facebook的？
比较西兰花和大麻的图像。
只是花椰菜？Facebook的图像分析算法可以比某些人更好地分辨出大麻（左）和天妇罗西兰花（右）之间的区别。
Schroepfer：说我拍了很多照片，然后有人看着他们。如果他们看到猫的照片，则会在文字标签上写上cat。如果是狗中的一只，则文字标签上写着“狗”。如果您构建足够大的数据集并将其提供给神经网络，它将学习如何分辨猫和狗之间的区别。
在2012年之前，它运行得不太好。然后在2012年，此刻似乎是：“哦，哇，这项技术可能行得通。” 几年后，我们正在部署这种形式的技术，以帮助我们检测有问题的图像。
频谱：您的AI系统在所有类型的违禁内容上是否均能正常工作？
Schroepfer：从技术上讲，裸露是最简单的。我不需要了解语言或文化就可以知道这是不是赤裸裸的人类。暴力是一个更加细微的问题，因此从技术上讲，更难解决这一问题。使用仇恨言论，您不仅需要理解语言，而且可能与上下文相关，甚至与最近发生的事件有关。在克赖斯特彻奇枪击事件发生前一周（新西兰，2019年），说“我希望你在清真寺”可能并不意味着什么。一个星期后，这可能是一件可怕的事情。
Spectrum：您在仇恨言论方面取得了多少进展？
施罗普弗（Schroepfer）：人工智能在2020年第一季度主动检测出我们删除的仇恨言论内容中的88.8％，高于上一季度的80.2％。在2020年第一季度，我们对960万条内容采取了行动，因为这违反了我们的仇恨言论政策。
不在标签上：有时图像分析不足以确定张贴的图片是否违反公司的政策。例如，在考虑这些糖果色的大麻小瓶时，算法可以查看任何附带的文本，并在必要时查看帖子上的注释。
频谱：听起来您已经超越了分析图像的工具，而且还使用了分析文本的AI工具。
Schroepfer：人工智能起初非常孤立。人们致力于语言，人们致力于计算机视觉，人们致力于视频。我们将这些东西（在生产过程中，不仅仅是作为研究工作）整合到了多模式分类器中。
[ Schroepfer显示了一盘米饭零食的照片，文字称其为“有效批次”。在这种情况下，您有图像，然后在帖子上有文字。这看起来像水稻碎。就其本身而言，此图像很好。您将文本和它放在一个更大的模型中。然后可以了解发生了什么。五年前那没用。
频谱：今天，Facebook上发布的每个帖子都会被自动化系统立即检查。你能解释一下这个过程吗？
更大的画面： 确定仇恨言论通常是上下文问题。这篇文章中的文字或图片并不是一个人讨厌的故事，但将它们放在一起却可以讲述一个不同的故事。
Schroepfer：您上传图像，并在图像下方写一些文本，然后系统会同时查看图像和文本以尝试查看其违反了哪些策略（如果有）。这些决定基于我们的社区标准。它还将查看帖子上的其他信号，例如人们发表的评论。
它可能是相对瞬间发生的，尽管事实有时可能会发生。也许您上传的帖子中包含错误信息，而在您上传时，我们并不知道它是错误的信息。第二天，我们进行事实检查，然后再次扫描；我们可能会找到您的信息并将其删除。当我们学习新事物时，我们将回顾并寻找违反我们现在所知道的问题的方法。或者，当人们对您的帖子发表评论时，我们可能会更新对它的理解。如果人们说“这太糟糕了”或“那是故意的”或“那看起来是假的”，那么这些评论可能是一个有趣的信号。
Spectrum： Facebook如何将其AI工具应用于选举干扰问题？
Schroepfer：我将选举干扰分为两类。有时您会追求内容，有时候会追求人的行为或真实性。
在内容上，如果您分享错误信息，说：“今天是超级星期三，不是超级星期二，请在星期三投票”，无论您是坐在加利福尼亚州的美国人还是外国演员，这都是一个问题。
有时，人们会伪装成美国人，创建一系列Facebook页面，但实际上它们是外国实体。即使他们共享的所有内容完全符合我们的社区标准，这也是一个问题。那里的问题是，您有一个外国政府在运行信息业务。
在那里，您需要不同的工具。您想要做的就是将各个部分拼凑起来，说：“等一下。所有这些页面（“正义主义者”，“正义之子”和“维纳斯主义者”）都是由管理员管理的，其IP地址在美国境外。因此，即使他们假装不与我坐在门洛帕克（Menlo Park）的办公室共享错误信息相比，这是一个非常不同的问题。
我不会涉及很多技术细节，因为这是对抗性的领域。您要解决的基本问题是，存在一个实体来协调一堆看起来并非全部的事物的活动。因此，这是一系列的Instagram帐户，一系列的Facebook页面或一系列的WhatsApp帐户，并且它们假装是完全不同的事物。我们正在寻找这些东西在某种程度上相关的信号。我们正在浏览[Facebook称之为用户之间关系图的图表]，以了解该网络的属性。
Spectrum：您最近一直在使用哪些最先进的AI工具和方法？
Schroepfer：在人类为AI系统设置指导过程的监督学习下，其效果非常好。但是它有一个非常明显的缺陷：开发这些东西的速度受到整理数据集的速度的限制。如果您要处理一个快速变化的问题域，则必须重建一个新的数据集并重新培训整个事情。
自我监督的灵感来自人们的学习方式，孩子们探索周围世界的方式。为了让计算机自己完成任务，我们获取了大量原始数据，并为计算机构建了自己的测试方法。对于语言，您扫描一堆网页，然后计算机在其中建立一个句子的测试中进行测试，消除其中一个单词，并弄清楚如何预测该单词属于该单词。而且因为它创建了测试，所以实际上知道了答案。我可以使用尽可能多的原始文本，因为它可以处理所有内容，不需要我们坐下来构建信息集。在过去的两年中，由于AI自我监督学习，语言理解发生了一场革命。
光谱：您还兴奋什么呢？
Schroepfer：在过去的几年中，我们一直在努力进行多语言理解。通常，当我试图弄清楚是否有仇恨言论时，我必须经历用每种语言训练模型的整个过程。我必须为每种语言做一次。当您发布帖子时，我们首先要弄清楚的是您的帖子使用的语言。因此，将其发送给西班牙的仇恨语音模型。”
我们已经开始建立一个多语言模型-一个可以在其中输入40种不同语言的文本的框，它可以确定是否是仇恨言论。这样更有效，更易于部署。
一秒钟，只是您可以建立一个可以同时用多种语言理解一个概念的模型的想法真是太酷了。而且它不仅适用于仇恨言论，还适用于多种事物。
几年前，当我们开始研究这种多语言模型时，它的表现要比每个单独的模型都要差。现在，它不仅和英语模型一样好用，而且当您使用没有足够数据的语言时，效果会更好。如此迅速的进展非常令人兴奋。
Spectrum： 您如何将新的AI工具从研究实验室转移到运营用途？
Schroepfer：试图取得下一个突破的工程师通常会说：“酷，我有了新事物，它在机器翻译方面取得了最先进的成果。” 我们说：“太好了。生产需要多长时间？” 他们说：“嗯，每个句子在CPU上运行需要10秒钟。” 我们说：“如果部署整个数据中心，它将吞噬整个数据中心。” 因此，我们采用了最先进的模型，并将其效率提高了10或100或1000倍，也许是以准确性为代价。因此，它不如最新版本，但实际上我们可以将其放入数据中心并在生产中运行。
频谱： 循环中人类的作用是什么？Facebook目前雇用35,000名主持人，这是真的吗？
Schroepfer：是的。目前，我们的目标不是减少这种情况。我们的目标是更好地捕获不良内容。人们通常认为最终状态将是一个完全自动化的系统。我认为这个世界不会很快到来。
随着自动化系统变得越来越复杂，它们消除了越来越多的繁琐工作，从而使人们腾出了时间来从事真正费力的工作，而您不得不花一个小时进行研究。
我们还使用AI为人类主持人提供强大的工具。假设我发现了这个新的模因，它告诉所有人在星期三而不是星期二投票。我面前有个工具，说：“在整个系统中查找它的变体。查找具有相同文字的每张照片，查找提及此内容的每段视频，然后将其杀死。” 并非我找到了这张照片，而是一堆其他人以不同形式上传了该错误信息。
AI的另一个重要方面是，我可以做的一切事情都花在了时间上，以防止他人看到可怕的事物。无论是我们作为主持人还是我们服务的使用者，看着这些东西都是一种糟糕的经历。如果我能够构建能够承受最坏情况，最真实图像暴力的系统，并以自动化方式进行处理，那对我来说是非常有价值的。
