目录:
一年前的今天，Facebook发布了“On The Day”功能。 逆 与Facebook的计算机视觉研究负责人Manohar Paluri谈论人工智能，机器学习和计算机视觉如何使这一功能更有意义 - 以及这些研究和开发领域将如何在未来几年继续改善Facebook体验。
即使您没有自己使用“今日活动”功能，您也可以在新闻Feed中看到这些帖子;你见过一位朋友从他或她的Facebook过去重新分享一个事件。 不敢相信魔术师从帽子里拔出一只兔子已经三年了！ 与所述魔术师的照片配对，将所述兔子拉出所述帽子。类似的东西。而今天，Facebook正在分享自己的记忆。在这一天，一年前，Facebook推出了这一天。 （现在，在这一天拥有超过6000万的每日访问者，1.55亿订阅其通知。）
但对于Facebook来说，这种记忆不像是一个里程碑那么多愁善感。 Facebook不断推出新功能，并不断检查和调整这些功能。有时像帕卢里和他的团队一样，人类会做调整;其他时候是A.I.s.但大多数时候，它是共生的。 Facebook就像一个机器人，这个机器人有一个 raison d'être ：让你的Facebook体验 尽可能愉快.
计算机视觉，内容理解和A.I.可以看到Facebook的小组 - 如果你愿意 - 作为机器人的主板。 Paluri继续比喻，是该主板的中央处理单元。 Paluri从事计算机视觉工作已有十多年了，他也不小：：他从SRI开始，转到IBM Watson实验室，然后从那里跳到谷歌。现在他在Facebook的Menlo Park。当他加入时，他的视觉识别实习项目成为Facebook的图像和视频理解技术的“支柱”。而这种视觉识别引擎正变得越来越重要的Facebook。
“如果你看一下Facebook随着时间的推移 - 这也是马克扎克伯格经常引用的一个例子 - 你会看到更丰富，更丰富的媒体被分享，人们会用它来连接，”帕卢里说。 “你从文字开始，你去看照片;从照片中你可以看到视频，从视频中我们现在可以看到VR。随着通信媒介变得越来越丰富，工具越来越重要，工具也能理解这些内容是什么。除非我们有这个，否则我们将无法在News Feed排名中做得更好，我们将无法在搜索检索方面做得更好，我们将无法更好地为盲人描述照片，我们将不会能够建立更好的人口密度地图。“
Paluri说，人工智能，机器学习和计算机视觉这一相对较新的中心地位，是一种“战略性赌注” - 但这种赌注令他兴奋不已。在其他地方，他的工作在研究和工程之间有如此紧密的反馈和响应循环。 “通过集中化，我们采用最先进的技术，我们推动最先进的技术，然后产品团队和公司的其他成员可以锁定它，”他说。
现在，Paluri负责管理计算机视觉团队。 “团队的高级目标是让机器看到人类的行为方式，”Paluri解释说。 “实际上，超越了人类的能力，例如，细致的识别。我们在顶级会议上发布我们的研究结果，编写技术博客，我们对我们正在开展的工作持开放态度。总的来说，我们的主要目标是将计算机视觉技术引入Facebook的其他产品组。“
收获Paluri团队收获的首要产品恰好是在这一天。
在这一天的简单无辜的面纱背后隐藏着一个复杂的A.I.和计算机视觉系统，可以微调您的助记符体验。 Paluri，再次 - 与On This Day相关联，解释了为什么重温社交网络记忆可能是一件好事：
“怀旧是一种非常积极的现象。所以，例如，以一种即兴的方式看到你的婚礼照片 - 当你没有专门浏览它时，它只是显示在你的新闻Feed上 - 是一种非常愉快的体验。特别是当你在现场浏览时，过去会有积极的记忆。“
“怀旧是一种非常积极的现象。”
然而毫无疑问，怀旧情绪更多地落在苦甜频谱的苦涩一面。 “首先想到的是，”帕卢里说，“你应该把所有的记忆都浮出水面吗？直观的答案是否定的，因为它取决于你当前的状态，它取决于具体的记忆;有很多很多内在的东西。这就是A.I.技术进入了画面。“
并且有两种方式A.I.进来，在这里：一，个性化;二，内容理解。
关于后者，内容理解：“这些记忆是文本记忆，生活事件，您上传的照片或您上传的视频。所以，现在你有这么多不同形式的内容，理解那里的内容对于学习和提供正确的记忆非常重要。“
此外 - 而不仅仅是为了这一天 - 内容理解和这些A.I.系统有助于清除每天在Facebook上的大量信息。 （想一想：如果Facebook的News Feed与Instagram相似，你会看到 也许 所有帖子的百分之二。相反，你会遇到你可能会喜欢的内容，或者你花费大量时间吸收内容的内容。）它有助于过滤掉令人反感的内容，比如色情内容，比在线大多数其他网站都要多。
“尽管这是一种损失，但它给他们带来了积极的记忆。”
而对于前者，帕卢里阐述：“对你而言，也许，看看积极的回忆是好的，你不喜欢任何消极的东西。但是对于其他人来说，也许他们想要提醒他们这一天他们失去了他们的猫。尽管这是一种损失，但它给他们带来了积极的记忆。“而且，从某种意义上说，每个Facebook用户都有一个高度个性化的幕后个人资料，知道他或她想要或不想回忆什么。 “当你与记忆互动时 - 正如你所分享的，你喜欢的，或你解雇的那样 - 有一个机器学习模型，它使用内容理解模块，以及你的喜好，并个性化将来给你的记忆“。
但不要担心：Facebook希望确保你不会被粗暴地提醒分手或亲戚的过世。 “无论A.I.多好。或机器学习技术，我们仍然希望控制用户，因为在一天结束时，我们的目标是重新表现他们喜欢的记忆。“用户获得覆盖开关：”如果他们知道，在这些之间日期，发生了一件负面的事情 - 他们分手了，或者其他什么 - 我们希望让他们完全掌控这些记忆。“
在On This Day的偏好中，你可以说 不要告诉我某某的记忆因为他是一个卑鄙的人 要么 ……过去三年这是悲惨的，绝不值得注意的。
展望未来，Paluri解释了为什么他很高兴继续致力于开发这些系统，并提高Facebook主板的质量。
您已经在Facebook中提到了其他用于视觉和内容理解系统的应用程序。还有什么还在运作 - 采用这些系统 - 让你感到兴奋吗？
视频中的所有这些功能肯定会激发我的兴趣。这肯定已经存在;这是一个持续的事情，因为Facebook上的视频非常大。但我认为，在某种程度上，我们希望能够更加丰富和丰富地理解它。目前的计算机视觉技术在描述人类的方式方面仍然不存在。它可能会告诉你这张照片有这些东西，这是属于猫的像素，依此类推 - 但它是有限的。它仍然不理解事物之间的关系，它仍然没有以人的方式描述它。
有一些描述图像的工作 - 它被称为图像字幕。过去两年里出现了很多作品。但是，如果你看一下这些系统产生的字幕，它们就非常普遍。它们不具有描述性。我们希望的一件事，也就是我们未来的事情，就是以更丰富的方式描述它们。两者都用于图像和视频。如果您有两分钟的视频，则不需要一个句子描述;你想要的是一个对描述有时间感的段落，对吧？ “这件事发生了，然后发生了这件事，然后就发生了，”对吧？这是一个很好的理解。
所以，你正在寻求让我失去工作，你说。简而言之。
笑不，绝对不是。我让你的工作更有趣。
您觉得Facebook对于这项研究来说是一个奇怪的地方，还是一个完美的地方？
我认为这是一个完美的地方，因为内容理解是在Facebook的DNA中。如果你看看Facebook使用量的爆炸性增长，与许多其他竞争对手相比，News Feed是让Facebook成为一个令人惊叹的社交网络的支柱之一。仍然是News Feed是主要的分销渠道。
但是当你来到News Feed时，你没有具体的意图。你到那里获取信息。因此，向我们展示正确的东西，向您展示有意义的东西，这对我们来说非常重要。如果您要去其他服务，也许您有意图，在这种情况下，所有服务需要做的就是给出答案。在这里，就像我给你的问题一样 和 我给你答案了。所以，你需要真的，真的很好的人继续回来。
这就是为什么A.I.和内容理解是Facebook的核心，为什么这是最好的地方。考虑到有多少媒体 - 考虑到Facebook上关于图像和视频的内容有多少，以及向越来越多的视频和VR转变 - 这是最好的做A.I.研究，计算机视觉和机器学习。
这不是一个奇怪的地方：它是 该 地点。