如果你在过去的六个月里花时间在Facebook上，你可能会注意到一些逼真得令人难以置信的图片:孩子们拿着看起来像专业艺术家作品的画作，或者宏伟的小木屋内部是Airbnb梦想中的东西。
其他的，比如用甲壳类动物做成的耶稣雕像，就很奇怪了。
就像2023年5月疯传的教皇穿着羽绒服的人工智能图像一样，这些人工智能生成的图像在社交媒体平台上越来越普遍，也越来越受欢迎。尽管它们中的许多近乎超现实，但它们经常被用来吸引普通用户的参与。
我们的研究团队来自斯坦福互联网观测站和乔治城大学安全和新兴技术中心，他们调查了100多个Facebook页面，这些页面发布了大量人工智能生成的内容。我们在2024年3月以预印本的形式发表了研究结果，这意味着这些发现还没有经过同行评审。
我们探索了图像的模式，发现了一些页面之间协调的证据，并试图辨别海报的可能目的。
页面运营商似乎出于各种原因发布了人工智能生成的婴儿、厨房或生日蛋糕的照片。
有些内容创造者希望通过合成内容来增加他们的粉丝;骗子利用从小企业窃取的页面来宣传看似不存在的产品;垃圾邮件发送者分享人工智能生成的动物图像，同时将用户推荐到充满广告的网站，这使得所有者可以在不创建高质量内容的情况下收取广告收入。
我们的研究结果表明，这些人工智能生成的图片吸引了用户，而Facebook的推荐算法可能会有机地推广这些帖子。
生成人工智能遇到了诈骗和垃圾邮件
网络垃圾邮件制造者和骗子并不是什么新鲜事。
二十多年来，他们一直使用未经请求的大量电子邮件来推广金字塔计划。他们以老年人为目标，伪装成医疗保险代表或计算机技术人员。
在社交媒体上，奸商利用标题党文章将用户吸引到充斥着广告的网站。回想一下2016年美国总统大选，马其顿青少年在Facebook上分享耸人听闻的政治表情包，并在用户访问他们发布的url后获得广告收入。青少年们不在乎谁赢得了选举。他们只是想赚钱。
在2010年代初，垃圾邮件发送者通过广告吸引了人们的注意，他们承诺任何人都可以通过“一个奇怪的技巧”减掉腹部脂肪或学习一门新语言。
人工智能生成的内容已经成为另一个“奇怪的把戏”。
它看起来很吸引人，制作成本也很低，允许骗子和垃圾邮件发送者生成大量引人入胜的帖子。我们观察到的一些页面每天上传数十张独特的图片。在这样做的过程中，他们遵循了meta自己对页面创建者的建议。该公司表示，频繁发布有助于创作者获得一种算法拾取，从而使他们的内容出现在“Feed”(以前称为“News Feed”)中。
从某种意义上说，大部分内容仍然是标题党:虾耶稣让人们停下来呆呆地看，激发人们分享，纯粹是因为它太奇怪了。
许多用户的反应是点赞或留言。这向算法管理员发出了一个信号，或许这些内容应该被推送到更多人的信息流中。
我们观察到的一些更成熟的垃圾邮件发送者可能意识到了这一点，他们通过从发布url转向发布人工智能生成的图像来提高参与度。然后，他们会在人工智能生成的图片下发表评论，并附上他们希望用户点击的广告内容农场的url。
但更多的普通创作者也利用了人工智能生成图像的参与，而没有明显违反平台政策。
评价“我的”工作!
当我们在CrowdTangle (meta旗下的社交媒体监控平台，将于8月关闭)上查看这些帖子的标题时，我们发现它们是“复制”的标题，这意味着它们在帖子中重复出现。
例如，一些文字说明直接要求用户给一位新手的“画作”打分——即使这幅画是由人工智能生成的——或者祝一位老人生日快乐，以此来吸引互动。Facebook用户经常在人工智能生成的图片下回复鼓励和祝贺的评论
算法推动人工智能生成的内容
我们的调查明显地改变了我们自己的Facebook动态:在访问这些页面的几天内——没有评论、点赞或关注任何内容——Facebook的算法推荐了大量其他人工智能生成的内容。
有趣的是，我们查看了人工智能生成的微型奶牛页面的集群，但短期内并没有增加对实际微型奶牛、正常大小的奶牛或其他农场动物的页面的推荐。相反，该算法推荐了一系列主题和主题的页面，但有一个共同点:它们包含人工智能生成的图像。
2022年，科技网站Verge详细介绍了一份Facebook内部备忘录，内容是关于该公司算法的拟议修改。
根据备忘录，该算法将成为一个“发现引擎”，允许用户接触到他们没有明确寻找的个人和页面的帖子，类似于TikTok的“为你”页面。
我们分析了Facebook自己的“广泛观看内容报告”，该报告列出了每个季度该平台上最受欢迎的内容、域名、链接、页面和帖子。
研究表明，从2021年到2023年，用户从页面和他们不关注的人那里看到的内容比例稳步上升。算法的改变为人工智能生成的内容提供了更大的空间，可以在没有事先参与的情况下有机地推荐——也许可以解释我们和其他用户的体验。
“这篇文章是由人工智能带给你的”
由于meta目前默认情况下不会标记人工智能生成的内容，我们有时会观察到用户警告其他人有关诈骗或垃圾AI内容的信息图表。
然而，如果人工智能生成的内容在没有通知的情况下融入信息环境，meta似乎意识到了潜在的问题。该公司已经发布了几份关于如何处理人工智能生成内容的公告。
2024年5月，Facebook将开始对它可以可靠地检测为合成的内容贴上“人工智能制造”的标签。
但细节决定成败。检测模型的准确性有多高?哪些人工智能生成的内容会被忽略?哪些内容会被不当标记?公众又会如何看待这些标签呢?
虽然我们的工作主要集中在Facebook的垃圾邮件和骗局上，但这有更广泛的影响。
记者们报道了YouTube上针对儿童的人工智能生成视频，以及TikTok上利用生成人工智能盈利的网红。
社交媒体平台将不得不考虑如何对待人工智能生成的内容;如果网络世界充斥着人工生成的帖子、图片和视频，那么用户参与度肯定会下降。
虾耶稣可能是个明显的赝品。但评估真实情况的挑战正在升温。
斯坦福大学互联网观测站研究经理Renee DiResta;乔治城大学安全与新兴技术中心研究助理Abhiram Reddy和乔治城大学安全与新兴技术中心研究员Josh A. Goldstein
本文基于知识共享许可协议，转载自The Conversation。阅读原文。
