人工智能生成内容的文化影响：第一部分

原文：towardsdatascience.com/the-cultural-impact-of-ai-generated-content-part-1-6e6a8a51800f?source=collection_archive---------6-----------------------#2024-12-03

当人工智能生成的媒体在我们的生活中变得无处不在时，会发生什么？这与我们之前经历的有什么关系，又会如何改变我们？

https://medium.com/@s.kirmer?source=post_page---byline--6e6a8a51800f--------------------------------https://towardsdatascience.com/?source=post_page---byline--6e6a8a51800f-------------------------------- Stephanie Kirmer

·发表于Towards Data Science ·7 分钟阅读·2024 年 12 月 3 日

–

https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/743d2febdcad87b5e1a96aa3b73e32a6.png

图片来源：Annie Spratt 来自Unsplash

这是我撰写的两部分系列文章的第一部分，分析人工智能生成内容如何影响人们和社区。我已经详细讨论过与此相关的环境、经济和劳动问题，以及歧视和社会偏见。但这一次，我想更深入地探讨一下人工智能生成的媒体和内容对我们心理和社会的影响，特别是它们对我们批判性思维、学习和概念化知识的关系。

历史

伪造行为从摄影发明之初就开始出现。当我们开始拥有一种被认为能展示现象和事件真实、不加修饰的媒体形式时，就是人们开始想出各种方法来操控这种媒体形式的时刻，这些方法在艺术和哲学上产生了巨大的影响。（同时也有幽默或纯粹的欺诈效果。）尽管如此，我们对照片仍然存在一种不合理的信任，并且我们与这种形式的关系在信任与怀疑之间达到了某种平衡。

当我还是个孩子时，互联网还没有广泛普及，绝大多数家庭没有接入，但等到我成为青少年时，这一切发生了彻底的变化，我认识的每个人都在使用 AOL 即时消息。大约在我离开研究生院时，iPhone 发布了，智能手机时代开始了。我重述这些，是为了强调文化创造和消费在短短几十年间发生了惊人且难以辨认的变化。

我认为现在的时刻代表了一个全新时代，特别是在我们消费和创造的媒体和文化内容方面，因为生成式 AI 的推出。这有点像当 Photoshop 开始广泛普及时，我们开始意识到照片有时被修饰过，且我们开始质疑是否能相信图片的真实性。（读者可能会觉得关于“什么是照片”的持续讨论是这个问题的有趣延伸。）但即便如此，Photoshop 价格昂贵，而且使用它需要一定的技能，所以我们接触到的大多数照片都相对真实，而我认为人们普遍期待广告和电影中的图像不会是“真实”的。我们的预期和直觉必须适应技术的变化，而我们或多或少做到了这一点。

当前

如今，AI 内容生成器已经使得人工生成或修改任何类型的内容，包括图像，变得触手可及。不幸的是，要估算在线上有多少内容可能是由 AI 生成的，这个问题极其困难——如果你搜索这个问题，你会看到有参考资料，链接到一篇Europol 文章，宣称到 2026 年这一比例会达到 90%——但读了之后你会发现，这篇研究论文根本没有这么说。你还可能会发现一篇由一些 AWS 研究人员撰写的论文，引用了 另一个出处，说 57% 可能是这个比例——但那也是一种错误的理解（他们谈论的是机器翻译的文本内容，而不是完全由机器生成的文本，更别提图像或视频了）。就我所知，目前没有可靠的、基于科学的研究来确切表明我们所消费的内容中到底有多少是 AI 生成的——即使有，发布的那一刻起，它也会过时。

但如果你仔细想想，这其实是非常合理的。AI 生成内容不断涌现的一个主要原因是，因为现在比历史上任何时候都更难判断你所看到的是否真的是由人类创造的，以及这种表现是否反映了现实。当你根本无法明确辨认出它是什么时，你怎么去统计它，或者即使估算也变得如此困难呢？

我认为我们都曾有过看到来源可疑的内容的经历。我们看到的图像似乎处于“恐怖谷”中，或者强烈怀疑某个零售网站上的产品评论听起来过于正面和通用，觉得那肯定是通过生成式 AI 和机器人创建的。女士们，最近你们有没有尝试在网上寻找理发灵感图片？根据我个人的经验，Pinterest 或其他类似网站上超过 50% 的图片明显是 AI 生成的，具有明显的特征：没有纹理的皮肤、橡胶般的面部特征、带子和项链消失在无处、图像明显不包括手部、从正面永远看不到两只耳朵等等。这些图片很容易被忽略，但大量这样的图片会让你开始怀疑自己看到的是经过重度滤镜处理的真实图像，还是完全由 AI 生成的内容。我一向把了解这些东西当成自己的事，而我自己有时也不确定。听说在约会应用上，单身男性被基于生成式 AI 的诈骗机器人搞得喘不过气来，甚至有一个方法可以检查——“土豆测试”。如果你让机器人说“土豆”，它会忽略你，但一个真实的人可能会做出来。我们生活中的小细节正在被 AI 内容渗透，而这一切并没有得到我们的同意或批准。

为什么？

把这些 AI 垃圾内容扔进这么多在线空间到底有什么意义？最理想的情况是希望人们点击进入那些有广告的网站，提供一些足够让人信服的无意义文字和图片，来获得那些宝贵的广告展示量，从而从广告商那里赚取几分钱。人工生成的产品评论和图片数量庞大，以至于代发货商和便宜货供应商可以通过它们欺骗消费者购买一些比竞争对手便宜一点的东西，让他们以为自己买到了正品。也许这个商品便宜得离谱，失望的买家就会默默接受损失，而不去麻烦退钱。

更糟糕的是，使用大型语言模型（LLM）生成文本和图像的机器人可以用来诱骗人们上当，而因为唯一真正需要的资源是计算能力，这种骗局的规模化成本几乎为零——如果你能时不时地骗到一个人的钱，这笔开销是完全值得的。AI 生成的内容被用于犯罪滥用，包括猪肉切割骗局、AI 生成的 儿童性虐待材料 和非自愿的亲密图像，这些也可能变成敲诈勒索的手段。

也有AI 生成图像的政治动机，视频和文本——在美国选举年，世界各地的不同实体出于不同的角度和目标，制作了 AI 生成的图像和视频以支持他们的观点，并通过生成式 AI 机器人向社交媒体（尤其是前 Twitter）传播宣传信息，内容审查工作已基本停止，防止滥用、骚扰和偏执。传播这些内容的预期是，信息不充分的互联网用户将通过不断重复接触这些内容来吸收其信息，而每当他们意识到某个项目是人工合成时，仍会有无数人接受它为真实。此外，这些材料创造了一个信息生态系统，在这个生态系统中，真相无法定义或证明，从而削弱了良好行为者及其尝试突破噪音的努力。

网络上少数的 AI 生成内容将是实际尝试创建吸引人的图像以供娱乐，或相对无害的套话文本生成，用于填充企业网站，但正如我们大家都很清楚的那样，互联网充斥着诈骗和一夜暴富的骗子，而生成式 AI 的进步已将我们带入了这些行业的全新时代。（而且，这些应用对真正的创作者、能源和环境以及其他问题有着巨大的负面影响。）

我们所处的位置

我意识到我正在描绘我们在线生态系统的一个相当严峻的画面。不幸的是，我认为这很准确，而且只会变得更糟。我并不是说生成式 AI 没有好的用途，但我越来越确信，对我们社会的负面影响将会比正面影响更大、更直接、更有害。

我是这样思考的：我们已经达到了一个时刻，是否可以信任我们所看到或阅读的内容变得不再明确，而且我们经常无法知道我们在线遇到的实体是人类还是 AI。这会如何影响我们对所遇到内容的反应？如果期望我们的思维方式不会因此发生变化，那是愚蠢的，我非常担心我们正在经历的变化并非朝着更好的方向发展。

然而，模糊性是一个很大的挑战。问题不在于我们知道自己在消费不可信的信息，而是它本质上是不可知的。我们永远无法确定。批判性思维和批判性媒体消费习惯有所帮助，但生成式 AI 内容的扩展可能正在超越我们的批判性能力，至少在某些情况下是如此。在我看来，这对我们对信息的信任和信心的概念有着真正的影响。

在我的下一篇文章中，我将详细讨论这可能对我们对周围世界的思维和观念产生何种影响，并考虑如果有的话，我们的社区可能会对此做些什么。

我的作品，请访问 www.stephaniekirmer.com.

此外，常规读者会知道我按两周一次的时间表发布文章，但我将改为按月发布。感谢您的阅读，期待继续分享我的想法！

进一步阅读

www.theverge.com/2024/2/2/24059955/samsung-no-such-thing-as-real-photo-ai

arxiv.org/pdf/2401.05749— Brian Thompson, Mehak Preet Dhaliwal, Peter Frisch, Tobias Domhan, 和 AWS 的 Marcello Federico

www.europol.europa.eu/cms/sites/default/files/documents/Europol_Innovation_Lab_Facing_Reality_Law_Enforcement_And_The_Challenge_Of_Deepfakes.pdf

www.404media.co/ai-generated-child-sexual-abuse-material-is-not-a-victimless-crime/

www.404media.co/fbi-arrests-man-for-generating-ai-child-sexual-abuse-imagery/

[## Instagram 宣传非自愿的 AI 裸照应用

一些 AI 工具的最有害应用并不是隐藏在互联网的黑暗角落，而是积极存在…

www.404media.co

www.smithsonianmag.com/innovation/history-spirit-photography-future-deepfake-videos-180979010

www.brennancenter.org/our-work/research-reports/generative-ai-political-advertising