如果你曾经好奇过像 Perplexity 这样的 AI 工具是如何收集数据的，最近的一场争议或许会引起你的关注。2025 年 8 月 6 日，Malwarebytes 在 X 上曝出重磅消息，揭露 Perplexity AI 正在使用隐秘、未申报的爬虫绕过网站的禁止爬取规则。这引出了一个重要问题：网站是否应该对待 AI 代理与传统网络爬虫区别对待？让我们深入了解细节，探讨这对 AI 及区块链技术未来意味着什么。

Perplexity AI 出了什么事？

Perplexity 是一个 AI 驱动的问答引擎，旨在从网络实时获取信息来回答用户问题。听起来很方便，对吧？但事情有点复杂：一些网站通过robots.txt 文件设置了“禁止入内”的标志，告知爬虫哪些区域不可访问。根据Cloudflare 的调查，Perplexity 并没有遵守这些规则。相反，它使用未申报的爬虫——伪装成普通用户（比如模仿 macOS 上的 Google Chrome 浏览器）的机器人，依然抓取数据。

Malwarebytes 指出，这种行为绕过了网站所有者设置的屏蔽，即使他们明确禁止了 Perplexity 的已知爬虫，如 PerplexityBot 和 Perplexity-User。Cloudflare 的测试显示，这些隐秘爬虫会切换 IP 地址，且不在 Perplexity 官方 IP 范围内，令封锁变得更困难。这就像一场数字版的猫鼠游戏！

为什么这很重要？

这不仅是技术圈的讨论，还触及一些核心问题：

• ​隐私与安全​​：网站常用禁止爬取规则隐藏敏感或未完成内容。无视规则可能会暴露不应公开的数据。
• ​资源消耗​​：爬取过程消耗带宽和服务器资源。当机器人忽视规则时，可能会影响真实用户的访问速度。
• ​伦理与法律​​：绕过 robots.txt 可能违反服务条款或数据保护法律，具体取决于抓取内容及使用方式。

Perplexity 辩称它不同于传统爬虫，因为它只寻找特定答案，而非海量数据。但网站所有者依然有权决定谁能访问其内容，不是吗？这有点像有人敲你的门问个问题，却偷偷溜进你家四处查看！

对区块链和 Meme 代币的更大影响

在Meme Insider，我们专注于为你跟进科技趋势，包括它们如何关联到区块链和 meme 代币。这场 Perplexity 风波或许也会影响去中心化项目。想象一下，如果 AI 爬虫未经许可开始抓取区块链数据或 meme 代币网站——这会不会影响市场透明度，甚至引发法律纠纷？随着区块链领域的不断壮大，针对 AI 数据采集的明确规则将显得尤为关键。

有人建议 Perplexity 可以使用独特的 user-agent 标识，表明它只是抓取特定信息，由网站所有者决定是否允许。这听起来是个合理的折衷方案，但目前这场争论还在升温。

接下来会怎样？

这一问题短期内难以消失。随着 AI 代理变得越来越普遍，关于数据访问的冲突恐怕会更加频繁。Malwarebytes 和 Cloudflare 呼吁透明度，而 Perplexity 则为自身做法辩护。对于区块链爱好者和 meme 代币创作者来说，保持信息灵通至关重要——请持续关注此事的发展，因为它可能塑造我们共同面临的技术格局。

你怎么看？Perplexity 这类 AI 是否应当被允许自由爬取，还是网站所有者需要更强保护？欢迎在评论区分享你的看法，并锁定Meme Insider获取最新动态！