Cloudflare 的机器人付费墙可能会点燃代币化内容淘金热

区块链周刊7月8日报道

以下是 O.XYZ 首席执行官 Ahmad Shadid 的客座文章和观点。

多年来，一个破碎的价值交换定义了 Web。AI 公司竞相构建强大的模型，在未经许可或补偿的情况下部署了机器人来抓取庞大的内容互联网。这种收集新闻、艺术和数据的做法削弱了为数字世界提供动力的创作者。

Cloudflare 是超过 2400 万个网站和全球 16% 流量的守门人，现在已经拨动了开关，阻止了这些爬虫，除非出版商另有说明。TollBit 的机器人状态报告表明，仅在 2025 年 3 月，就有超过 2600 万次 AI 抓取绕过了 robots.txt，这表明旧的 robots.txt 荣誉系统已经死亡。

Cloudflare 迫使机器人在接受之前询问，将杠杆转移到创作者身上，并为代币驱动的市场奠定了基础，在该市场中，访问被跟踪、许可和付费。结果可能会改写数字内容的价值和控制方式，从而加速基于区块链的代币化。

付费墙满足“按次付费”

Cloudflare 的新按爬行付费计划允许出版商向机器人收取访问费用。它借用了付费墙的逻辑，但针对的是机器而不是人。每个爬网程序必须首先通过特殊标头进行身份验证;然后，Cloudflare 对每个 URL 请求进行计量，并从机器人所有者的预付费账户中扣款，将小额付款实时传递给发行商。该模型解决了一个问题 — 补偿 — 同时暴露了另一个问题：权限混乱。爬网程序如何证明它向正确的所有者支付了正确的费用？如果条款发生变化，发布者如何撤销访问权限？

传统合约难以以爬虫程序的速度发展;敲定定制许可证可能需要数周的红线和五位数的法律费用，而爬网程序可以在墨水干之前扫描 100 万页。代币在那里表现出色。它们将 rights、prices 和 revocation rules 直接嵌入到代码中。当爬网程序遇到受保护的内容时，它可以提供基于 wallet 的许可证。该站点在链上验证代币，然后提供或拒绝数据。没有电子邮件链，没有律师 - 只是一个加密的 yes 或 no。

令牌化许可的好处

智能合约自动执行。他们检查每个请求的许可证，并将每次使用记录在透明分类账上。它们还支持精细定价：作家可以按每段收取 satoshi 费用，而摄影师按像素定价，使小额支付变得实用。我们已经有一个大规模的先例 — Shutterstock 与 OpenAI 签订了为期六年的许可协议，该协议将其媒体档案转变为计量源，并在去年产生了超过 1 亿美元的 AI 数据收入。

代币在全球传播，让首尔的爬虫在几秒钟内向圣保罗的诗人付款，跳过了货币摩擦。如果条件允许，许可证可以在二级市场上交易，从而向创作者发送新的版税。这些功能创建了一个可编程的市场，所有者可以在其中设置规则并遵守算法，从而将抓取变成自愿交易。

但摩擦是真实的

代币化不是灵丹妙药。首先，创作者必须铸造他们的作品——许多人认为这一步令人生畏。其次，标准正在竞争。在以太坊上，ERC-1155 允许单个合约批量发行同质化 ID 和 NFT ID，通过批量转账来减少 gas，而 Solana 的 SPL 在自己的程序下铸造每项资产，牺牲了 Solana 超低费用、高吞吐量通道的灵活性。

廉价的第 2 层如何执行这些许可证已经存在：Fox Corp 的“验证”协议在 Polygon 的 PoS 侧链上运行，将内容哈希锚定到以太坊，同时在链下处理快速、低成本的验证。

跨平台执行仍然不稳定。在以太坊上认可的许可证对于基于 Solana 的机器人来说可能看起来不可见，这表明迫切需要可以作为这些代币通用语言的跨链标准。

可扩展性也很重要。Cloudflare 每天处理数万亿个请求。每个 Met 的链上验证都会熔化燃气表。链下证明或第 2 层网络可以提供帮助，但它们会增加复杂性。最后，小型出版商可能会对区块链费用或监管灰色地带望而却步。任何解决方案都必须降低这些障碍，否则就有可能只保护已经强大的人。

加密建设者嗅到机会

到目前为止讨论的每一个约束都尖叫着启动差距。无钱包的非同质化代币 （NFT） 铸造、爬虫可读的许可证模式以及法定货币和代币之间的订阅式桥梁都是成熟的绿色领域。Cloudflare 的举措产生了紧迫感，至关重要的是，它带来了免费营销。

期待直接插入 WordPress 或 Ghost 的工具包，在幕后铸造许可证，然后自动更新robots.txt。渴望获得干净、许可数据的大型 AI 实验室已经在谈判，以共同资助此类管道，因为支付已知费用胜过打多司法管辖区的诉讼。

AI 更好的数据饮食

令牌化内容的作用不仅仅是发送版税。它可以提高模型质量。获得许可的数据集保持可追溯，因此研究人员可以审计偏差和出处。如果艺术品位于不可变令牌后面，则模型可以附加信用和上下文，而不是将它们剥离。

由于代币也可以代表用户贡献的数据，因此数据联盟或合作池可以让普通人分享训练集的收入，从而协调创作者和消费者方面的激励措施。

这种透明度也为公众服务。当 AI 工具引用文章时，它可以直接链接到令牌记录。读者只需单击一下即可追踪世系，恢复 Web 的原始超链接精神。

从提取到交换

Cloudflare 的封锁凸显了加密社区多年来一直高喊的一个事实：数字价值需要数字所有权。Web2 奖励复制粘贴速度;Web3 奖励可证明来源。

是的，障碍仍然存在。标准必须趋同，用户体验必须缩小到“设置一劳永逸”的切换。然而，市场力量现在是一致的：出版商想要杠杆，人工智能实验室需要数据，而区块链轨道可以调解交易。

关闭信号：抓住窗户

上一次 Web 基础设施突然转变这种情况是在浏览器开始标记非 HTTPS 站点的时候。早期锁定的出版商将为创意工作设定底价，而合作而不是掠夺的 AI 构建者将获得他们的模型渴望的干净、合规的数据集。

监管机构在关注，投资者在盘旋，标准机构正在冲刺以跟上步伐。历史将记住刮板获得价格标签的那一天。将访问权限令牌化，让机器人付费，并将互联网的密钥掌握在创作者手中。