📰 本频道不定期推送科技数码类新资讯,欢迎关注!
©️ 发布的内容不代表本频道立场,和你意见不一样的话欢迎在评论区留言表达,但请注意言辞,面斥不雅。
‼️ 关联群组定期清理不活跃成员和僵尸号,误封请联系管理员。
🔗 博客: https://yummy.best
💬 群组: @GodlyGroup
📬 投稿: @GodlyNewsBot
🪧 广告合作: @yummybest_bot.
©️ 发布的内容不代表本频道立场,和你意见不一样的话欢迎在评论区留言表达,但请注意言辞,面斥不雅。
‼️ 关联群组定期清理不活跃成员和僵尸号,误封请联系管理员。
🔗 博客: https://yummy.best
💬 群组: @GodlyGroup
📬 投稿: @GodlyNewsBot
🪧 广告合作: @yummybest_bot.
一项旨在让人工智能公司为他们在网络上采集的内容付费的开放许可标准,现已成为正式规范。
简称为 RSL 的“Really Simple Licensing 1.0”(非常简单许可 1.0)使出版商能够为访问其网站的网络爬虫制定许可和补偿规则。
RSL 集体于 9 月宣布了这一标准,雅虎、Ziff Davis 和 O'Reilly Media 均表示支持。这是对 robots.txt 文件的扩展,该文件规定了网络爬虫可以访问网站的哪些部分。
尽管 RSL 本身无法阻止未购买许可证的 AI 抓取工具,但支持该标准的网络基础设施提供商可以做到,目前这一名单已包括 Cloudflare 和 Akamai,以及 Fastly。
RSL 1.0 的发布让出版商可以阻止他们的内容被像Google AI 模式这样的 AI 驱动搜索功能抓取,同时还能在传统搜索结果中显示。目前,Google没有为网站提供单独退出 AI 功能的选项,否则会将其从传统搜索中移除。
Cloudflare还将允许一些出版商,让已知的 AI 爬虫支付费用以抓取他们的网站。
Cloudflare 在周二宣布,将默认阻止已知的 AI 网络爬虫,以防止它们“未经许可或补偿访问内容”。
随着这一变化,Cloudflare 将开始询问新域名所有者是否愿意允许 AI 爬虫,并且还会允许一些出版商实施“按次抓取付费”费用。
“按次抓取付费”计划将允许出版商为 AI 爬虫访问其内容设定价格。AI 公司可以查看定价并选择是否注册“按次抓取付费”或放弃。
目前这仅适用于“一些主要的出版商和内容创作者”,但 Cloudflare 表示将确保“AI 公司能以正确的方式——经过许可并得到补偿——使用优质内容”。
作为一个站长,你是不是对爬虫不胜其烦?爬虫天天来爬,速度又快,频率又高,服务器的大量资源被白白浪费。
我们今天一起来报复一下爬虫,直接把爬虫的服务器给干死机。
订阅 newsletter 第一时间获得 博客 内容更新