问道飞机加速器 8月31日消息,随着人工智能技术的迅猛发展,曾经用于搜索引擎索引的网络爬虫现在被用于收集训练数据来开发人工智能模型。内容创作者意识到,他们的劳动成果被大科技公司免费使用来开发新的人工智能工具,爬虫协议已经无法解决这个问题。这可能会影响内容所有者在线分享内容的动力,从而从根本上改变互联网。 以下为翻译内容: 20世纪90年代末,出现了一种名为爬虫协议(robots.txt)的简单代码,允许网站所有者告知搜索引擎的机器人爬虫哪些页面可以抓取,哪些页面不能抓取。如今,爬虫协议已成为业界普遍接受的非官方网络…