谷歌最近更新了其谷歌扩展网络爬虫用户代理的文档，反映了产品命名的变化，并澄清了对搜索的影响，这可能是那些选择阻止爬虫的人所关心的问题。更新后的文档为控制 AI 模型训练中使用的内容访问提供了更清晰的指导。 扩展用户代理 -Extended 于 2023 年 9 月 28 日推出，为网络发布商提供了一个用户代理，可用于控制其网站的抓取方式。发布商可以使用机器人排除协议允许或禁止 扩展用户代理，从而让他们可以选择不将其内容抓取并包含在人工智能训练数据集中。
但这对于发布商如何理
谷歌将谷歌扩展描述为“独立产品令牌”，解用户代理 亚美尼亚 电话号码 的概念来说是非标准术语。 “今天我们宣布推出 -Extended，这是一种新的控件，网络出版商可以使用它来管理其网站是否有助于改进 Bard 和 Vertex AI 生成 API，包括为这些产品提供支持的未来几代模型。 通过使用 -Extended 来控制对网站内容的访问，网站管理员可以选择是否帮助这些人工智能模型随着时间的推移变得更加准确和强大。” 阻止 扩展是通过“ 扩展”用户代理完成的： 用户代理： 扩展 不允许： / 谷歌变更日志 保留了重要更新的变更日志，以指导和与网络出版商和搜索营销社区进行沟通。
开发者页面的变更
日志宣布了对 扩展文档的更改。 此次 阿曼 电话号码列表 修订是在Bard重命名为Gemini Apps后进行的，指定 -Extended 的索引现在有助于 Gemini Apps 和 Vertex AI 生成 API。新的措辞让出版商放心，这不会影响谷歌搜索，解决了人们对选择退出谷歌扩展人工智能数据收集可能产生的影响的潜在担忧。 发生了什么变化？ 的变更日志阐明， 扩展抓取是 Gemini Apps 独有的，对 搜索没有影响。