研究：近一半热门新闻网站屏蔽了 OpenAI 爬虫

图片地址：https://img.ithome.com/newsuploadfiles/2024/2/6558f006-b55b-4c08-89a6-e11633d4f31d.jpg?x-bce-process=image/format,f_auto

IT之家 2 月 27 日消息，一项由路透社研究所进行的研究表明，截至 2023 年底，全球 10 个国家的热门新闻网站中，近一半 (48%) 屏蔽了 OpenAI 的爬虫（Crawler），而近四分之一 (24%) 屏蔽了谷歌的 AI 爬虫。图源 Pexels据IT之家了解，该研究所分析了包括纽约时报、BuzzFeed 新闻、华尔街日报、华盛顿邮报、CNN 和 NPR 在内的 15 家覆盖面最广的网络新闻来源的 robots.txt文件。这些新闻机构来自德国、印度、西班牙、英国和美国等国家，涵盖传统印刷媒体、电视广播公司和数字原生媒体等三种类型。研究发现，截至 2023 年底，超过一半 (57%) 的传统印刷媒体网站，例如《纽约时报》，屏蔽了 OpenAI 的爬虫，相比之下，电视和广播公司为 48%，数字原生媒体为 31%。同样，32% 的印刷媒体网站屏蔽了谷歌的爬虫，而广播公司和数字原生媒体的比例分别为 19% 和 17%。