过河拆桥？为防“爬虫”爬取数据训练AI，百度百科屏蔽了谷歌等友商
发布时间：2026-11-06 06:55:24 作者：玩站小弟 
我要评论
我要评论近日有报道称，为了防止未经允许的“爬虫”爬取数据用于训练AI，百度百科已经屏蔽了谷歌、必应等大多数搜索引擎。百度啊百度，你也学会过河拆桥了？有网友扒出了百度百科的robots.txt文件，发现允许放行
海外音乐解锁。
近日有报道称，爬虫为了防止未经允许的过河谷歌“爬虫”爬取数据用于训练AI，百度百科已经屏蔽了谷歌、拆桥海外音乐解锁必应等大多数搜索引擎。为防百度啊百度，爬取屏蔽你也学会过河拆桥了？数据商
有网友扒出了百度百科的robots.txt文件，发现允许放行的训练白名单中，只有百度搜索、百度百科搜狗搜索、等友中国搜索（Chinaso）、爬虫YYSpider和宜搜搜索（EasouSpider）几个搜索引擎，过河谷歌而谷歌、拆桥必应、为防海外音乐解锁微软MSN、爬取屏蔽UC的数据商Yisouspider以及其他搜索引擎的爬虫已被列入了禁止名单。
众所周知，搜索引擎的工作原理，就是依靠“爬虫”到不同的网站上爬取数据，然后展示在自己的搜索结果中。
百度曾经能搜到很多内容，但百度的“爬虫”过于高频地访问网站爬取数据，会对网站的服务器产生巨大压力，影响到了正常运转，会主动选择禁止百度爬取数据。此外，一些网站为了占据用户心智、避免影响广告收入等原因，也会主动选择屏蔽百度的爬虫，这就导致百度越来越难搜到想要东西了。
近几年，AI大模型的快速发展，需要不少用户真实数据进行支撑，而包含百度用户自发编辑的百科内容，绝对是一个不小的数据训练宝库，“人均硕博学历、频繁刚下飞机”的知乎也是同理。但据爆料，知乎已经先百度一步禁止了其他搜索引擎的爬虫，把白名单中的谷歌和必应踢掉，只留下了百度和搜狗。
曾经，百度起家靠的就是爬遍全网的“爬虫”们，把自己爬到了“国服第一”的位置。但现在，想在文心一言上发力的百度却反手禁了其他友商的爬虫，把车门给焊死了，谁都别想上来。
对此，我们也只能感叹到，互联网越来越不互联了。
相关文章
印产iPhone零件合格率或为50%，苹果高端机型仍在中国组装
据苹果最新季度财报显示，该公司第二季度在大中华区的营收同比下降6.5%，成为该季度唯一营收下降的主要市场，同时，苹果手机在中国智能手机市场的出货量已经跌出了前五名。而导致苹果出现下滑的原因，据爆料可能2026-11-06
毫无疑问如今在游戏领域，NVIDIA的DLSS已经成为了标杆，NVIDIA表示未来将会由AI负责游戏的大部分渲染，从而大幅降低GPU的使用负载，提升游戏帧率。近日NVIDIA的DLSS 4.5正式上线2026-11-06
今天，荣威放出了一组M7 DMH黑马版的官图。名字听着挺唬人，但其实没啥大改动，就是把车身上能黑的地方全给你弄黑了。从图片看，中网、轮毂、车窗饰条、后视镜壳，甚至连车标都做了熏黑处理。整体视觉效果确实2026-11-06
2026年北京车展的大幕刚刚拉开，红旗品牌的展台就围满了人。不是看全新H9，也不是看H7，而是红旗有史以来第一款豪华硬派越野SUV的量产版，终于揭开了面纱。说它硬派，真不是随便喊喊口号。先看骨架，红旗2026-11-06
自官降之后，问界M7就一直在爆款的路上狂奔。不过，随着竞品的不断升级，问界M7竞争优势弱化。为了更好地满足市场需求，问界又推出了M7 Max \M7 Pro\ M7 Ultra三款细分车型。作为售价与2026-11-06
有了技术的加持，当年狂妄的李想，又回来了！就在5月15日全新理想L9 Livis即将发布的前夕，理想汽车CEO李想一反常态，没有像往常一样晒订单量或是讲家庭故事，而是连发数条动态，甚至晒出了新车的底盘2026-11-06
最新评论