过河拆桥？为防“爬虫”爬取数据训练AI，百度百科屏蔽了谷歌等友商
我要评论近日有报道称，爬虫为了防止未经允许的过河谷歌“爬虫”爬取数据用于训练AI，百度百科已经屏蔽了谷歌、拆桥网络加速必应等大多数搜索引擎。为防百度啊百度，爬取屏蔽你也学会过河拆桥了？数据商
有网友扒出了百度百科的robots.txt文件，发现允许放行的训练白名单中，只有百度搜索、百度百科搜狗搜索、等友中国搜索（Chinaso）、爬虫YYSpider和宜搜搜索（EasouSpider）几个搜索引擎，过河谷歌而谷歌、拆桥必应、为防网络加速微软MSN、爬取屏蔽UC的数据商Yisouspider以及其他搜索引擎的爬虫已被列入了禁止名单。
众所周知，搜索引擎的工作原理，就是依靠“爬虫”到不同的网站上爬取数据，然后展示在自己的搜索结果中。
百度曾经能搜到很多内容，但百度的“爬虫”过于高频地访问网站爬取数据，会对网站的服务器产生巨大压力，影响到了正常运转，会主动选择禁止百度爬取数据。此外，一些网站为了占据用户心智、避免影响广告收入等原因，也会主动选择屏蔽百度的爬虫，这就导致百度越来越难搜到想要东西了。
近几年，AI大模型的快速发展，需要不少用户真实数据进行支撑，而包含百度用户自发编辑的百科内容，绝对是一个不小的数据训练宝库，“人均硕博学历、频繁刚下飞机”的知乎也是同理。但据爆料，知乎已经先百度一步禁止了其他搜索引擎的爬虫，把白名单中的谷歌和必应踢掉，只留下了百度和搜狗。
曾经，百度起家靠的就是爬遍全网的“爬虫”们，把自己爬到了“国服第一”的位置。但现在，想在文心一言上发力的百度却反手禁了其他友商的爬虫，把车门给焊死了，谁都别想上来。
对此，我们也只能感叹到，互联网越来越不互联了。
相关文章
《黑神话：悟空》在8月掀起了全球热潮，9月的开学季自然也迎来了同学们对这款游戏大作的热烈讨论。它以引人入胜的故事和逼真的视觉效果，俘获不少人的心，在这场视觉盛宴中，联想拯救者R27qe-30高刷电竞屏2026-11-06
刚交出11月交付破万成绩单的尚界H5，今天扔出了个实在消息——购置税补贴直接延期到12月31日。对纠结下单的消费者来说，这波操作算是精准踩中了痛点。事情得先捋清楚背景：2026年起新能源车购置税要从全2026-11-06
苹果你脸疼吗？联想发布moto X70 Air，5.9mm厚还能插卡，才卖2399元起
今年的iPhone Air一推出，各家友商都像打了鸡血似的选择要跟进，很多牌子纷纷开案，动作快的甚至手机都出来了。然而前不久iPhone Air减产的消息一出，加上昨天有消息称iPhone Air国内2026-11-06
新能源汽车领域如今可以说是“得中国者得天下”，尤其是对于国外传统汽车厂商来说，抱紧中国资源打造新能源汽车产品已经是2025年的主旋律，比如说马自达。之前马自达凭借与长安合作的EZ-6车型在国内稳住了销2026-11-06
近年来存储行业迎来了一波全新的发展机遇，包括DDR5内存、PCIe 5.0的应用以及8K视频与AI的火爆让大家对于存储设备的需求达到了新的高度，也促使着存储厂商不断地推陈出新，在容量以及速度两个维度上2026-11-06
华为Mate80 Pro+参数疑似曝光，搭载新麒麟芯片，有望11月发布
多方消息爆出，华为Mate80系列将会在11月份发布。而今天，数码博主@数码闲聊站 爆出了华为Mate80 Pro+的最新配置信息。根据爆料消息，华为Mate80 Pro+采用的是6.88英寸1.5K2026-11-06
最新评论