百度搜索目前已经收录小红书网站上 7 亿 9807 万个网页，小红谷歌则只索引了小红书网站的书禁索引所只索蓝首页，为什么呢？有搜因为小红书早已禁止所有搜索引擎抓取小红书的内容。

蓝点网接到网友提醒称小红书的擎抓 robots.txt 文件已经明确禁止所有搜索引擎抓取内容，不过蓝点网检索后发现实际上小红书是内容能通内手在 2023 年 4 月 2 日修改 robots.txt 文件的，转眼间这都修改了 1 年。过站

目前并不清楚小红书为什么禁止搜索引擎抓取内容，动搜点网从 SEO 角度来说，小红允许搜索引擎抓取有助于给小红书带来更多流量，书禁索引所只索蓝毕竟现在百度都索引了 7 亿多个网页。有搜

而且小红书是擎抓去年 4 月修改的，所以估计也不是内容能通内手因为防止被抓取内容训练 AI 吧？但小红书目前的内容库拿去训练 AI 确实很有价值，毕竟巨量文字和图片内容。过站

不过 robots.txt 文件只是动搜点网君子协定，属于防君子不妨小人的小红那种，除了会导致用户无法从搜索引擎直接查询小红书内容外，其实帮助也不大，毕竟其他非搜索引擎的爬虫也会继续抓取内容，小红书肯定也做了反爬措施了。

现在国内的网站禁止搜索引擎抓取已经是个很常见的事情，或者专门预留一些层级目录供搜索引擎抓取想要获得一些流量，更有甚者甚至别说搜索引擎了，就连正常的用户访问也会被拦截，必须注册账号登录后才能继续访问，这显然不是一个好事情。

附小红书 2023 年 4 月 2 日的 robots.txt 信息：

User-agent:GooglebotAllow:/discovery/item/Allow:/explore/Allow:/sitemap.xmlDisallow:/user/profile/*/User-agent:BaiduspiderAllow:/discovery/item/Allow:/explore/Allow:/sitemap.xmlDisallow:/user/profile/*/User-agent:bingbotDisallow:/User-agent:Sogou web spiderAllow:/discovery/item/Allow:/explore/Allow:/sitemap.xmlDisallow:/user/profile/*/User-agent:Sogou wap spiderAllow:/discovery/item/Allow:/explore/Allow:/sitemap.xmlDisallow:/user/profile/*/User-agent:YisouSpiderDisallow:/User-agent:BaiduSpider-adsAllow:/activity/sem/kratosAllow:/activity/sem/walleUser-agent:*Disallow:/

下面是小红书最新的 robots.txt 信息：

User-agent:GooglebotDisallow:/User-agent:BaiduspiderDisallow:/User-agent:bingbotDisallow:/User-agent:Sogou web spiderDisallow:/User-agent:Sogou wap spiderDisallow:/User-agent:YisouSpiderDisallow:/User-agent:BaiduSpider-adsDisallow:/User-agent:*Disallow:/

• ·育碧2018年在线射击游戏都将加入大逃杀模式
• ·文明6虎蹲炮怎么用 文明6虎蹲炮使用技巧分享
• ·层层恐惧遗产结局是什么 层层恐惧遗产结局介绍
• ·lol暂离AFK检测2.0系统开启公告 暂离检测示意图
• ·《英雄联盟》新春贺岁片 PDD献出为所欲为之刃
• ·黑暗之魂3DLC看不到NPC解决方法详解
• ·战地1飞机怎么控制 战地1飞机操作技巧详解
• ·把我的梦寄给你的故事
• ·《旺达与巨像》重制版2月份上市 新增拍照模式
• ·QQ飞车宠物天梯对战开放时间 积分等级换算一览
• ·lol召唤大魔王提莫皮肤特效 召唤大魔王提莫多少钱
• ·战地1骑马不能攻击左边单位解决方法介绍
• ·《王国之心3》明年1月份发售 计划DLC扩展内容
• ·山中之王和水中之王的故事
• ·黎明杀机黑色裂片有什么用 黑色裂片作用详解
• ·lol2016全球总决赛10月22日SKTvsROX第二场文字战报