怎么让国内的搜索引擎索引论坛?

我很困惑百度的爬虫为什么碰到论坛就无法索引了,各位运营着 Discourse 站点的有什么解法吗?

百度的爬虫表示无法解析到 IP。甚至连主页也无法检索。

我的还好,google全收录,百度只收录首页。
百度在这块上面好象有人为的针对性,与技术无关。

2赞

你的站用蓝汛的线路吗?不是说跟电信直连的吗?我晚上访问好卡。无所谓了百度。google能收录就好了。

朋友赞助的服务器,我不了解具体情况。

docker安装的discourse, robots.txt怎么改?

写死在代码里了。 app/views/robots_txt/index.erb。默认的配置应该足够合理了?

1赞

多谢多谢, 我傻里傻气的在public文件夹里(看到404在这个文件夹)加robots.txt :baby:

结果官方commit 特意 public/robots.txt → app/views/robots_txt/index.erb

准备只是使用下discourse.

这下得,不明白代码使用起来还是懵懵懂懂. 稀里糊涂

这里是为了提供一个不让论坛被索引的选项,才有这个 commit。