vps交流

一个网站有2个域名,能不能禁止搜索引擎抓取起中一个?


两个都放开会影响权重,能不能禁止起中一个被抓取?
可以

怎么搞?去Google账号里设置还是写在robot.txt?

在其中一个站的robots.txt上,配置disable。
如果2个域名使用的是相同内容,你得配置2个webserver,其中一个配置disable即可。
<link rel="canonical" href="https://">
在不需要抓取的站点下添加:

  1.         location ~ (robots.txt) {
  2.             rewrite /robots.txt /wrobots.txt last;
  3.         }

复制代码

新建个wrobots.txt为不需要被抓取
User-Agent: *
Disallow: /

沙龙 发表于 2022-9-20 18:12
在其中一个站的robots.txt上,配置disable。
如果2个域名使用的是相同内容,你得配置2个webserver,其中一 …

2个域名都用一样的内容。不能使用同一个网站源文件么?必须复制一份哇?

M100700 发表于 2022-9-20 18:21
2个域名都用一样的内容。不能使用同一个网站源文件么?必须复制一份哇? …

配置2个webserver,指向相同内容。

在A域名上,通过nginx的location指定robots.txt,不清楚是否可行。

这个好像可以。我研究一下
https://yoast.com/rel-canonical/

lonefly 发表于 2022-9-20 18:18
在不需要抓取的站点下添加:

多谢,可以试试。

赞(0)
版权声明:本贴采用知识共享 署名4.0国际许可协议 [BY-NC-SA] 进行授权
帖子名称:《一个网站有2个域名,能不能禁止搜索引擎抓取起中一个?》
帖子链接:https://bbs.moe.ms/166589.html
此贴由用户自行发布讨论,不代表本站立场。如有违反相关法律法规请及时联系:mail.png删除
Telegram交流群:加入聊天

相关推荐