robots.txt如何配置

搜索引擎爬虫配置文件robots.txt

配置robots.txt

1.进入您的宝塔，文件管理，进入fecify的根目录，然后进入 pubic文件夹(宝塔文件路径：/www/wwwroot/{网站名称}/public)，查看是否存在robots.txt文件，

• !!!!如果存在，必须将该文件（public/robots.txt）删除（一些老版本默认自带这个文件，需要手动删除掉），如果不存在，则不需要做任何事情
• !!!!如果存在，必须将该文件（public/robots.txt）删除（一些老版本默认自带这个文件，需要手动删除掉），如果不存在，则不需要做任何事情
• !!!!如果存在，必须将该文件（public/robots.txt）删除（一些老版本默认自带这个文件，需要手动删除掉），如果不存在，则不需要做任何事情
• 重要的事情说三遍，如果不删除这个文件，那么插件：自定义文件，配置的文件将无法生效

2.进入自定义文件插件，新建,编辑参数

• 状态：开启
• 文件名：robots.txt
• 文件类型：文件内容
• 文件内容：这里填写您的爬虫规则

填写完成后保存即可，然后前台商城首页地址，后面加上robots.txt 访问，看看是否生效，譬如：https://www.fecshop.cn/robots.txt

• 如果可以访问，则说明已生效
• 如果发现内容不一致，可以刷新一下cloudflare缓存（如果套了cf）