英文seo技术博客是交流学习英文网赚,国外网赚项目及各种黑帽白帽SEO方法的博客,提供seo培训

wordpress通用的robots.txt写法

做英文seo基本上都是用wordpress建站,而为了辅助收录,robots.txt是必须要写的,很多人都会忘掉不写,或者不记得怎么去写了,这里列出一个常用的robots.txt写法,忘记的朋友可以直接拿去用。

此写法只适合应用于谷歌。

User-agent: *
# disallow all files in these directories
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.cgi$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Disallow: /*.php*
Disallow: wp-*
Allow: /wp-content/uploads/
# allow Google ImageBot to search all images
User-agent: Googlebot-Image
Allow: /*

发表评论

电子邮件地址不会被公开。 必填项已用*标注