User-agent: * # 通配符*表示对所有搜索引擎爬虫生效 Disallow: /wp-admin/ # 禁止搜索引擎爬虫访问wp-admin目录,以防止爬取敏感内容 Disallow: /wp-includes/ # 禁止搜索引擎爬虫访问wp-includes目录,以防止爬取核心WordPress文件 Disallow: /wp-content/plugins/ # 禁止搜索引擎爬虫访问插件目录,通常插件不需要被索引 Disallow: /wp-content/themes/ # 禁止搜索引擎爬虫访问主题目录,通常主题不需要被索引 Disallow: /readme.html # 禁止搜索引擎爬虫访问readme.html文件,以防止泄露敏感信息 Disallow: /xmlrpc.php # 禁止搜索引擎爬虫访问xmlrpc.php文件,以增加站点安全性 Disallow: /comments/feed/ # 禁止搜索引擎爬虫访问评论的RSS feed,避免重复内容索引 Disallow: /trackback/ # 禁止搜索引擎爬虫访问trackback链接,避免被滥用 Disallow: /feed/ # 禁止搜索引擎爬虫访问默认文章和评论的RSS feed Disallow: /tag/ # 禁止搜索引擎爬虫访问标签页面,以避免重复内容 Disallow: /category/ # 禁止搜索引擎爬虫访问分类页面,以避免重复内容 Disallow: /author/ # 禁止搜索引擎爬虫访问作者页面,以避免重复内容 Allow: /wp-admin/admin-ajax.php # 允许搜索引擎爬虫访问admin-ajax.php文件,以支持站点功能 Sitemap: https://www.shiningintl.com/sitemap.xml # 提供站点地图的URL,以帮助搜索引擎更好地索引站点内容