# GPT5.wang 网站爬虫指令文件 # 创建日期:2025年1月27日 # 作者:GPT5.wang # 功能:指导搜索引擎爬虫如何抓取网站内容 User-agent: * Allow: / # 允许所有搜索引擎访问所有页面 Disallow: # 网站地图位置 Sitemap: https://gpt5.wang/sitemap.xml # 爬取延迟(秒) Crawl-delay: 1