robots.txt 检测

读取网站 robots.txt，检查状态码、文件大小、Sitemap 声明。