按路径规则生成 robots.txt，把页面列表转成带优先级与更新时间的 sitemap.xml
User-agent: * Disallow: /admin Disallow: /api/private Disallow: /search Allow: /api/public Sitemap: https://example.com/sitemap.xml
robots.txt 只控制抓取，不控制收录：想彻底不收录，还要在页面上加 meta name="robots" content="noindex"。sitemap.xml 的 loc 必须是绝对地址，且同一个 sitemap 最多 5 万条、未压缩不超过 50MB。生成的文件建议放在站点根目录。