技术 SEO 的第一课，是确认搜索引擎能不能找到你、能不能收下你。很多排不上去的网站，问题根本不在内容，而是页面压根没被收录。
抓取，让爬虫走得进来
搜索引擎靠自动程序（爬虫）顺着链接访问网页。你要做的是别挡路，也别浪费它的精力。
robots.txt 是放在网站根目录的一份规则文件，告诉爬虫哪些能抓、哪些不能。常见错误是误把重要页面或 CSS、JS 文件挡掉了，导致爬虫抓到了页面却渲染不出样子。提交 sitemap（网站地图）则是主动递一张清单，列出你希望被收录的页面，帮助爬虫更高效地发现内容。
还要注意抓取预算这个概念。爬虫每天分给一个网站的抓取量是有限的，如果网站有大量无意义的参数网址、筛选项组合、死循环链接，预算就被这些垃圾页面吃掉了，真正重要的页面反而迟迟抓不到。定期看服务器日志和抓取统计，把预算留给有价值的页面。
索引，让搜到的页面留得下来
页面被抓到不等于会被收录。中间还有一道索引关。
canonical（规范标签）用来告诉搜索引擎，这几个网址其实是同一篇内容，请以这一个为准。它能解决重复内容的问题，比如带不带 www、带不带参数，往往是同一个页面。如果同一内容有多个网址且没做规范标注，搜索引擎可能不知道该收录哪一个，权重还会被分散。
noindex（不索引标签）则相反，用来明确告诉搜索引擎，这一页不要收进索引。后台页面、站内搜索页、测试页，都应该加上它，避免它们占着索引位置还稀释整站主题。
还有一个容易踩的坑，是软 404。用户访问一个不存在的页面，服务器却返回了 200 正常状态，页面内容写着「找不到」。对搜索引擎来说，这像是一个真实存在的空页面，会被反复收录又反复丢弃，浪费预算。正确的做法是对不存在的页面返回 404 或 410。
几个高频检查点
确认钱相关的重要页面都正常返回 200，没有被误加 noindex，也没有用 canonical 指向别的页面。确认 http 和 https 版本、带 www 和不带 www 版本只保留一套可收录，另一套做 301 跳转。确认 XML 网站地图已提交到搜索控制台，且里面没有死链和 200 状态的错误页。
如果这一步没做对，后面所有内容优化都是空中楼阁。
一个比喻
抓取和索引像仓库的收货和上架。爬虫是送货员，robots 是门禁，sitemap 是送货单，canonical 是告诉仓库「这几箱是一件货别重复计」，noindex 是贴了「此箱不入仓」的封条。门禁挡错人、送货单写错、封条贴错箱，仓库里自然找不到你的货。