如果我们从搜索引擎的角度看一个站点，当爬行、索引和排名时，蜘蛛会遇到什么问题？如果我们解决了这些问题，那么我们就可以设计一个对搜索引擎友好的网站。
一、网页搜索引擎蜘蛛可以发现：如果你想让搜索引擎找到网站，你必须有一个链向主页的外部链接，只有蜘蛛找到首页后，在找到更深的内容页的内部链接，这就需要具有良好结构的网站，所有的页面可以通过连接来实现的。
其次，可以找到页面正常爬行后的页面内容：发现URL必须能被捕获并生成动态数据库，拥有太多参数，会话ID、站点URL flash、框架、可以转向、大量的垃圾邮件，可能导致搜索引擎不收录。
三后，抓取页面如何提取信息：关键字在页面的重要位置分布，编写重要的标记，HTML代码精简，兼容性等，至少可以帮助搜索引擎了解网页内容，提取重要信息。
因此，只有搜索引擎能够找到网页，抓取网页，并从中提取重要信息，以便网站可以作为友好站点返回到搜索引擎。
