搜素引擎是经过专有的蜘蛛程序来查找出每一个网页上的HTML代码，当网页上有链接时就逐一查找，直到没有指向任何页面的链接。蜘蛛程序需求拜访完一切的页面需求花费很长的时刻，所以网站的导航需求便于蜘蛛程序进行索引录入。可依据自己的网站结构，制造网站地图，在网页地图中列出网站一切子栏目的链接，并将网站中一切的文件放在网站的根目录下。网站地图可添加查找引擎友好度，可让蜘蛛程序快速拜访整个站点上的一切网页和栏目。