首先，蜘蛛抓取內容爬行是自上而下，所以我們通常把網站內重要參數的URL放置在頁面上方，而網站地圖數據放置在下方，這樣更易讓蜘蛛抓取網站重點，突出體現網站的主要內容，而不會浪費蜘蛛抓取內容的機會。   
  其次，經常規律性的更新網站地圖對于蜘蛛的抓取識別效果有很好的提升。同時網站地圖應使用標準W3格式地圖，同時應采用分頁的形式體現，并使網站地圖保持整潔性與統一性，不要出現無必要的重復性銜接，這樣才能使網站地圖Sitemap的效果最大化體現。   
  另外，網站中一些頁面常會出現某些特殊符號參雜在網站地圖URL中，網站地圖并不能對特殊符號充分識別，所以一些內頁面并不是主要體現內容時，應刪除掉這些URL內容，使蜘蛛抓取內容更集中于網站主要內容。