1.頁面收錄情況
通過服務器日志，我們可以知道蜘蛛收錄哪些頁面，收錄的頁面又收錄了哪些信息，在收錄的這些信息之中，哪些是有利的，哪些需要調整，哪些頁面重復了，頁面之中是否含有死鏈接等等，如果有的話，需要把這些不利的因素給刪除掉。
2.頁面返回的狀態(tài)碼
網站的正常訪問都和狀態(tài)碼有著千絲萬縷的聯(lián)系，比如，網站的正常訪問的狀態(tài)碼是200，也就是蜘蛛的一次正常訪問就是200，這正常倒是無所謂，一般也不顯示，但是如果是404，再或者是403該如何是好，404倒好知曉，若是403壓根就看不出來，所以此時就需要及時的處理，以免網站被降權或者損失權重。
3.抓取時間
一般來講，一個網站的訪問時間有高峰期，也有低潮期，所謂的高峰期就像是馬路上的車一樣，一般早上上班時間以及下班時間比較擁堵，此時網站頁面也是一樣，一般在網站訪問的高峰期來臨之前就把一些重要的信息發(fā)上去，正好他們都能夠看得清楚，第一時間掌握信息，同時也有利于我們網站的內容更新。
4.查閱訪問者的IP
有的時候，需要對進入到我們網站內部的用戶進行相關的分析，一般都是從該用戶所停留時間，訪問頁面數量等等，以此來判斷用戶是否尋找到了自己需要的信息。