1.頁面收錄情況
通過服務(wù)器日志，我們可以知道蜘蛛收錄哪些頁面，收錄的頁面又收錄了哪些信息，在收錄的這些信息之中，哪些是有利的，哪些需要調(diào)整，哪些頁面重復(fù)了，頁面之中是否含有死鏈接等等，如果有的話，需要把這些不利的因素給刪除掉。
2.頁面返回的狀態(tài)碼
網(wǎng)站的正常訪問都和狀態(tài)碼有著千絲萬縷的聯(lián)系，比如，網(wǎng)站的正常訪問的狀態(tài)碼是200，也就是蜘蛛的一次正常訪問就是200，這正常倒是無所謂，一般也不顯示，但是如果是404，再或者是403該如何是好，404倒好知曉，若是403壓根就看不出來，所以此時就需要及時的處理，以免網(wǎng)站被降權(quán)或者損失權(quán)重。
3.抓取時間
一般來講，一個網(wǎng)站的訪問時間有高峰期，也有低潮期，所謂的高峰期就像是馬路上的車一樣，一般早上上班時間以及下班時間比較擁堵，此時網(wǎng)站頁面也是一樣，一般在網(wǎng)站訪問的高峰期來臨之前就把一些重要的信息發(fā)上去，正好他們都能夠看得清楚，第一時間掌握信息，同時也有利于我們網(wǎng)站的內(nèi)容更新。
4.查閱訪問者的IP
有的時候，需要對進(jìn)入到我們網(wǎng)站內(nèi)部的用戶進(jìn)行相關(guān)的分析，一般都是從該用戶所停留時間，訪問頁面數(shù)量等等，以此來判斷用戶是否尋找到了自己需要的信息。