爬行和索引是seo的兩個專業(yè)術語,當很多新手接觸seo的時候,他們會將這兩個詞混合使用,認為爬行就是索引。今天筆者就和大家仔細講述一些爬行好索引之間的區(qū)別是什么?
1、爬行
當搜索引擎蜘蛛在站點中發(fā)生爬行時,站點中有一個并且只有唯一一個url被抓取,搜索引擎可以從其他網(wǎng)頁的鏈接跟蹤爬行到這個站點中,所以對爬行的認識就是搜索引擎按照鏈接對站點特定的url進行抓取。
可能上面的概念比較抽象,我們舉例簡單說明,比如說,在很多時候蜘蛛在爬行站點的時候,站點中的有些鏈接就不能被抓取,比如:
(1)鏈接編碼是Javascript,因為這被稱為“蜘蛛陷阱”,爬行站點的時候,蜘蛛會自動屏蔽爬行這些鏈接。
(2)鏈接被標記為robots.txt的 “禁止指令。
(3)孤立的鏈接(沒有人掛的情況下的sitemaps.xml,包括如鏈接)
(4)鏈接所在的頁面是一個包含鏈nofollow指令的頁面
(5)本來是要抓取的鏈接,但是因為服務器不穩(wěn)定的原因無法進行抓取。
2、索引
索引和爬行最大的區(qū)別就是,索引不是一個特定的url被抓取,而是頁面中的很多歌url,簡單的說就是當搜索引擎確定好要索引哪個頁面之后,它就會這個頁面中的所有url進行處理和抓取,在抓取的過程中,蜘蛛會根據(jù)頁面的內容進行適當?shù)奶幚,舉一個簡單的例子,在有的頁面內容中雖然存在一個url但這個url已經(jīng)加上了NOINDEX指令,那么搜索引擎是不會抓取這個頁面的。
站點頁面處于非索引狀態(tài)的原因:
(1)在頁面中含有NOINDEX指令()
(2)重復的內容:具有相同內容頁面可能無法被索引。
(3)其他原因:鏈接的年齡和鏈接流行
如果新手想知道站點中的哪些頁面已經(jīng)被索引了,那么可以通過“site+網(wǎng)站域名”的方式檢索,通過這樣的方式,搜索引擎將會顯示有多少個頁面已經(jīng)被蜘蛛所引并且是哪些頁面。
爬行和索引雖然表示的都是蜘蛛抓取站點,但他們所包含的方向是不一樣的,這里筆者建議注意區(qū)分開。
本文原創(chuàng)http://www.jiaodahaiwai.net 網(wǎng)站,首發(fā)A5網(wǎng)站,轉載請保留有效的鏈接地址,謝謝!