在互聯(lián)網(wǎng)如此發(fā)達(dá)的今天，同一資料會在多個網(wǎng)站發(fā)布，同一新聞會被大部分媒體網(wǎng)站報道，再加上小站長和SEO人員孜孜不倦的網(wǎng)絡(luò)采集，造成了網(wǎng)絡(luò)上擁有大量的重讀信息。然而當(dāng)用戶搜索某個關(guān)鍵詞時，搜索引擎必定不想呈獻(xiàn)給用戶的搜索結(jié)果都是相同的內(nèi)容。抓取這些重復(fù)的網(wǎng)頁，在一定意義上就是對搜索引擎自身資源的浪費(fèi)，因此去除重復(fù)內(nèi)容的網(wǎng)頁也成了搜索引擎所面臨的一大問題。

在一般的搜索引擎架構(gòu)中，網(wǎng)頁去重一般在spider抓取部分就存在了，“去重”步驟在整個搜索引擎架構(gòu)中實(shí)施的越早，越可以節(jié)約后續(xù)處理系統(tǒng)的資源使用。搜索引擎一般會對已經(jīng)抓取過的重復(fù)頁面進(jìn)行歸類處理，比如，判斷某個站點(diǎn)是否包含大量的重復(fù)頁面，或者該站點(diǎn)是否完全采集其他站點(diǎn)的內(nèi)容等，以決定以后對該站點(diǎn)的抓取情況或是否直接屏蔽抓取。

去重的工作一般會在分詞之后和索引之前進(jìn)行，搜索引擎會在頁面已經(jīng)分出的關(guān)鍵詞中，提取部分具有代表性的關(guān)鍵詞，然后計算這些關(guān)鍵詞的“指紋”。每一個網(wǎng)頁都會有個這樣的特征指紋，當(dāng)新抓取的網(wǎng)頁的王建辭職文和已索引網(wǎng)頁的關(guān)鍵詞指紋有重合時，那么該網(wǎng)頁就可能會被搜索引擎視為重復(fù)內(nèi)容而放棄索引。

實(shí)際工作中的搜索引擎，不僅僅使用分詞步驟所分出的有意義的關(guān)鍵詞，還會使用連續(xù)切割的方式提取關(guān)鍵詞，并進(jìn)行指紋計算。連續(xù)切割就是以單個字向后移動的方式進(jìn)行切詞，比如，“百度開始打擊買賣鏈接”會被切成“百度開”“度開始”“開始打”“始打擊”“打擊買”“擊買賣”“買鏈接”“賣鏈接”。然后從這些詞中提取部分關(guān)鍵詞進(jìn)行指紋計算，參與是否重復(fù)內(nèi)容的對比，具體的可以參考搜索引擎原理之中文分詞技術(shù)這篇文章，這只是搜索引擎識別重復(fù)網(wǎng)頁的基本算法，還有很多其他對付重復(fù)網(wǎng)頁的算法。

因此網(wǎng)絡(luò)上流星的大部分偽原創(chuàng)工具，不是不能欺騙搜索引擎，就是把內(nèi)容做的鬼都讀不通，所以理論上使用普通偽原創(chuàng)工具不能得到搜索引擎的正常收錄和排名。但是由于搜索百度并不是對所有的重復(fù)頁面都直接拋棄不索引，而是會根據(jù)重復(fù)網(wǎng)頁所在網(wǎng)站的權(quán)重適當(dāng)放寬索引標(biāo)準(zhǔn)，這樣使得部分作弊者有機(jī)可乘，利用網(wǎng)站的高權(quán)重，大量采集其他站點(diǎn)的內(nèi)容獲取搜索流量。不過經(jīng)過百度搜索多次升級算法，對采集重復(fù)信息，垃圾頁面進(jìn)行了多次重量級打擊。

所以SEO在面對網(wǎng)站內(nèi)容時，不應(yīng)該再以偽原創(chuàng)的角度去建設(shè)，而需要以對用戶游泳的角度去建設(shè)，雖然后者的內(nèi)容不一定全是原創(chuàng)，一般如果網(wǎng)站權(quán)重沒有大問題，都會得到健康的發(fā)展。

另外，不僅僅是搜索引擎需要“網(wǎng)頁去重”，自己做網(wǎng)站也需要對站內(nèi)頁面進(jìn)行去重。比如分類信息、B2B平臺等UGC類的網(wǎng)站，如果不加以限制，用戶所發(fā)布的信息必然會有大量的重復(fù)，這樣不僅在SEO方面表現(xiàn)不好，站內(nèi)用戶體驗(yàn)也會降很多。

又如SEOer在設(shè)計流量產(chǎn)品大批量產(chǎn)生頁面時，也需要做一個重復(fù)過濾，否則就會大大降低產(chǎn)品質(zhì)量。seoer所設(shè)計的流量產(chǎn)品常見的一般以“聚合”為基礎(chǔ)的索引頁、專題頁或目錄頁，“聚合”就必須有核心詞，不加以過濾，海量核心詞所擴(kuò)展出來的頁面就可能會有大量重復(fù)，從而導(dǎo)致該產(chǎn)品效果不佳，甚至?xí)虼吮凰阉饕娼禉?quán)。