編者按：前兩周簡要介紹了搜索和捕獲系統(tǒng)的工作原理。根據(jù)工作原理，我們簡要介紹如何根據(jù)搜索引擎爬行系統(tǒng)建立網(wǎng)站。

1.簡單直接的網(wǎng)站結(jié)構(gòu)

蜘蛛爬行相當于遍歷Web的有向圖，因此簡單而清晰的網(wǎng)站結(jié)構(gòu)絕對是它所喜歡的，并嘗試確保蜘蛛的可讀性。

（1）樹結(jié)構(gòu)的結(jié)構(gòu)是“頁面 - 頻道 - 詳細信息頁面”;

（2）平面頁面到詳細頁面的級別盡可能小，對爬行和良好都很友好。

（3）網(wǎng)格保證每個頁面至少有一個文本鏈接指向，這樣可以盡可能全面地捕獲和收集網(wǎng)站，內(nèi)鏈結(jié)構(gòu)也可以對排序產(chǎn)生積極影響。

（4）導(dǎo)航為每個頁面添加導(dǎo)航以方便用戶知道路徑。

（5）子域名和目錄選擇我認為有大量網(wǎng)站管理員對此表示懷疑。我們認為，當內(nèi)容較小且內(nèi)容相關(guān)性較高時，建議以目錄的形式實現(xiàn)，這有利于權(quán)重的繼承和收斂。當內(nèi)容很大并且與主站的相關(guān)性稍差時，建議以子域的形式實現(xiàn)它。

2，簡單而美觀的網(wǎng)址規(guī)則

（1）性別網(wǎng)站中的相同內(nèi)容頁面僅對應(yīng)一個網(wǎng)址，過多的網(wǎng)址形式會分散網(wǎng)頁的權(quán)重，目標網(wǎng)址可能會在系統(tǒng)中被過濾;

（2）盡量減少動態(tài)參數(shù)，確保網(wǎng)址盡可能短;

（3）美學(xué)使用戶和機器能夠通過URL確定頁面內(nèi)容的內(nèi)容;

我們建議使用以下形式的url：url盡可能短且易于閱讀，以便用戶可以快速理解，例如，使用拼音作為目錄名稱;系統(tǒng)中相同的內(nèi)容只生成對應(yīng)的url，刪除無意義的參數(shù);如果網(wǎng)址無法保證性別，請嘗試將不同形式的url301設(shè)為目標網(wǎng)址;防止用戶將錯誤的備用域名301輸入主域名。

3.其他說明

（1）不要忽視不幸的機器人文件。默認情況下，搜索引擎會阻止某些系統(tǒng)機械手。創(chuàng)建網(wǎng)站時，請及時檢查并寫入相應(yīng)的機器人文件。 網(wǎng)站還應(yīng)注意日常維護中的定期檢查; p>

（2）創(chuàng)建一個網(wǎng)站sitemap文件，一個死鏈文件，并通過百度網(wǎng)站管理員平臺及時提交;

（3）一些電子商務(wù)網(wǎng)站存在地理跳躍問題。建議貨物缺貨并制成單頁。該頁面標記為缺貨。如果此區(qū)域中沒有商品，請勿返回無效頁面。由于蜘蛛的出口有限。性別將導(dǎo)致正常頁面不公開。

（4）網(wǎng)站管理員平臺提供的機器人，站點地圖，索引量，爬行壓力，死鏈提交，網(wǎng)站修訂等的合理使用。