允許 使用此指令允許搜尋引擎抓取目錄或
頁面,即使在不允許相反操作的目錄中也是如此。例如,如果您想阻止搜尋引擎訪問部落格上除一篇之外的所有帖子,那麼您的 robots.txt 檔案將如下所示: 使用者代理:*禁止:/blog允許:/blog/allowed-post 在此範例中,搜尋引擎可以存取/blog/allowed-post但是; /blog/another-post /blog/yet-another-貼文 /blog/download-me.pdf 他們將無法存取其中的部分內容。 Google 和 Bing 都支援該指令。簡單說明一下:與 Block 指令一樣,如果您在 Allow 指令之後沒有定義路徑,搜尋引擎將忽略它。 關於衝突規則的說明: 如果您不小心,允許和允許指令很容易相互衝突。在下面的範例中,我們阻止訪問/blog/並允許訪問/blog 。 使用者代理:*禁止:/blog/允許:/blog 在這 南非 電話號碼 種情況下,對/blog/post-title/的訪問似乎既被禁止又被允許。那麼這起案件誰是贏家呢? 適用於 Google 和 Bing 的規則是字元數最多的指令獲勝。 您可以在下面找到區塊指令: 塊:/blog/(6 個字元) 允許:/blog(5 個字元) 如果允許和阻止指令的長度相等,則限制最少的指令獲勝。
https://zh-cn.baleads.com/wp-content/uploads/2024/04/twr-2222-300x203.png
所以在這個例子中獲勝者將是allow指令。 請注意:在此範例中/blog(不帶尾部斜杠)仍然可以存取和抓取。 最重要的是,這僅適用於 Google 和 Bing。其他搜尋引擎將偵聽第一個符合的指令。 在這種情況下,將在上面的範例中套用封鎖選項。 網站地圖 使用此指令向搜尋引擎指示網站地圖的位置。 如果您不熟悉,網站地圖通常包含您希望搜尋引擎抓取和索引的頁面。 以下是使用 sitemaps 指令的 robots.txt 檔案的範例: 使用者代理程式:*禁止:/blog/允許:/blog/post-title/ 那麼,將網站地圖包含在 robots.txt 檔案中有多重要? 如果您已透過Google Search Console提交了網站地圖,則 Google 將不再需要此流程。
頁:
[1]