允許 使用此指令允許搜尋引擎抓取目錄或

muhammad166152@

頁面，即使在不允許相反操作的目錄中也是如此。例如，如果您想阻止搜尋引擎訪問部落格上除一篇之外的所有帖子，那麼您的 robots.txt 檔案將如下所示： 使用者代理：*禁止：/blog允許：/blog/allowed-post 在此範例中，搜尋引擎可以存取/blog/allowed-post但是； /blog/another-post /blog/yet-another-貼文 /blog/download-me.pdf 他們將無法存取其中的部分內容。 Google 和 Bing 都支援該指令。


簡單說明一下：與 Block 指令一樣，如果您在 Allow 指令之後沒有定義路徑，搜尋引擎將忽略它。 關於衝突規則的說明： 如果您不小心，允許和允許指令很容易相互衝突。在下面的範例中，我們阻止訪問/blog/並允許訪問/blog 。 使用者代理：*禁止：/blog/允許：/blog 在這 南非 電話號碼 種情況下，對/blog/post-title/的訪問似乎既被禁止又被允許。那麼這起案件誰是贏家呢？ 適用於 Google 和 Bing 的規則是字元數最多的指令獲勝。 您可以在下面找到區塊指令： 塊：/blog/（6 個字元） 允許：/blog（5 個字元） 如果允許和阻止指令的長度相等，則限制最少的指令獲勝。



所以在這個例子中獲勝者將是allow指令。 請注意：在此範例中/blog（不帶尾部斜杠）仍然可以存取和抓取。 最重要的是，這僅適用於 Google 和 Bing。其他搜尋引擎將偵聽第一個符合的指令。 在這種情況下，將在上面的範例中套用封鎖選項。 網站地圖 使用此指令向搜尋引擎指示網站地圖的位置。 如果您不熟悉，網站地圖通常包含您希望搜尋引擎抓取和索引的頁面。 以下是使用 sitemaps 指令的 robots.txt 檔案的範例： 使用者代理程式：*禁止：/blog/允許：/blog/post-title/ 那麼，將網站地圖包含在 robots.txt 檔案中有多重要？ 如果您已透過Google Search Console提交了網站地圖，則 Google 將不再需要此流程。