什么是robots協議

93

0

展開

下載

收藏

版權說明

發布日期：2023-01-26

true

來源：百度百科

簡介：

robots協議也稱爬蟲協議、爬蟲規則等，是指網站可建立一個robots.txt文件來告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取，而搜索引擎則通過讀取robots.txt文件來識別這個頁面是否允許被抓取。但是，這個robots協議不是防火墻，也沒有強制執行力，搜索引擎完全可以忽視robots.txt文件去抓取網頁的快照。如果想單獨定義搜索引擎的漫游器訪問子目錄時的行為，那么可以將自定的設置合并到根目錄下的robots.txt，或者使用robots元數據（Metadata，又稱元數據）。