欧美午夜自慰精品一区二区三区_日韩美女av不卡在线观看_91乱码人妻精品一区二区_2018国产精品自拍露面

1、蜘蛛一直抓取的URL，是否有通道，如果有通道，這就是URL規(guī)劃存在問題；

2、如果這個URL，是不存在URL，那么勢必是需要返回碼變404，做死鏈接提交刪除，返回碼404，后期蜘蛛也不會再抓??；

3、Robots封禁，只能是用robots文件，再網(wǎng)頁里面寫的代碼不管用，用robots，你封禁那個頁面，寫好就行，能測試是否已封禁，如果害怕誤封禁某個頁面，可以在站長平臺robots哪里進(jìn)行測試，隨時可調(diào)整；

4、屏蔽admin，，這種無影響；

5、首先要確保前端沒有給蜘蛛留不想被抓取爬行的頁面URL通道，其次robots問題，可操作后去檢測下。