1、 案例展示
# cat u_ex161127.log|grep Baiduspider|head -1
u_ex161127.log 是日志文件
2、收集所有的Baiduspider的ip，展示前10个。
# cat u_ex161127.log|grep Baiduspider|awk '{print $9}'|sort|uniq|head -10
3、将所有IP存入ip.txt
# cat u_ex161127.log|grep Baiduspider|awk '{print $9}'|sort|uniq > ip.txt
查看ip.txt中的ip数量
# cat ip.txt|wc -l
1、# 反查ip命令
nslookup ip
2、# 批量检查ip是否是真实Baiduspider,存入Baidu-ip.txt
# cat ip.txt|while read line;do nslookup $line|grep baiduspider|awk -F "baiduspider-" '{print $2}'|awk -F "." '{print $1}'|sed 's/-/\./g';done > baidu-ip.txt
注：while .. ;do ...;done 是循环语句
