书海居 m.shuhaiju.net

    046 湍流算法(第 2/3 页)

    这是一种针对特定网站或者特定信息不停抓取的技术。

    一般来说能够遵守robots协议来使用这项技术都是没问题的。

    但事实上，网络上遍布的许多网络爬虫，干的都不是人事。

    跟所有人息息相关网络爬虫案例就是黄牛抢票。

    比如全球被各种网络爬虫光顾最多的就是12306。

    每到节假日，尤其是五一、十一、春运这样的出行高峰，热门地区的火车票总会特别难抢，甚至是秒空。而且这个时候12306软件都很难打开，基本也都是拜这种网络爬虫所赐。

    根据统计，华夏12306点击量最高峰曾达到59亿次/小时，平均每秒就有160多万次点击。显然不是正常用户能刷出来的数字。

    官方程序也通过各种升级验证码，来防止黄牛抢票，甚至有一段时间，那些堪称变态级别的验证码甚至难道让一个普通人无所适从。

    即便现在推出人票合一的功能了，但无数抢票软件依然利用加价购买抢票包的方式提供这种服务。

    除此之外，各大航空公司也是非法网络爬虫的重灾区，尤其是经常放出特价机票的那些航司。几乎每次特价机票刚一放出就会被这种爬虫嗅探，然后直接预定但不付款。

    对于航司来说，一般这种特价票预定之后会有半小时的时间给买家付款，半小时内不付款就会再次进入票池，但爬虫技术却能在这些特价票进入到票池后0.01秒之内再次抢到手，直到黄牛党找到愿意加价的买家，用买家身份信息购票并付款。

    可以想象不管是12306还是各大航司，都恨透了这种爬虫。

    毕竟黄牛的加价他们一分钱都赚不到，还增加了网络负载。

    尤其是各大航司，本来是要让利给客户，增加客户粘性的，结果客户没享受到低价票，还会可能因为付了高价，没享受相对应的服务而恼火。

    除了这种网络爬虫之外，还有一些更为恶意的网络爬虫，它们默默的潜伏在网络中不断爬取着各种私人的用户身份信息，各大连锁酒店、各种app的用户系统等等，都是这些网络爬虫的目标。

    可惜的是目前针对这些恶意网络爬虫并没有太好防御性技术手段，一般都是依靠各种硬软件防火墙技术来进行隔绝。

    -->>(第 2/3 页)（本章未完，请点击下一页继续阅读）