python爬取高匿代理IP（再也不用担心会进小黑屋了）

很多数据网站，对于反爬虫都做了一定的限制，这个如果写过一些爬虫程序的小伙伴应该都深有体会，其实主要还是IP进了小黑屋了，那么为了安全，就不能使用自己的实际IP去爬取人家网站了，这个时候，就需要采用代理IP去做这些事情……

我们可以对比不同类型的代理的区别，根据代理的匿名程度，代理可以分为如下类别：

Python运行环境：Windows + python3.6
用到的模块：requests、bs4、json
如未安装的模块，请使用pip instatll xxxxxx进行安装，例如：pip install requests

这里，我只大概爬取西刺高匿代理50页的数据，当然了，爬100页，爬全部，都是可以的，就不多说了；

爬取到的代理IP可能不能用，为了方便使用的时候，不报太多异常错误，所以需要先检测一下IP是否能正常使用，是否是有效代理IP，我这里列了三个网站，都可以很方便的检测IP地址是否能有效使用

我这里就不搞那些花里胡哨的，我直接把所有有效的代理IP的json格式的数据存储到文件中，当然了，也可以存储到MongoDB或者MySQL数据库中，不管怎样存储，在使用的时候都是随机选取一个IP，更加方便快捷。

代码我已经上传了GitHub（GitHub源码地址），但是呢，作为一个热心的搬瓦工，为了方便部分人想偷懒，不直接去交友网站查看，我在这里也贴一下源码出来吧，如果有啥问题，最好还是去交友网站找我，请接码……

最后，小编想说：我是一名python开发工程师，

整理了一套最新的python系统学习教程，

想要这些资料的可以关注私信小编“01”即可（免费分享哦）希望能对你有所帮助