小职最近看到了一篇新闻《 只因写了一段爬虫，公司200多人被抓!》，因写爬虫被抓坐牢还是头一次见，不过这次的事件惊醒了许多程序员，爬虫究竟是合法还是违法的?

技术无罪

技术本身确实是没有对错的，但使用技术的人是有对错的，公司或者程序员如果明知使用其技术是非法的，那么公司或者人就需要为之付出代价。

在今年国家颁布《中华人民共和国网络安全法》之后，很多以前处于灰色地带的业务都不能做了。

很多草根站长都纷纷主动关闭了网站;还有很多涉及版权信息的网站，比如书籍、影视剧、课程等后期也会面临越来越严格的审查，这就是目前大的形势。

随着中国经济的不断往前走，知识产权问题会越来越重视，非法爬虫是现在一个重要的打击部分，如果有程序员走在灰色的边缘尽早收手，不要因为一点小的收益导致触犯法律，从而得不偿失。

爬虫岗位人人自危

小职在拉钩上搜索：爬虫工程师，显示有 217 条相关招聘信息，薪资从10-60k 都有，说明市场上对爬虫的需求是很大的。小职也看到了许多程序员的提问，下面给大家回答一下这些问题。

什么样的爬虫是非法的？

爬虫不能涉及个人隐私!如果爬虫程序采集到公民的姓名、身份证件号码、通信通讯联系方式、住址、账号密码、财产状况、行踪轨迹等个人信息，并将之用于非法途径的，则肯定构成非法获取公民个人信息的违法行为。

另外，还有下列三种情况，爬虫有可能违法，严重的甚至构成犯罪：

非法获取相关信息

爬虫程序规避网站经营者设置的反爬虫措施或者破解服务器防抓取措施，非法获取相关信息，情节严重的，有可能构成“非法获取计算机信息系统数据罪”。

干扰网站正常运作

爬虫程序干扰被访问的网站或系统正常运营，后果严重的，触犯刑法，构成“破坏计算机信息系统罪”

采集公民个人信息

爬虫采集的信息属于公民个人信息的，有可能构成非法获取公民个人信息的违法行为，情节严重的，有可能构成“侵犯公民个人信息罪”。

什么样的爬虫合法？

遵守 Robots协议

Robots 协议能告诉爬虫，哪些信息是可以爬取，哪些信息不能被爬取，严格按照 Robots 协议 爬取网站相关信息一般不会出现太大问题。

不能造成对方服务器瘫痪

网络运营者采取自动化手段访问收集网站数据，不得妨碍网站正常运行;此类行为严重影响网站运行，如自动化访问收集流量超过网站日均流量三分之一，网站要求停止自动化访问收集时，应当停止。

不能非法获利

恶意利用爬虫技术抓取数据，攫取不正当竞争的优势，甚至是牟取不法利益的，则可能触犯法律。实践中，非法使用爬虫技术抓取数据而产生的纠纷其实数量并不少，大多是以不正当竞争为由提请诉讼。

绝大多数公司和个人使用的爬虫都是没有问题的，不必人人自危，只要把握住不要爬取个人信息，不要利用爬虫非法获利，不要爬取网站的付费内容，基本上不会有问题。程序员可以说是世界上最聪明的一群人，但是在法律之中往往也会产生纰漏，在拥有技术的同时也应在工作中保持谨慎，不要一不小心走上了法律的危险边缘。