|
|
# 春节加餐02 | 真实世界里，小心屠龙勇士变恶龙
|
|
|
|
|
|
你好，我是DS Hunter。新年快乐！
|
|
|
|
|
|
今天已经是大年初二了，不知道你有没有开始准备走亲访友呢？
|
|
|
|
|
|
在上一节加餐里，我们讲了两个小故事。第一个故事告诉我们，有些事情，尤其是反爬虫这件事情，不靠技术也能解决问题。而另一个故事呢？它告诉我们，在这样你来我往的博弈中，从不同的角度部署反爬虫代码，没准会有意想不到的收获。
|
|
|
|
|
|
好像爬虫、反爬虫的战场就是这么的不同。有的时候，我们必须把目光放在战场外，才能找到更加合适、更加出其不意的策略。那今天，我就再给你讲讲另外两个小故事吧。
|
|
|
|
|
|
今天的故事，会稍稍偏非技术一些。不过呢，还是会引发不小的思考，不会像除夕夜那天的故事基调一样轻松了。反爬虫这件事，本来就是三分靠技术，七分靠心理。你以为十分满分了？不是的，剩下九十分，基本看天意了。
|
|
|
|
|
|
## 故事三
|
|
|
|
|
|
**反爬真的是一件腐蚀人心智的事情，因为这件事本身就不太光明。**
|
|
|
|
|
|
> 曾经有一家公司，被竞对爬得很惨。这个时候，公司成立了一个反爬虫组，小蔡成了整个组的Leader。他使用了大量阴险狡诈的办法，让竞对痛不欲生，最终被自己收购了。
|
|
|
>
|
|
|
> 后来，新的竞争对手慢慢起来了。这时候，公司打算重启反爬组。
|
|
|
>
|
|
|
> 小蔡思考了下周围的办公室环境：上次，自己反爬做得好，一路升得很快，很多人对自己羡慕嫉妒恨。其中，最重要的，就是嫉妒。
|
|
|
>
|
|
|
> 这个时候，几个组都虎视眈眈，希望能拿到这块肥美的蛋糕。小蔡最终决定，把反爬交接出去。他的理由是：我年纪大了，卷不动了，这辈子也不想再做反爬了。
|
|
|
>
|
|
|
> 最终经过一番斗争，小郑拿到了反爬这块大蛋糕。
|
|
|
>
|
|
|
> 但是小郑做下来发现，反爬根本不像想象中的那么好做。竞对抓得很疯狂。于是，小郑开始研究之前小蔡的套路。
|
|
|
>
|
|
|
> 很快，他发现了一大堆放水代码（在07讲我们也会讨论战略性放过爬虫的问题）。经过一番研究，他终于找到了各种“不拦爬虫”的借口。然后他恍然大悟：哦，原来小蔡是这么升的职啊，我还以为他真的做了什么呢。
|
|
|
>
|
|
|
> 就这样，他开始疯狂地刷存在感、秀加班，但是并不拦爬虫。最终，虽然各种事故频出，爬虫拦截没多少，但是上层一直以为他效果很好，以为是在做“战略性部署”。
|
|
|
>
|
|
|
> 但是业务的眼睛是雪亮的，他们根本不会被这种高层玩法欺骗。业务的思维永远在第一层，平常我们都会看不起第一层，但其实第一层的思维是最直接的。拦不住就是拦不住，有什么可说的呢？最终，真正做反爬的几个技术人员不堪重负，选择了离职跳槽竞对。
|
|
|
>
|
|
|
> 业务压力加剧，大老板就开始反思了：会不会我用人不当？要不要考虑把小蔡换回来？
|
|
|
>
|
|
|
> 小郑非常恐慌，因为他知道一旦把小蔡换回来，自己的布局就彻底完了。于是他选择了公布小蔡的放水代码，各种诋毁他，最终导致了小蔡离职。
|
|
|
> 这个故事告诉了我们些什么呢？有时候我也在反思，因为信息量实在太大了。
|
|
|
|
|
|
小郑是做了反爬才变坏的？还是本来就这么坏？谁也不知道。不过，我能说的就只有一点，那就是：**反爬真的是一件腐蚀人心智的事情，因为这件事本身就不太光明。**
|
|
|
|
|
|
刺客信条里有一句话，说的是，_“We work in the darkness to serve the light”_，意思是我们虽然在黑暗中工作，但是我们侍奉的是光明。
|
|
|
|
|
|
要做到这一点是真的很难。
|
|
|
|
|
|
大部分人，一旦 _“Work in the darkness”_ ，就真的会变成 _“Darkness”_ 的一部分了。最终，也成为了自己最痛恨的人。当然，也有一些人的“黑化”，并非什么转变，其实就是内心的恶魔被唤醒了。这谁说得清呢。
|
|
|
|
|
|
这里，我还想用刺客信条里的另一句话来补充一个观点，_“Nothing is true, everyting is permitted”_，翻译过来就是：万物皆虚，诸事皆允。其实也就是说，万物没有对错可言，无需考虑条条框框。
|
|
|
|
|
|
你要注意，这个信条是对内心强大的英雄而言的。而对于我们普通人来说，失去的规则，其实往往才更是我们应该遵守的。内心不够坚定的人，一旦让自己自由奔放，实现所谓的 _“Everything is permitted”_ ，那结果往往就如同魔兽世界的阿尔萨斯，虽然他拔出受诅咒的宝剑，也是为了拯救子民，但事实是，最终他不受自己控制，成为了新的巫妖王。
|
|
|
|
|
|
## 故事四
|
|
|
|
|
|
**是防火墙先动手，还是法务先动手呢？**
|
|
|
|
|
|
> 一个公司的爬虫工程师每天都在调试对方的反爬代码。他每次看的时候，都感觉：这也能叫反爬？然后迅速改好代码，上线。但是很快被业务反馈：这都抓的什么玩意，什么也没有啊。
|
|
|
>
|
|
|
> 奇怪了，到底是为什么呢。
|
|
|
>
|
|
|
> 于是他再调试，找了好久，觉得没啥问题啊。就找到一个小的地方，这也不至于被封啊。等他再次修复了这个小问题上线，发现上线后依然抓不到数据。诶，奇怪了，到底对方在哪里藏了东西呢。
|
|
|
>
|
|
|
> 直到后来，公司和对方达成一致，不竞争了。这个时候，他忍不住问对方：你们是怎么防我们的？我一直调试你们的代码，感觉没有啥反爬措施，为啥我就是抓不到数据？
|
|
|
>
|
|
|
> 对方淡淡地说了句：很简单，我们针对你们的办公楼，放掉了所有的反爬虫规则。也就是说，你上班的时候，调试的都是“没有反爬措施的代码”。实际上，你还从来没见过我们的反爬虫逻辑，更不要说破解了。
|
|
|
>
|
|
|
> 爬虫工程师当场吐血。然后又反问了句：你就不怕我们在办公室直接部署机器抓取么？
|
|
|
>
|
|
|
> 对方笑笑说：怎么可能呢，真到了这个份上，有两个东西会等着你，一个是简单的防火墙封IP，一个是法务。你猜哪个会先来？
|
|
|
|
|
|
你猜猜真到了那一天，是防火墙先动手，还是法务先动手呢？
|
|
|
|
|
|
如果你觉得法务不可能动手，那就大错特错了，事实上爬虫惹上法务问题根本不是什么新鲜事，甚至经常上新闻。所以，**不要存在侥幸心理，更不要在这些尔虞我诈中失去方向。**
|
|
|
|
|
|
## 小结
|
|
|
|
|
|
好了，这两篇加餐的新年故事就到此结束了。谢谢你耐心地听我讲了这么多东西。
|
|
|
|
|
|
最后，我还是想强调一下，其实，这些故事里面包含了很多尔虞我诈的欺骗艺术，不过我想说的是：一定要时刻要记住，欺骗技巧，仅仅是用于商业竞争的，绝对不要失去自我，最终沦落为一个擅长欺骗的人。否则，我们为了坚守正义而选择了反爬这条路，最终的正义又在哪里呢？
|
|
|
|
|
|
屠龙勇士最终变为恶龙的故事，我们听得太多了。希望，你能永远不忘初心，永远坚持当初的信仰。
|
|
|
|
|
|
下节加餐，我们就看看法务是如何对爬虫下狠手的。
|
|
|
|
|
|
## 思考题
|
|
|
|
|
|
不用紧张，今天的思考题咱们还是讨论和故事相关的内容。那就是：你做爬虫或者反爬虫，是主动请缨的，还是被动安排的？如果给你一个重选的机会，你会怎么处理呢？
|
|
|
|
|
|
期待你在评论区的分享，我会及时回复。反爬虽然“无定式”，不过春节了，咱们就不一起探索了。我们一起，聊聊天。
|
|
|
|