爬虫

Colly 从入门到不放弃指南

最近发现知乎上感兴趣的问题越来越少,于是准备聚合下其他平台技术问答,比如 segmentfault、stackoverflow 等。 要完成这个工作,肯定是离不开爬虫的。我就顺便抽时间研究了 Go 的一款爬虫框架 colly。 概要介绍 colly 是 Go 实现的比较有名的一款爬虫框架,而且 Go 在高并发和分布式场景的优势也正是爬虫技术所需要的。它的主要特点是轻量、快速,设计非常优雅,并且分布式的支持也非常简单,易于扩展。

Go 的 Http 请求系统指南

前几天在 “知乎想法” 谈到了一个话题,如何模仿学习,举了通过 net/http client 模仿 Pyhton 的requests的例子。但并未实践,难道想法真的只能是想法吗?当然不是,于是我决定先暂停一周 GO 笔记,来实践下自己的想法。

如何突破自如的爬虫机制

在知乎上看到了一个提问,大概意思是使用xpath为什么无法获取到租房价格信息。问题的链接在这里: 问题地址 看到问题,我也以为很好解决,想着很快写完答案就结束了。结果发现自己是too young too simple。要爬取的网址来自 自如租房。 开始解答这个问题,如下: 看到你这问题 本来想介绍一下xpath,结果发现自己 too young too simple。看样子自如为了反爬竟然用上了雪碧图来显示价格,而且最关键的是 这个雪碧图中数字的显示顺序是随机的,每次刷新都会换一张图。