一
爬虫，一般指网络爬虫，根据个人要求，利用算法来爬取万维网上的信息。
网络爬虫按照体系结构和实现技术分为四类：通用网络爬虫、聚焦网络爬虫、增量网络爬虫和深度网络爬虫。
一个爬虫必须要有好的爬取策略和高层架构，一般要经过控制器、解析器、资源库三个步骤。控制器是总的控制中心，会根据URL链接统一分配各个线程的工作，而解析器则会对网页内容进行分析处理，最终将数据记录到资源库中。
二
除了自研的爬虫工具、框架外，目前市面上的爬虫软件主要分为两大类：一类是网站服务器云爬虫简单爬虫软件，一类是采集器。
最流行的Python难学，难用，操作复杂，专业性强，不太适合非本专业的普通用户，所以这里介绍一些好用又简单的爬虫工具。
1. Archer云平台
这是一款提供专业数据爬取、监控、分析服务的大数据应用开发平台，运行在云端，可跨系统运行，反爬取技术优秀，适合企业使用。
2. GooSeeker
Jisuke 也是一款功能强大的爬虫工具，操作简单，界面简洁直观，几乎不需要用户自己设置或者修改爬虫代码，对技术新手非常友好，更适合学生使用。
3. WebMagic
WebMagic是一款开源的Java垂直爬虫框架，更专注于爬虫的开发，可对爬虫框架进行二次开发，简化爬虫流程，采用完全模块化设计，功能覆盖爬虫整个生命周期，适合专业性较高的人群使用。
4. 章鱼收集器
Octopus Collector 是一款非常简单的数据采集器，不需要专业知识，可以自动智能地采集数据，支持多种模板，简单的操作步骤就能抓取数据，简易模式也适合爬虫新手。
5. 后羿收藏家
Houyi Collector 和 Octopus Collector 有着类似的功能和优势，但它的优势在于作为基础工具，它是免费使用的，无需付费就能轻松帮你爬取。接下来我会以 Houyi Collector 为例，展示如何使用它进行爬取。
三
Houyi Scraper 是由前 Google 技术团队打造简单爬虫软件，利用人工智能技术自动识别采集内容，简单易用，被誉为“新手神器”。爬取前，必须先从这个网站下载该软件：。
下载安装完成后，打开Houyi Collector，可以看到简洁的主界面，新用户需要注册登录。
后羿采集器主打的智能采集模式，对于技术小白来说最为友好。只要我们输入想要搜索信息的网址，就能自动进入智能采集模式。比如我打开微博网页，在微博首页搜索电影《哪吒之魔童降世》，得到489条结果。复制这个网址，粘贴到后羿采集器的输入框中，点击智能采集，就进入了智能模式的页面。
如上图所示，后羿采集器会自动识别你输入的URL的页面类型，并识别其中的文字内容等元素。由于很多网站往往要求登录后才能看到全部信息，因此用户可以在后羿采集器中进行登录前的设置。
除了预先登录之外，由于某些网站的特殊要求，用户可能还需要执行一些其他的操作，此时可以使用后羿采集器中的预执行按钮。
点击预执行按钮后，会出现预执行界面，在该界面中，用户可以通过选择元素操作或者直接从窗口底部拖拽需要的元素来保存并执行这一系列操作。
登录后，后羿采集器可以识别网页上的全部信息。但如果网页有多个页面，后羿采集器一般会默认选择自动分页识别。用户也可以点击分页设置来设置分页按钮。
接下来我们可以设置采集范围和数据过滤，比如我只想要前5页数据，那么可以在采集范围-自定义-值中设置结束页为5。
接下来我们就可以进行数据过滤了，通过数据过滤，我们就可以得到我们想要的数据结果了。比如我要采集这个网页上跟电影《姜子牙》相关的微博内容，并且微博点赞数大于10，那么我可以点击数据过滤-新建条件-选择字段名和条件。因为微博文本内容是context，所以选择context作为字段名，选择条件为包含，在值框中输入姜子牙。这样第一个条件就成立了。
但是我还想要第二个条件，即点赞数大于10。由于这两个条件是AND关系，所以点击New Condition。（如果你的第二个条件和你的第一个条件是OR关系，那么你需要点击New Group。）由于上一个数据框中的点赞数是card-act2，所以第二个条件的字段名就是card-act2。条件选择Greater Than，值填10。点击OK，保存过滤条件。
然后点击开始收藏。
点击后会出现以下界面，用户可以选择定时启动或者直接启动。（定时启动是收费的，直接启动是免费的）
启动后，根据采集范围，大约1-5分钟即可获得结果。您可以查看运行过程或直接导出数据。
从图中可以看出，符合这两个条件的数据共有18条，可以直接导出到Excel中，方便快捷。上面我获取了网页前5页中，点赞数在10个以上的与姜子牙相关的微博内容。
后羿抓取工具不仅可以用于微博网页，还可以用于万维网上的任何网页，利用人工智能识别和过滤要抓取的数据，简单易用的智能模式也适合初学者和技术新手使用。
欢迎批评
