网络爬虫又被称为网页蜘蛛、网络蚂蚁、网络机器人等，可以自动化浏览网络中的信息，当然浏览信息的时候需要按照我们制定的规则进行，这些规则我们称之为网络爬虫算法。
爬虫的对象较丰富：文字、图片、视频、任何结构化非结构化的数据爬虫。也衍生了一些爬虫类型：
通用爬虫是搜索引擎抓取系统（百度、谷歌、搜狗等）的重要组成部分，把互联网上的所有网页下载下来，放到本地服务器里形成备份，在对这些网页做相关处理，主要是针对搜索引擎和web服务商提供的爬虫。工作流程：爬取网页——存储数据——内容处理——提供检索——排名服务。
聚焦爬虫：是面向特定需求的一种网络爬虫程序，根据既定的抓取目标，有选择的访问万维网上的网页与相关的连接来获取所需要的信息。通常是爬虫程序员写的针对某种内容的爬虫，而且保证内容需求尽可能相关。
增量网络爬虫：对已经抓取的网页进行实时更新。
深层网络爬虫：爬取一些需要用户提交关键词才能获得的Web页面。
