概念

网络爬虫通过统一资源定位符URL 来查找目标网页，将用户所关注的数据内容直接返回给用户，并不需要用户以浏览网页的形式去获取信息，为用户节省了时间和精力，并提高了数据采集的准确度，使用户在海量数据中游刃有余。网络爬虫的最终目的就是从网页中获取自己所需的信息。并最终入库，进行自己的业务处理。另外网络爬虫本质上是一段计算机程序或脚本，其按照一定的逻辑和算法规则自动地抓取和下载万维网的网页，是搜索引擎的一个重要组成部分

应用场景

爬虫实例：

爬虫源：

数据源：

爬取，分析：

业务仓库设计：

数据展示：