logging模块的使用1——在scrapy框架中

it2026-01-24 4

简单设置log

1.LOG_LEVEL=“WARN”

为了让我们自己希望输出到终端的内容能够更容易看懂一些“ 我们可以在settings.py中设置log的级别在settings.py中添加一行（全部大写） LOG_LEVEL="WARN" 这样的话，默认终端显示的就是比"WARN"等级要高的log信息

添加之前终端的显示

启动爬虫：scrapy crawl itcast

2020-10-22 15:45:37 [scrapy.utils.log] INFO: Scrapy 2.4.0 started (bot: Myspider) 2020-10-22 15:45:37 [scrapy.utils.log] INFO: Versions: lxml 4.6.1.0, libxml2 2.9.5, cssselect 1.1.0, pars el 1.6.0, w3lib 1.22.0, Twisted 20.3.0, Python 3.7.7 (tags/v3.7.7:d7c567b08f, Mar 10 2020, 10:41:24) [MSC v.1900 64 bit (AMD64)], pyOpenSSL 19.1.0 (OpenSSL 1.1.1h 22 Sep 2020), cryptography 3.1.1, Platform Win dows-10-10.0.18362-SP0 2020-10-22 15:45:37 [scrapy.utils.log] DEBUG: Using reactor: twisted.internet.selectreactor.SelectReactor 2020-10-22 15:45:37 [scrapy.crawler] INFO: Overridden settings: {'BOT_NAME': 'Myspider', 'NEWSPIDER_MODULE': 'Myspider.spiders', 'ROBOTSTXT_OBEY': True, 'SPIDER_MODULES': ['Myspider.spiders'], 'USER_AGENT': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ' '(KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36'} 2020-10-22 15:45:37 [scrapy.extensions.telnet] INFO: Telnet Password: 3bdc4323663f62da 2020-10-22 15:45:37 [scrapy.middleware] INFO: Enabled extensions: ['scrapy.extensions.corestats.CoreStats', 'scrapy.extensions.telnet.TelnetConsole', 'scrapy.extensions.logstats.LogStats'] 2020-10-22 15:45:37 [scrapy.middleware] INFO: Enabled downloader middlewares: ['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware', 'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', 'scrapy.downloadermiddlewares.retry.RetryMiddleware', 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', 'scrapy.downloadermiddlewares.stats.DownloaderStats'] 2020-10-22 15:45:37 [scrapy.middleware] INFO: Enabled spider middlewares: ['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', 'scrapy.spidermiddlewares.referer.RefererMiddleware', 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', 'scrapy.spidermiddlewares.depth.DepthMiddleware'] 2020-10-22 15:45:37 [scrapy.middleware] INFO: Enabled item pipelines: ['Myspider.pipelines.MyspiderPipeline1'] 2020-10-22 15:45:37 [scrapy.core.engine] INFO: Spider opened 2020-10-22 15:45:37 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) 2020-10-22 15:45:37 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023 2020-10-22 15:45:37 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.itcast.cn/robots.txt> (refe rer: None) 2020-10-22 15:45:38 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.itcast.cn/channel/teacher.s html#ajavaee> (referer: None) {'name': '娄老师', 'title': '课程研究员'} 2020-10-22 15:45:38 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.itcast.cn/channel/teacher.s html> {'name': '娄老师', 'title': '课程研究员'} {'name': '王老师', 'title': '课程研究员'} 2020-10-22 15:45:38 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.itcast.cn/channel/teacher.s html> {'name': '王老师', 'title': '课程研究员'} {'name': '王老师', 'title': '课程研究员'} 2020-10-22 15:45:38 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.itcast.cn/channel/teacher.s html> {'name': '王老师', 'title': '课程研究员'} {'name': '周老师', 'title': '课程研究员'} 2020-10-22 15:45:38 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.itcast.cn/channel/teacher.s html> {'name': '周老师', 'title': '课程研究员'} {'name': '刘老师', 'title': '课程研究员'} 2020-10-22 15:45:38 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.itcast.cn/channel/teacher.s html> {'name': '刘老师', 'title': '课程研究员'} {'name': '李老师', 'title': '课程研究员'} 2020-10-22 15:45:38 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.itcast.cn/channel/teacher.s html> {'name': '李老师', 'title': '课程研究员'} {'name': '钱老师', 'title': '课程研究员'} 2020-10-22 15:45:38 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.itcast.cn/channel/teacher.s html> {'name': '钱老师', 'title': '课程研究员'} {'name': '任老师', 'title': '课程研究员'} 2020-10-22 15:45:38 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.itcast.cn/channel/teacher.s html> {'name': '任老师', 'title': '课程研究员'} {'name': '周老师', 'title': '课程研究员'} 2020-10-22 15:45:38 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.itcast.cn/channel/teacher.s html> {'name': '周老师', 'title': '课程研究员'} {'name': '孟老师', 'title': '课程研究员'} 2020-10-22 15:45:38 [scrapy.core.engine] INFO: Closing spider (finished) 2020-10-22 15:45:38 [scrapy.statscollectors] INFO: Dumping Scrapy stats: {'downloader/request_bytes': 617, 'downloader/request_count': 2, 'downloader/request_method_count/GET': 2, 'downloader/response_bytes': 91079, 'downloader/response_count': 2, 'downloader/response_status_count/200': 2, 'elapsed_time_seconds': 0.679647, 'finish_reason': 'finished', 'finish_time': datetime.datetime(2020, 10, 22, 7, 45, 38, 401376), 'item_scraped_count': 90, 'log_count/DEBUG': 92, 'log_count/INFO': 10, 'response_received_count': 2, 'robotstxt/request_count': 1, 'robotstxt/response_count': 1, 'robotstxt/response_status_count/200': 1, 'scheduler/dequeued': 1, 'scheduler/dequeued/memory': 1, 'scheduler/enqueued': 1, 'scheduler/enqueued/memory': 1, 'start_time': datetime.datetime(2020, 10, 22, 7, 45, 37, 721729)} 2020-10-22 15:45:38 [scrapy.core.engine] INFO: Spider closed (finished)

添加之后终端的显示

启动爬虫：scrapy crawl itcast

{'name': '娄老师', 'title': '课程研究员'} {'name': '王老师', 'title': '课程研究员'} {'name': '王老师', 'title': '课程研究员'} {'name': '周老师', 'title': '课程研究员'} {'name': '刘老师', 'title': '课程研究员'} {'name': '李老师', 'title': '课程研究员'} {'name': '钱老师', 'title': '课程研究员'} {'name': '任老师', 'title': '课程研究员'} {'name': '周老师', 'title': '课程研究员'} {'name': '孟老师', 'title': '课程研究员'} {'name': '张老师', 'title': '课程研究员'} {'name': '赵老师', 'title': '课程研究员'} {'name': '周老师', 'title': '课程研究员'} {'name': '原老师', 'title': '课程研究员'} {'name': '谭老师', 'title': '课程研究员'} {'name': '李老师', 'title': '课程研究员'} {'name': '李老师', 'title': '课程研究员'} {'name': '肖老师', 'title': '课程研究员'} {'name': '骆老师', 'title': '课程研究员'} {'name': '朱老师', 'title': '课程研究员'} {'name': '孔老师', 'title': '课程研究员'} {'name': '朱老师', 'title': '课程研究员'} {'name': '郝老师', 'title': '课程研究员'} {'name': '陈老师', 'title': '课程研究员'} {'name': '冯老师', 'title': '课程研究员'} {'name': '郝老师', 'title': '课程研究员'} {'name': '贺老师', 'title': '课程研究员'} {'name': '惠老师', 'title': '课程研究员'} {'name': '李老师', 'title': '课程研究员'} {'name': '刘老师', 'title': '课程研究员'} {'name': '刘老师', 'title': '课程研究员'}

2.logger=logging.getLogger(_name_)

logging模块的使用

logging模块的介绍

logging模块是我们python内建的，帮助我们设置日志（log）的这样一种模块对应的一些方法：

logging.warning() logging.info() logging.debug() 表示以不同等级的日志信息输出内容

为什么推荐在scrapy中使用logging输出而不是使用print打印输出？

因为我们使用print，当我们的代码比较多的时候，程序比较多的时候，我们可能在这个py文件中有一个print，另一个py文件中也有一个print，这个时候就会导致我们不清楚这个print是来自于哪个py文件；而且print只会显示在终端上，并不能把内容保存在我们本地，我们工作人员是不能够24个小时眼睛都盯着屏幕的，可能在我们工作人员没有关注程序运行的时候，程序突然挂了，报了一个异常的信息，这个时候我们工作人员就没有看见，可能我们就不以为然，这件事情就这样过去了但是我们使用logging这种方式之后，就可以通过相应的方法将通过logging输出的内容保存在本地，任何时间段，我们工作人员只需要看一下保存在本地的log日志，我们就可以知道之前程序的运行状态

这就是为什么我们要使用logging而不使用print

logging.warning(item)

使用logging.warning输出日志信息

现在我们启动爬虫，看一下输出的结果：注意：在输出之前，一定要看一下settings.py文件，重点看一下LOG_LEVEL 好的，现在我们启动爬虫，看一下结果：

简单分析一下上面输出的日志信息：

2020-10-22 16:42:03 [root] WARNING: {'come_from': 'itcast2'} 2020-10-22 16:42:03 这是我们日志输出的时间 [root] 这是我们日志输出的位置 WARNING 这是日志的等级 {'come_from': 'itcast2'} 这是日志输出的内容

为什么日志输出是这样的格式呢？

2020-10-22 16:42:03 [root] WARNING: {'come_from': 'itcast2'}

这是因为scrapy已经帮助我们预先设定好了，如果说我们使用logging模块放在代码中使用的话，就会是这样的格式输出，当然我们可以自定义这个日志输出的格式，上面的输出格式是scrapy默认的输出格式。

对[root]的分析

[root]表示日志输出的位置 root表示根目录来输出的

但是，我们明明是在itcast2.py文件中执行的这个程序，为什么还会显示root呢？那么，如果我们在pipelines.py文件中这样使用的话，它会不会还是显示root呢？毫无疑问，它也会是这个样子

出现了问题

我们之所以使用logging这个模块，就是因为我们整个项目中存在着大量需要输出内容的地方，我们想要清楚的知道：当前这个输出到底是来自哪个py文件哪个位置？

这样我们使用起来才会更加的方便一些，看日志的时候也会更加的方便一些，否则会非常的麻烦这种情况下，还不如直接使用print来输出内容呢，因为我们根本看不见当前的这条内容是来自于哪个py文件哪个位置。

logger=logging.getLogger(_name_)

解决问题

为了在日志中能够显示当前这个输出来自于哪个py文件中的哪个位置

logger=logging.getLogger(_name_)

实例化一个logger，在后续使用的时候，我们就只需要使用logger的这个方法，而不用使用logging了

为什么要使用logger的这个方法呢？

因为logger是使用logging.getLogger(_name_)得到的一个实例化对象

运行程序，观察结果

结果如下：

对比

logging.warning(item) logger.warning(item)

日志分析

2020-10-22 17:20:30 [Myspider.spiders.itcast2] WARNING: {'come_from': 'itcast2'} [Myspider.spiders.itcast2] 指的就是当前我输出这个内容的位置

在pipelines.py文件中使用logger输出内容

具体实现方式

运行结果

将日志保存在本地

为什么程序跑完之后没有任何的现象？因为我们的日志都保存到了本地中

2020-10-22 17:33:58 [Myspider.spiders.itcast2] WARNING: {'come_from': 'itcast2'} 2020-10-22 17:33:58 [Myspider.spiders.itcast2] WARNING: {'come_from': 'itcast2'} 2020-10-22 17:33:58 [Myspider.spiders.itcast2] WARNING: {'come_from': 'itcast2'} 2020-10-22 17:33:58 [Myspider.spiders.itcast2] WARNING: {'come_from': 'itcast2'} 2020-10-22 17:33:58 [Myspider.spiders.itcast2] WARNING: {'come_from': 'itcast2'} 2020-10-22 17:33:58 [Myspider.spiders.itcast2] WARNING: {'come_from': 'itcast2'} 2020-10-22 17:33:58 [Myspider.spiders.itcast2] WARNING: {'come_from': 'itcast2'} 2020-10-22 17:33:58 [Myspider.spiders.itcast2] WARNING: {'come_from': 'itcast2'} 2020-10-22 17:33:58 [Myspider.spiders.itcast2] WARNING: {'come_from': 'itcast2'} 2020-10-22 17:33:58 [Myspider.spiders.itcast2] WARNING: {'come_from': 'itcast2'}

最新回复(0)