长时间运行爬虫时,应该针对一些可能出错的地方输出到日志里面去.然后可以及时调整. 需要输入到日志的内容要尽可能是比较值得注意的错误(不然日志一次输入很长也无法查看) - [x] 在pipeline里,当发现item里面date没有数据 或者 数据写入数据库失败 时候输出到日志里面. - [x] spider运行过程中碰到403 - [ ] 封装.方便以后调用
长时间运行爬虫时,应该针对一些可能出错的地方输出到日志里面去.然后可以及时调整.
需要输入到日志的内容要尽可能是比较值得注意的错误(不然日志一次输入很长也无法查看)