step3 自动跟进页面链接以及对内容的处理

[findsomeoneyys]

1. 使用scrapy.spider.CrawlSpider以及 Rule方法来定义如何从爬取页面提取链接
2. 定制不同pipeline来决定对item(爬取得到的内容)处理
   • 清理HTML数据
   • 验证爬取的数据
   • 查重(并丢弃)
   • 将爬取的结果保存到数据库中

[zengsn]

做得很好！小建议：/Users/yangyunshen/name-crawler-python/src/spider/item.json 应该改为相对路径。另外，这个文件应该是动态获取的吧？或者在配置文件里面，将来实现。另外，配置文件最好设计为“不像Python”，让不懂Python的人才会修改配置。