pyspider中cookies过期如何处理?

当保存的待抓取任务原来使用的cookies在它开始处理时,cookies过期了,这样该任务的callback肯定得不到想要的结果,请问有没有什么办法可以更新cookies?或者说这种情况应该怎么处理?

cookie过期了,肯定需要重新生成。你抓取的时候肯定会有异常或其他例外情况,你捕捉这样的异常,然后再重新按步骤生成新的cookies保存即可。

pyspider 不提供 session 管理功能,过期了需要手动替换。
在 git 版本中 crawl_config 为 fetch 时生效,可以用来更新 cookie。

发表评论

电子邮件地址不会被公开。 必填项已用*标注