爬取淘宝失败

[caorui2024]

老师，你好。第13张使用scrapy + selenium无法爬取淘宝了

[dingyuanhong2006]

为什么爬取没法保存到 数据库中。 打log貌似这个函数函数都没跑进去def parse(self, response):

[xhf79]

这个能爬取到淘宝么？怎么感觉代码里都没有登录过程，现在都是要登录才能爬取吧。现在是2019年9月18日。

[dingyuanhong2006]

这个能爬取到淘宝么？怎么感觉代码里都没有登录过程，现在都是要登录才能爬取吧。现在是2019年9月18日。

---->是的，我也发现了，之前貌似是可以访问的。估计后期淘宝做了优化处理，现在没法直接爬取了。 可以参考我的博客。https://blog.csdn.net/ding283595861/article/details/100996556
运行的时候, 会弹出谷歌浏览器网页，提示用手机扫码，扫码登录后。就可以继续爬取了，过程比较傻瓜，但是可以继续跑流程。 如果是无界面的PhantomJS/chrome, 首先第一步需要处理登录过程，然后才能进行下一步操作