Python电商爬虫，法国亚马逊商品采集
亚马逊还是一个不错，挺有意思的网站，相对于国内电商平台，淘宝而言，它对于你爬的容忍度似乎更高？不知道反爬频率是多大，而不同的国家与地区有不同的网站，最关键的就是域名后缀，比如国内是cn，国际美国亚马逊是com，不过大部分国外站点是需要翻墙，而法国亚马逊恰好是一个国内可以访问的站点。
一个网友可以问询的东西，法国亚马逊采集，花了一点时间，搞了个很基础的demo，好像还是常规的一些东西，除了商品大图花费了不少时间，发现可以在js里可以获取到完整的商品大图，急着去买菜，所以也就有了这样一个基础版本。
通过调试，还是发现会存在获取不到的问题，不知道是反爬限制还是其他原因，待研究。
商品标题的获取
其实直接取title应该更简单，我这里是取得页面内容的标题。
req.xpath(//h1[@id="title"]/span[@id="productTitle"]/text())
商品属性的获取
这里没有花很多时间去看，没看出是否存在链接，仅仅是把所有属性给提取出来了。
req.xpath(//ul[@class="a-unordered-list a-nostyle a-button-list a-declarative a-button-toggle-group a-horizontal a-spacing-top-micro swatches swatchesSquare"]/li)
商品描述的获取
进行了简单的格式化处理
productDescriptions=req.xpath(//div[@id="productDescription"]//text()) productDescription=.join(productDescriptions)
商品大图的获取
花费了不少时间，主要是找到图片链接费了不少力气，写入到js中了，没办法，只能用正则获取到图片链接。
imgs_text=re.findall(rImageBlockATF(.+?)return data;,html,re.S)[0] imgs=re.findall(r"large":"(.+?)","main":,imgs_text,re.S)
exe打包
链接:
https://pan.baidu.com/s/1rMqVT3s00EORUziJekq2SA
提取码:
35ds
附源码，仅供参考，学习，交流：
亚马逊还是一个不错，挺有意思的网站，相对于国内电商平台，淘宝而言，它对于你爬的容忍度似乎更高？不知道反爬频率是多大，而不同的国家与地区有不同的网站，最关键的就是域名后缀，比如国内是cn，国际美国亚马逊是com，不过大部分国外站点是需要翻墙，而法国亚马逊恰好是一个国内可以访问的站点。 一个网友可以问询的东西，法国亚马逊采集，花了一点时间，搞了个很基础的demo，好像还是常规的一些东西，除了商品大图花费了不少时间，发现可以在js里可以获取到完整的商品大图，急着去买菜，所以也就有了这样一个基础版本。 通过调试，还是发现会存在获取不到的问题，不知道是反爬限制还是其他原因，待研究。 商品标题的获取 其实直接取title应该更简单，我这里是取得页面内容的标题。 req.xpath(//h1[@id="title"]/span[@id="productTitle"]/text()) 商品属性的获取 这里没有花很多时间去看，没看出是否存在链接，仅仅是把所有属性给提取出来了。 req.xpath(//ul[@class="a-unordered-list a-nostyle a-button-list a-declarative a-button-toggle-group a-horizontal a-spacing-top-micro swatches swatchesSquare"]/li) 商品描述的获取 进行了简单的格式化处理 productDescriptions=req.xpath(//div[@id="productDescription"]//text()) productDescription=.join(productDescriptions) 商品大图的获取 花费了不少时间，主要是找到图片链接费了不少力气，写入到js中了，没办法，只能用正则获取到图片链接。 imgs_text=re.findall(rImageBlockATF(.+?)return data;,html,re.S)[0] imgs=re.findall(r"large":"(.+?)","main":,imgs_text,re.S) exe打包 链接: https://pan.baidu.com/s/1rMqVT3s00EORUziJekq2SA 提取码: 35ds 附源码，仅供参考，学习，交流：