python url中文传参乱码问题
背景
想要在这个网站 指定keyword搜索（如图
发现url里输入中文会变成乱码
解决过程
使用urllib.parse.quote直接转码，发现跳转后会链接会自动变成中文
start_urls = [http://www.bbwfish.com/soresult.asp?keyword={}&stype=5]
def parse(self, response):
keyword = "鱼"
url = self.start_urls[0].format(urllib.parse.quote(keyword))
print(url)
#结果输出
#http://www.bbwfish.com/soresult.asp?keyword=%E9%B1%BC&stype=5
打开链接后：
又跳转成中文了
解决
先查看了网页转码格式
修改代码后成功
start_urls = [http://www.bbwfish.com/soresult.asp?keyword={}&stype=5]
def parse(self, response):
keyword = "鱼"
url = self.start_urls[0].format(urllib.parse.quote(keyword.encode(gbk)))
print(url)
scrapy发送带参数post请求
要重写start_requests方法，将参数封装在字典中，传递给formdata，注意method是post
传递参数带中文需要将编码设置为gbk
参考博客
上一篇：
Java架构师技术进阶路线图