python

Python3的url解析

一、urlparse解析url的query并构建字典 解析url的各个部分,并能够获取url的query部分,并把query部分构建成dict。 from urllib.parse import parse_qsl, urlsplit url = "http://www.example.org/defau...

pip加速源

pip下载安装Python库很慢,可使用国内镜像网站加速 清华:https://pypi.tuna.tsinghua.edu.cn/simple 阿里云:http://mirrors.aliyun.com/pypi/simple/ 中国科技大学 https://pypi.mirrors.ustc.edu.cn/...

Scrapyd部署

Scrapyd 是一个server,是scrapy官方推荐的部署管理spider的服务,以及通过http json控制spider。 首先先安装scrapyd scrapyd的安装必须在能运行scrapy项目的虚拟环境中 pip install scrapyd 运行Scr...