我为自家大闸蟹代言

python脚本调用youtube-dl实现视频下载

pip加速源

pip下载安装Python库很慢,可使用国内镜像网站加速 清华:https://pypi.tuna.tsinghua.edu.cn/simple 阿里云:http://mirrors.aliyun.com/pypi/simple/ 中国科技大学 https://pypi.mirrors.ustc.edu.cn/...

virtualenv虚拟环境安装和配置

安装教程 如果是ubuntu系统加上 sudo 运行 先测试pip是否安装 pip -h 安装virtualenv pip install virtualenv 创建虚拟环境 virtualenv testenv 安装virtualenvwrapper方便管理virtualen...

crontab定时任务执行scrapyd爬虫

使用说明 crontab系统自带的调度命令,通过crontab命令,我们可以在固定的间隔时间执行指定的系统指令或 shell script脚本。时间间隔的单位可以是分钟、小时、日、月、周及以上的任意组合。这个命令非常适合周...

Scrapyd部署

Scrapyd 是一个server,是scrapy官方推荐的部署管理spider的服务,以及通过http json控制spider。 首先先安装scrapyd scrapyd的安装必须在能运行scrapy项目的虚拟环境中 pip install scrapyd 运行Scr...

pycharm中运行nosetests测试用例

1、配置 pycharm 调试文件 2、添加 nosetets 文件 3、直接ok确定 4、设置默认启动的测试工具(框架) 5、tools里面选择Python Intergated Tools 6、选择nosetets,ok确定退出 ...

elasticsearch布尔查询

开始我们组合查询中布尔查询的学习! bool查询包括must,should,must_not,filter来完成 bool的写法 [cc lang="python"] bool:{ "filter":[],#过滤,不支持权重打分 "must":[],#数组中的查询必须满足...

elasticsearch基本查询

elasticsearch是功能非常强大的搜索引擎,使用它的目地就是为了快速的查询到需要的数据。 查询的分类: 基本查询:使用elasticsearch内置查询条件进行查询 组合查询:把多个查询组合在一起进行复合查询 ...

elasticsearch映射mapping

映射是存储在索引中的文档的大纲,它定义数据类型。对于一个搜索引擎来说,光光有数据是不够的用的,映射是elastisearch对数据进行区分的一个重要方式。 elastisearch会默认创建映射,根据json源数据进行映射...

elasticsearch批量操作bulk

批量导入合并多个操作,比如index,delete,update,create等等,bulk会把将要处理的数据载入内存中,所以数据量是有限制的,最佳的数据量不是一个确定的数值,它取决于你的硬件,你的文档大小以及复杂性,你的索...

elasticsearch获取多个文档mget

尽管Elasticsearch已经很快了,但是它依旧可以更快。你可以将多个请求合并到一个请求中以节省网络开销。如果你需要从Elasticsearch中获取多个文档,你可以使用multi-get 或者 mget API来取代一篇又一篇文档的获取...