crontab系统自带的调度命令，通过crontab命令，我们可以在固定的间隔时间执行指定的系统指令或 shell script脚本。时间间隔的单位可以是分钟、小时、日、月、周及以上的任意组合。这个命令非常适合周期性的日志分...

Scrapyd 是一个server，是scrapy官方推荐的部署管理spider的服务，以及通过http json控制spider。 首先先安装scrapyd scrapyd的安装必须在能运行scrapy项目的虚拟环境中 pip install scrapyd 运行Scr...

1、配置 pycharm 调试文件 2、添加 nosetets 文件 3、直接ok确定 4、设置默认启动的测试工具（框架） 5、tools里面选择Python Intergated Tools 6、选择nosetets，ok确定退出 ...

fiddler 简单介绍 fiddler 是一款免费的抓包工具，功能强大就不必多说了，其原理是截获客户端发送给浏览器的request，并发送给浏览器，在截获浏览器返回 response 返回给客户端。 [caption id="attachment_42...

在定义Completion自动搜索建议字段运行报错，应该是由于Elasticsearch DSL源代码存在问题，所以需要去自定义一个get_analysis_definition函数。 [cc lang="python"]from datetime import datetime from elast...

Elasticsearch DSL是一个高级库，其目的是帮助编写和运行针对Elasticsearch的查询。它建立在官方低级客户端（elasticsearch-py）之上。 它提供了一种更方便和习惯的方式来编写和操作查询。它接近Elasticsearch...

开始我们组合查询中布尔查询的学习！ bool查询包括must，should，must_not，filter来完成 bool的写法 [cc lang="python"] bool：{ "filter":[],#过滤，不支持权重打分 "must":[],#数组中的查询必须满足...

elasticsearch是功能非常强大的搜索引擎，使用它的目地就是为了快速的查询到需要的数据。 查询的分类： 基本查询：使用elasticsearch内置查询条件进行查询 组合查询：把多个查询组合在一起进行复合查询 ...

映射是存储在索引中的文档的大纲，它定义数据类型。对于一个搜索引擎来说，光光有数据是不够的用的，映射是elastisearch对数据进行区分的一个重要方式。 elastisearch会默认创建映射，根据json源数据进行映射...

批量导入合并多个操作，比如index，delete，update，create等等，bulk会把将要处理的数据载入内存中，所以数据量是有限制的，最佳的数据量不是一个确定的数值，它取决于你的硬件，你的文档大小以及复杂性，你的索...

尽管Elasticsearch已经很快了，但是它依旧可以更快。你可以将多个请求合并到一个请求中以节省网络开销。如果你需要从Elasticsearch中获取多个文档，你可以使用multi-get 或者 mget API来取代一篇又一篇文档的获取...

前面我们了解到创建索引index可以理解为mysql创建一个数据库，进入kibanba>DEV TOOLS界面进行创建一个索引，这种方式是比较灵活的，必须要掌握。 [cc lang="python"] #索引初始化操作 #指定分片和副本的数量...

基本概念 1、集群：一个或者多个节点组织在一起，比如有3台服务器加在一起就是集群 2、节点：一个节点是集群中的一个服务器，由一个名字来标识，默认是一个一个随机的漫画角色的名字 3、分片：将索引划分为多...

kibanna是elasticsearch产品线下的产品，一个公司产品。可以用kibana搜索、查看、交互存放在Elasticsearch索引里的数据，使用各种不同的图表、表格、地图等kibana能够很轻易地展示高级数据分析与可视化。 简单...

elasticsearch-head是一个界面化的集群操作和管理工具，可以对集群进行傻瓜式操作。你可以通过插件把它集成到es（首选方式）,也可以安装成一个独立webapp。 简单的说类似于phpmyadmin，web后台数据管理工具。 ...

ES=elaticsearch简写， Elasticsearch是一个开源的高扩展的分布式全文检索引擎，可以实现和数据库一样的实时存储，但是在update时候是非常慢的，Elasticsearch是用java开发并使用Lucene作为其核心来实现所有索引...

以下操作均是在ubuntu系统下运行 [cc lang="python"] from selenium import webdriver from scrapy.selector import Selector [/cc] #操作chrome浏览器抓取淘寶 [cc lang="python"] driver = webdrive...

navicat是一套轻量级的数据库管理工具，在本地开发环境下的测试数据，如果要想要在云服务器上测试，一般情况下是将数据库数据打包下载，在上传到云服务器端。 例如： [cc lang="mysql"] #备份 mysqldump -u...

为什么要布署？python manage.py runserver：这是一款适合开发阶段使用的服务器，不适合运行在真实的生产环境中， 在生产环境中使用WSGI，WSGI：Web服务器网关接口，英文为Python Web Server Gateway Interfac...

Git是目前世界上最先进的分布式版本控制系统 安装 [cc lang="python"]sudo apt-get install git[/cc] 安装成功后，运行如下命令 [cc lang="python"]git[/cc] 安装完成后，还需要最后一步设置，在...

Django 使用Python 内建的logging 模块打印日志。 每个logger 都有一个日志级别。日志级别表示该logger 将要处理的消息的严重性 日志级别： DEBUG：用于调试目的的底层系统信息 INFO：普通的系统信息...