pip下载安装Python库很慢，可使用国内镜像网站加速 清华：https://pypi.tuna.tsinghua.edu.cn/simple 阿里云：http://mirrors.aliyun.com/pypi/simple/ 中国科技大学 https://pypi.mirrors.ustc.edu.cn/...

windows 打开dos命令行，进入mongodb的bin目录下，如果配置了环境变量，则不需要进入到bin目录。 导出使用mongoexport命令 ./mongoexport.exe -d 数据库名 -c 集合名 -o "E:\xxx\xxx.json" 导入使用m...

Poco不可与uiautomator同时使用、电脑和手机不要连VPN、检查手机是否有助手类软件限制了pocoservice.apk的启动和后台运行、尝试重启手机等

Ubuntu添加侧边栏启动图标 要给软件添加启动图标，可到/usr/share/applications目录下创建相应的配置文件，以下为给eclipse配置启动图标示例： 命令行进入/usr/share/applications目录 cd /usr/share/ap...

爬虫第一步需要抓包app分析数据格式，但淘宝系的app都开启SSL Pinning验证，导致抓包失效。 那么什么是SSL Pinning呢？简单地说一下，SSL Pinning是一种防止中间人攻击（MITM）的技术，主要的机制是在客户端发...

有界面模式下 其实用 Selenium Webdriver chromedriver 做爬虫也不是无敌的，同样会被反爬。 在运行模拟浏览器中输入以下js代码 window.navigator.webdriver 发现是 true [caption id="attachment...

selenium.获取浏览器大小、设置浏览器位置、最大化浏览器 get_window_size() 　　　　获取浏览器大小 [cc] # 将窗口大小实例化 size_Dict = driver.get_window_size() # 打印浏览器的宽和高 print("当...

PyInstaller 打包成exe 首先需要windows系统才能打包成exe文件。 安装 pyinstall pip install pyinstall 安装完成后，使用如下命令可以确认版本号： pyinstaller --version 执行打包 myscript....

ubuntu 安装 Selenium Webdriver chromedriver pip install selenium 或者 pip install selenium --user 使用Selenium 操纵 chrome 浏览器需要配置好chromedriver，chromedriver有很多版本和浏览器版本需要...

安装教程 如果是ubuntu系统加上 sudo 运行 先测试pip是否安装 pip -h 安装virtualenv pip install virtualenv 创建虚拟环境 virtualenv testenv 安装virtualenvwrapper方便管理virtualen...

使用说明 crontab系统自带的调度命令，通过crontab命令，我们可以在固定的间隔时间执行指定的系统指令或 shell script脚本。时间间隔的单位可以是分钟、小时、日、月、周及以上的任意组合。这个命令非常适合周...

Scrapyd 是一个server，是scrapy官方推荐的部署管理spider的服务，以及通过http json控制spider。 首先先安装scrapyd scrapyd的安装必须在能运行scrapy项目的虚拟环境中 pip install scrapyd 运行Scr...

1、配置 pycharm 调试文件 2、添加 nosetets 文件 3、直接ok确定 4、设置默认启动的测试工具（框架） 5、tools里面选择Python Intergated Tools 6、选择nosetets，ok确定退出 ...

fiddler 简单介绍 fiddler 是一款免费的抓包工具，功能强大就不必多说了，其原理是截获客户端发送给浏览器的request，并发送给浏览器，在截获浏览器返回 response 返回给客户端。 [caption id="attachment_42...

在定义Completion自动搜索建议字段运行报错，应该是由于Elasticsearch DSL源代码存在问题，所以需要去自定义一个get_analysis_definition函数。 [cc lang="python"]from datetime import datetime from elast...

Elasticsearch DSL是一个高级库，其目的是帮助编写和运行针对Elasticsearch的查询。它建立在官方低级客户端（elasticsearch-py）之上。 它提供了一种更方便和习惯的方式来编写和操作查询。它接近Elasticsearch...

开始我们组合查询中布尔查询的学习！ bool查询包括must，should，must_not，filter来完成 bool的写法 [cc lang="python"] bool：{ "filter":[],#过滤，不支持权重打分 "must":[],#数组中的查询必须满足...

elasticsearch是功能非常强大的搜索引擎，使用它的目地就是为了快速的查询到需要的数据。 查询的分类： 基本查询：使用elasticsearch内置查询条件进行查询 组合查询：把多个查询组合在一起进行复合查询 ...

映射是存储在索引中的文档的大纲，它定义数据类型。对于一个搜索引擎来说，光光有数据是不够的用的，映射是elastisearch对数据进行区分的一个重要方式。 elastisearch会默认创建映射，根据json源数据进行映射...

批量导入合并多个操作，比如index，delete，update，create等等，bulk会把将要处理的数据载入内存中，所以数据量是有限制的，最佳的数据量不是一个确定的数值，它取决于你的硬件，你的文档大小以及复杂性，你的索...

尽管Elasticsearch已经很快了，但是它依旧可以更快。你可以将多个请求合并到一个请求中以节省网络开销。如果你需要从Elasticsearch中获取多个文档，你可以使用multi-get 或者 mget API来取代一篇又一篇文档的获取...