方方小站

自己有几个需要定时运行的爬虫，用不到诸如 pyspider 之类的爬虫框架，但是又觉得 crontab 不太直观。所以找到了 jiacrontab，自带 web 界面，使用 Go 语言开发。 jiacrontab 介绍提供可视化界面的定时任务&常驻任务管理工具。 功能 允许设置每个脚本的超时时间，超时操作可选择邮件通知管理者，或强杀脚本进程 允许设置脚本的最大并发数。 一台 server 管理多个 client。 每个脚本都可在 server 端灵活配置，如测试脚本运行，查看日志，强杀进程，停止定时…。 允许添加脚本依赖（支持跨服务器），依赖脚本提供同步和异步的执行模式。 友好的 web 界面，方便用户操作。 脚本出错时可选择邮箱通知多人。 支持常驻任务，任务失败后可配置自动重启。 支持管道操作。 说明jiacrontab 由 server，client 两部分构成，两者完全独立通过 rpc 通信。server：向用户提供可视化界面，调度多个 client。client：实现定时逻辑，隔离用户脚本，将 client 布置于多台服务器上可由 server 统一管理。 每个脚 ...

Charles 是有名的抓包软件，我觉得比 Fiddler 好使，至少界面更加直观，使用也更方便。这段时间一直用它来抓包 APP，所以就来记录一下使用的方法。 本文使用的是 Mac 和 iOS，其实 Windows 或 Android 的组合也是基本通用的。 目前最新版是 4.2.7，Windows / Mac OS / Linux 全平台可用。未注册的版本，每隔 30 分钟会自动关闭，不太影响使用便是。注册很简单，大家自行 Google。 关闭拦截 Mac 网络请求我们的目的是截取 iOS APP的网络请求，所以不要有电脑的网络请求来影响我们的分析，需要取消 Proxy -> MacOS Proxy 的勾选。 配置端口号Proxy -> Proxy Settings 中设置端口号，并勾选 Enable transparent HTTP proxying。这里保持默认的 8888 端口。 配置 SSL 代理Proxy -> SSL Proxy Settings 中点击 Add 添加 443 端口，否则无法查看 HTTPS 的请求内容，会显 ...

以前刚开始折腾用的是 uWSGI + Supervisor，没成功。又发现了 Gunicorn，虽然瞎折腾成功了，但是搞不懂为什么，因为老是没法开机启动，后来又突然可以了。现在才知道，原来是 LBSInitScript 中的 Required-Start 没写好造成的。 我用的是 Debian 7.0 x86，自带 Python 2.7，手动安装了 Python 3.6。下面是我的系统环境： Debian 7.0 x86 Python 3.6 LNMP 一键安装包 下面以添加网站 www.example.com 为例： 1、使用 root 账户登陆，通过 lnmp vhost add 新建虚拟主机，具体操作请看LNMP添加、删除虚拟主机及伪静态使用教程。 2、添加虚拟主机之后会自动创建网站目录 /home/wwwroot/www.example.com/，然后将项目文件上传。 3、修改 Nginx 的配置 /usr/local/nginx/conf/vhost/www.example.com.conf 123456789101112131415server { ...

Requests-HTML 支持 Javascript，不过是通过 Chromium 执行。第一次运行的时候会自动进行下载，不过需要科学上网。 在 Windows 上可以下载成功，但 Mac 上却总是失败，提示 SSL: CERTIFICATE_VERIFY_FAILED 1234567[W:pyppeteer.chromium_downloader] start chromium download.Download may take a few minutes.Traceback (most recent call last): ···ssl.SSLError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:777) 找了好久，终于在下方文章中找到了解决办法。 作者：Tim Kamanin标题：Fixing CERTIFICATE_VERIFY_FAILED error when trying requests-html out on Mac地址：https://timonweb.com ...