发表于 |

爬虫选型

框架 有两个选择：

  1. scrapy
  2. pyspider

读取js 动态获取：

  1. selenium+webdriver（如firefox，chrome等）。 必须要图形化的浏览器
  2. selenium+phantomjs。 -> 可以无浏览器

  3. scrapy-splash

    • splash作为js渲染服务，是基于Twisted和QT开发的轻量浏览器引擎，并且提供直接的http api。
    • 快速、轻量的特点使其容易进行分布式开发。
    • splash和scrapy融合，两种互相兼容彼此的特点，抓取效率较好。
    • 虽然目前只有英文文档，但写的已经很详细了，仔细阅读便能快速开发。
    • splash使用lua脚本实现js的操作

发表于 |

今天我们网站的ssl 证书过期了，更换过程如下

从Go Daddy 获取的ssl证书 格式如下

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
cb94a56b13a8c573.crt
gd_bundle-g2-g1.crt
lighttp配置证书如下：
$SERVER["socket"] == ":443" {
     ssl.engine = "enable"
     ssl.pemfile = "/etc/lighttpd/ssl/fbtw.pem"
     ssl.ca-file = "/etc/lighttpd/ssl/gd_bundle.crt"
}
``` 
 
## 证书重组过程如下
1. cp  gd_bundle-g2-g1.crt    gd_bundle.crt
2. vi fbtw.pem 
``` bash
-----BEGIN CERTIFICATE-----
XXXX
-----END CERTIFICATE-----
 
把中间XXX,替换为 cb94a56b13a8c573.crt 中的内容

注：fbtw.pem 中包含 

1
2
3
4
5
6
-----BEGIN PRIVATE KEY-----
XXXX
-----END PRIVATE KEY-----
-----BEGIN CERTIFICATE-----
XXXXX
-----END CERTIFICATE-----

这样的格式，只需要替换 BEGIN CERTIFICATE 到END CERTIFICATE 之间内容即可

发表于 |

进程线程的区别(threading 源码学习)

python 中的threading 模块是对 thread模块的封装

默认thread模块是C实现的，我对C语言并不了解，幸好官方提供了dummy_thread模块，
dummy_thread 是 对thread的python 实现，通过他可以简单理解thread
注：dummy_thread 无法实现多线程

阅读全文 »