小技巧

如何在EXCEL表格中自动生成目录

by Orange

在使用 Excel 的时候经常会遇到需要创建目录的情况。如果工作表不多的话还好，表一多创建起来就比较麻烦。所以这里就记录一个用宏自动创建目录的方法。

按Alt+F11，在弹出的对话框中点插入选择模块，然后把下面的代码复制到模块中

Sub mulu()
    On Error GoTo Tuichu
    Dim i As Integer
    Dim ShtCount As Integer
    Dim SelectionCell As Range
    ShtCount = Worksheets.Count
    If ShtCount = 0 Or ShtCount = 1 Then Exit Sub
    Application.ScreenUpdating = False
    For i = 1 To ShtCount
        If Sheets(i).Name = "目录" Then
            Sheets("目录").Move Before:=Sheets(1)
        End If
    Next i
    If Sheets(1).Name <> "目录" Then
        ShtCount = ShtCount + 1
        Sheets(1).Select
        Sheets.Add
        Sheets(1).Name = "目录"
    End If
    Sheets("目录").Select
    Columns("B:B").Delete Shift:=xlToLeft
    Application.StatusBar = "正在生成目录…………请等待！"
    For i = 2 To ShtCount
        ActiveSheet.Hyperlinks.Add Anchor:=Worksheets("目录").Cells(i, 2), Address:="", SubAddress:= _
                                   "'" & Sheets(i).Name & "'!R1C1", TextToDisplay:=Sheets(i).Name
    Next
    Sheets("目录").Select
    Columns("B:B").AutoFit
    Cells(1, 2) = "目录"
    Set SelectionCell = Worksheets("目录").Range("B1")
    With SelectionCell
        .HorizontalAlignment = xlDistributed
        .VerticalAlignment = xlCenter
        .AddIndent = True
        .Font.Bold = True
        .Interior.ColorIndex = 34
    End With
    Application.StatusBar = False
    Application.ScreenUpdating = True
Tuichu:
End Sub

复制完成后按F5运行即可，如果后期对表名做了修改，只需要重新进入这个界面按F5运行刷新下目录即可。

如果是在 Mac 下，打开 Excel，选择顶部的视图，查看宏。在打开的窗口中随便写一个宏名称，点击下方的 ＋ 创建一个新的宏，然后将上面的代码粘贴进去执行即可。

SSL 双向认证的一个小问题

by Orange

最近一直在研究 SSL 双向认证，工作中也经常用到。然后今天遇到了一个非常奇怪的问题，那就是就算配置了

ssl_verify_client optional_no_ca

客户端的访问仍然会失败，证书认证仍然不过。调试了半天，发现了两个问题，那就是：
1. optional_no_ca 并不会像 off 一样放过所有请求，而是对于提交了证书的请求，如果证书验证不过就会握手出错。
2. 对于下面这个配置项的设置存在错误：

ssl_verify_depth 1

经过查找资料，找到了这个选项相关的一些说明。（注：以下实验均在 Nginx 和 Apache2.2 上同时进行过）

The depth actually is the maximum number of intermediate certificate issuers, i.e. the number of CA certificates which are max allowed to be followed while verifying the client certificate. A depth of 0 means that self-signed client certificates are accepted only, the default depth of 1 means the client certificate can be self-signed or has to be signed by a CA which is directly known to the server (i.e. the CA’s certificate is under SSLCACertificatePath), etc.

也就是说，当 depth 设置为 1（Nginx 的默认值）的时候，服务端只会接受直接被 CA 签发的客户端证书或自签名的证书。
但是！这段话没说的是，当你放在 SSLCACertificatePath 的文件中的 CA 证书只有中级 CA 的时候，验证仍然是会不过的，看后台的报错会发现：（下面这个是 Apache 的日志，Nginx 的只有 “Error (2): unable to get issuer certificate” 一句）

[Wed Feb 24 04:19:39.975324 2016] [ssl:debug] [pid 13380] ssl_engine_kernel.c(1381): [client xx.xx.xx.xx:48806] AH02275: Certificate Verification, depth 1, CRL checking mode: none [subject: CN=IMM_CA,OU=ROOT,O=ROOT,ST=SH,C=CN / issuer: CN=ST,OU=UP,O=ROOT,ST=SH,C=CN / serial: 02 / notbefore: Jan 14 10:31:00 2013 GMT / notafter: Jan 14 10:31:00 2017 GMT]
[Wed Feb 24 04:19:39.975409 2016] [ssl:info] [pid 13380] [client xx.xx.xx.xx:48806] AH02276: Certificate Verification: Error (2): unable to get issuer certificate [subject: CN=IMM_CA,OU=ROOT,O=ROOT,ST=SH,C=CN / issuer: CN=ROOT_CA,OU=ROOT,O=ROOT,ST=SH,C=CN / serial: 02 / notbefore: Jan 14 10:31:00 2013 GMT / notafter: Jan 14 10:31:00 2017 GMT]

也就是说，直接尝试使用中级 CA 来验证客户端是无法通过的，openssl 会自动的去找中级 CA 的签发者一层层验证上去，直到找到根。
所以，就算将 中级 CA 和 根 CA 都放在信任证书列表中，由于最终 depth 为 2 的缘故，验证还是过不了。

因此，在实际使用的时候，需要注意一下两点：
1. CA 文件中必须同时存在 中级 CA 和 根 CA，必须构成完整证书链，不能少任何一个；
2. 默认的验证深度 SslVerifyDepth ssl_verify_depth 是 1，也就是说只要是中级 CA 签发的客户端证书一律无法通过认证，需要增大该值。

同时还要注意 optional_no_ca 的问题，开了这个选项并不是会放过所有的请求，也会要求证书链完整才能通过。关于这一点个人比较奇怪，因为证书链完整了那就算开 require 应该也能通过了才对。。。
关于这一点做了一些尝试发现以下两种情况：
1. 如果 SSLCACertificateFile/ssl_trusted_certificate SSLCACertificatePath 这两个参数都不设置，那么 optional_no_ca 会放过所有有效的客户端证书（满足客户端证书的基本条件即可）；
2. 如果 SSLCACertificateFile/ssl_trusted_certificate SSLCACertificatePath 这两个参数设置了，但是客户端提交的证书并不是这里的 CA 签发的，也会验证成功
但是！如果 SSLCACertificateFile/ssl_trusted_certificate SSLCACertificatePath 这两个参数里设置的证书包括了中级 CA 证书，但是没有包括中级 CA 证书的完整证书链，那么就会报 Error (2): unable to get issuer certificate 错误，验证失败。

修复 Mac OS X 新版 Terminal 在 SSH 时候出现的 LANGUAGE WARNING

by Orange

自从升级了新版的 Mac OS X 之后，使用 Terminal SSH 到别的机器上总是能看到这样的警告：

-bash: warning: setlocale: LC_CTYPE: cannot change locale (UTF-8): No such file or directory

在执行 perl 脚本的时候还能看到这样的警告：

perl: warning: Setting locale failed.
perl: warning: Please check that your locale settings:
    LANGUAGE = (unset),
    LC_ALL = (unset),
    LANG = "en_US.UTF-8"
are supported and installed on your system.
perl: warning: Falling back to the standard locale ("C").

找了很多方法，包括改服务端 sshd config 什么的，都觉得不好。因为这应该不是服务端的问题，不应该在服务端解决。于是仔细搜索之后发现这个回答完美解决了这个问题：

http://stackoverflow.com/questions/2499794/how-can-i-fix-a-locale-warning-from-perl/7413863#7413863

Here is how to solve it on Mac OS Lion (10.7):

Add the following lines to your bashrc or bash_profile on the host machine:

# Setting for the new UTF-8 terminal support in Lion
export LC_CTYPE=en_US.UTF-8
export LC_ALL=en_US.UTF-8

If you are using zsh, edit zshrc:

# Setting for the new UTF-8 terminal support in Lion
LC_CTYPE=en_US.UTF-8
LC_ALL=en_US.UTF-8

Linux find 与 rm 联动删除符合条件的文件

by Orange

xargs 方法

find . -name 'file*' -size 0 -print0 | xargs -0 rm

首先 find 找到符合条件的文件并输出文件名，然后管道传递给 xargs，然后由 xargs 拼接出结果。

需要注意的是 -print0 的意思是用一个 \0 作为分隔符，是用来配合 xargs 的 -0 （使用\0作为分隔符）使用的。

GUN find 法

find -name 'file*' -size 0 -delete

GUN find 直接支持了 -delete 参数，甚至还有 -ls 参数，可以自动在找到符合要求的文件之后进行删除或列出详细信息的操作。目前大部分 Linux 发行版用的都是 GUN find，所以该方法比较通用。但是如果你的 Linux 发行版中安装的 find 不支持这两个参数，那么就不能使用这个方法了。

find -exec 法

find . -name file* -exec rm {} \;
find . -name file* -exec rm {} \+

第一行的写法是将找到的文件名拼接到 {} 中，然后执行命令。第二行类似，不同的是把所有文件名拼接成一条命令。也就是说，用方法一，如果 find 的结果是

1
2
3

那么最终就会看到：

rm 1
rm 2
rm 3

这样三个进程。但是使用方法二，则会看到：

rm 1 2 3

只有一个进程，效率更高。

但是需要注意的是，命令参数是有长度限制的，如果文件过多，可能会出现：

cannot execute [Argument list too long]

这是因为参数过多，超过了系统限制。这时候用方法一就能避免这个问题。

Update: 这里说一个 find 命令的小坑。如果想用 find 找到指定大小的文件并删除的话，应该这么写条件：

find ./ -size 100k
find ./ -size 100M
find ./ -size 100G

注意此处是精确匹配。不过可以在数值之前加 +/- 来进行大于或小于的匹配：

find ./ -size +100k #找所有大于 100K 的文件
find ./ -size -100M #找所有小于 100M 的文件
find ./ -size +100G

但是！我上面说的最低的单位都是 K，如果是 Byte 作为单位要怎么办呢？下面两种哪种对？还是都可以？

find ./ -size 100b
find ./ -size 100

实际上，这两种都是错的。来看看实际操作：

➜  test ll
total 8
drwxr-xr-x    3 John  staff   102B May 24 09:53 ./
drwxr-xr-x  118 John  staff   3.9K May 24 09:53 ../
-rw-r--r--    1 John  staff    14B May 24 09:53 test
➜  test find ./ -size 14
➜  test find ./ -size 14b
find: -size: 14b: illegal trailing character
➜  test find ./ -size 14c
.//test
➜  test

可以看出，当单位是 Byte 的时候，正确的写法是用 c 作为单位后缀。具体可见 find 的 man page

       -size n[ckMGTP]
             True if the file's size, rounded up, in 512-byte blocks is n.  If n is followed by a c, then the primary is true if the file's size is n bytes (characters).  Similarly if n is followed by a scale indicator then the file's size is compared to n scaled as:

             k       kilobytes (1024 bytes)
             M       megabytes (1024 kilobytes)
             G       gigabytes (1024 megabytes)
             T       terabytes (1024 gigabytes)
             P       petabytes (1024 terabytes)
       -size n[cwbkMG]
              File uses n units of space.  The following suffixes can be used:

              `b'    for 512-byte blocks (this is the default if no suffix is used)

              `c'    for bytes

              `w'    for two-byte words

              `k'    for Kilobytes (units of 1024 bytes)

              `M'    for Megabytes (units of 1048576 bytes)

              `G'    for Gigabytes (units of 1073741824 bytes)

              The  size  does  not  count indirect blocks, but it does count blocks in sparse files that are not actually allocated.  Bear in mind that the `%k' and `%b' format specifiers of -printf handle sparse files
              differently.  The `b' suffix always denotes 512-byte blocks and never 1 Kilobyte blocks, which is different to the behaviour of -ls.

关于这个默认为什么是 512-byte block，我查了一下相关资料，应该是因为早起在 IBM AIX 系统上 du 的默认单位就是 512-byte block，这是一个 POSIX 标准。这点从 dd 等命令的默认大小也能看出来：

➜  test dd if=/dev/random of=test count=1
1+0 records in
1+0 records out
512 bytes transferred in 0.000074 secs (6905092 bytes/sec)
➜  test ll
total 8
drwxr-xr-x    3 John  staff   102B May 24 09:53 ./
drwxr-xr-x  118 John  staff   3.9K May 24 09:53 ../
-rw-r--r--    1 John  staff   512B May 24 10:02 test

而且在造出了一个刚好 512B 的文件之后，我将其复制一份加了一个字符，达到 515B，然后再来试试 find 命令：

➜  test ll
total 16
drwxr-xr-x    4 John  staff   136B May 24 10:02 ./
drwxr-xr-x  118 John  staff   3.9K May 24 09:53 ../
-rw-r--r--    1 John  staff   512B May 24 10:02 test
-rw-r--r--    1 John  staff   515B May 24 10:02 test2
➜  test find ./ -size 1
./
.//test
➜  test find ./ -size 2
.//test2
➜  test

可以看到，正如文档中描述了，find 会直接向上取整来进行比较，然后返回结果。

Git 统计代码量

by Orange

最近有一个需求是要统计 Git 仓库里每个人的代码量，于是上网搜了一下，找了一些相关命令：

指定用户名版

git log --author="_Your_Name_Here_" --pretty=tformat: --numstat | awk '{ add += $1; subs += $2; loc += $1 - $2 } END { printf "added lines: %s, removed lines: %s, total lines: %s\n", add, subs, loc }' -

这句话可以输出当前项目内指定用户名的用户的代码量统计，结果如下：

added lines: 30400 removed lines: 21317 total lines: 9083

使用 ls-file 实现不指定用户版统计行数版

git ls-files -z | xargs -0n1 git blame -w | ruby -n -e '$_ =~ /^.*\((.*?)\s[\d]{4}/; puts $1.strip' | sort -f | uniq -c | sort -n

这段代码比较有意思，它扫描了当前分支的每个文件，然后用 Git 的 blame 功能输出每个人的代码行数，最后用系统命令 sort 和 uniq 实现计数。

结果如下：

   8 aaa
   9 bbb
 145 ccc
 146 ddd
 261 eee

扫描 Log 统计增删行数版

git log --shortstat --pretty="%cE" | sed 's/\(.*\)@.*/\1/' | grep -v "^$" | awk 'BEGIN { line=""; } !/^ / { if (line=="" || !match(line, $0)) {line = $0 "," line }} /^ / { print line " # " $0; line=""}' | sort | sed -E 's/# //;s/ files? changed,//;s/([0-9]+) ([0-9]+ deletion)/\1 0 insertions\(+\), \2/;s/\(\+\)$/\(\+\), 0 deletions\(-\)/;s/insertions?\(\+\), //;s/ deletions?\(-\)//' | awk 'BEGIN {name=""; files=0; insertions=0; deletions=0;} {if ($1 != name && name != "") { print name ": " files " files changed, " insertions " insertions(+), " deletions " deletions(-), " insertions-deletions " net"; files=0; insertions=0; deletions=0; name=$1; } name=$1; files+=$2; insertions+=$3; deletions+=$4} END {print name ": " files " files changed, " insertions " insertions(+), " deletions " deletions(-), " insertions-deletions " net";}'

这段比较复杂，我也没有认真解读，直接贴结果吧：

aaa,: 353 files changed, 9359 insertions(+), 3844 deletions(-), 5515 net
aaa,bbb,: 4 files changed, 144 insertions(+), 2 deletions(-), 142 net
ccc,: 114 files changed, 2301 insertions(+), 481 deletions(-), 1820 net
ddd,: 27 files changed, 1856 insertions(+), 757 deletions(-), 1099 net
eee,: 1726 files changed, 32841 insertions(+), 22719 deletions(-), 10122 net
eee,fff,: 13 files changed, 209 insertions(+), 211 deletions(-), -2 net
ggg,: 53 files changed, 1153 insertions(+), 1170 deletions(-), -17 net
fff,: 2445 files changed, 69875 insertions(+), 62148 deletions(-), 7727 net
fff,eee,: 30 files changed, 394 insertions(+), 472 deletions(-), -78 net
bbb,: 37 files changed, 781 insertions(+), 216 deletions(-), 565 net
hhh,: 4 files changed, 34 insertions(+), 4 deletions(-), 30 net

比较奇怪的是会列出两个人同时修改，可能是 merge 操作，没有深究。

扫描 Log 单独统计每个人的增删行数加强版

git log --format='%aN' | sort -u | while read name; do echo -en "$name\t"; git log --author="$name" --pretty=tformat: --numstat | awk '{ add += $1; subs += $2; loc += $1 - $2 } END { printf "added lines: %s, removed lines: %s, total lines: %s\n", add, subs, loc }' -; done

直接上输出：

aaa	added lines: 34, removed lines: 4, total lines: 30
bbb	added lines: 2301, removed lines: 481, total lines: 1820
ccc	added lines: 1856, removed lines: 757, total lines: 1099
ddd	added lines: 30400, removed lines: 21317, total lines: 9083
eee	added lines: 1153, removed lines: 1170, total lines: -17
fff	added lines: 1153, removed lines: 1170, total lines: -17
ggg	added lines: 72886, removed lines: 64233, total lines: 8653
hhh	added lines: 814, removed lines: 216, total lines: 598
iii	added lines: 9503, removed lines: 3846, total lines: 5657

第三方小工具版

使用这个工具可以直接输出非常漂亮的统计表格：

https://github.com/oleander/git-fame-rb

gem install git_fame
cd /path/to/gitdir && git fame
Total number of files: 2,053
Total number of lines: 63,132
Total number of commits: 4,330

+------------------------+--------+---------+-------+--------------------+
| name                   | loc    | commits | files | percent            |
+------------------------+--------+---------+-------+--------------------+
| Johan Sørensen         | 22,272 | 1,814   | 414   | 35.3 / 41.9 / 20.2 |
| Marius Mathiesen       | 10,387 | 502     | 229   | 16.5 / 11.6 / 11.2 |
| Jesper Josefsson       | 9,689  | 519     | 191   | 15.3 / 12.0 / 9.3  |
| Ole Martin Kristiansen | 6,632  | 24      | 60    | 10.5 / 0.6 / 2.9   |
| Linus Oleander         | 5,769  | 705     | 277   | 9.1 / 16.3 / 13.5  |
| Fabio Akita            | 2,122  | 24      | 60    | 3.4 / 0.6 / 2.9    |
| August Lilleaas        | 1,572  | 123     | 63    | 2.5 / 2.8 / 3.1    |
| David A. Cuadrado      | 731    | 111     | 35    | 1.2 / 2.6 / 1.7    |
| Jonas Ängeslevä        | 705    | 148     | 51    | 1.1 / 3.4 / 2.5    |
| Diego Algorta          | 650    | 6       | 5     | 1.0 / 0.1 / 0.2    |
| Arash Rouhani          | 629    | 95      | 31    | 1.0 / 2.2 / 1.5    |
| Sofia Larsson          | 595    | 70      | 77    | 0.9 / 1.6 / 3.8    |
| Tor Arne Vestbø        | 527    | 51      | 97    | 0.8 / 1.2 / 4.7    |
| spontus                | 339    | 18      | 42    | 0.5 / 0.4 / 2.0    |
| Pontus                 | 225    | 49      | 34    | 0.4 / 1.1 / 1.7    |
+------------------------+--------+---------+-------+--------------------+

 

CentOS Bash Proxy 设置

by Orange

今天在服务器上做一个 Bash 代理的配置，想要将某些地址去除代理，于是搜了一下，基本上答案都是：

export no_proxy="localhost,127.0.0.1,192.168.0.0/24"

这样的答案。但是实际使用的过程中，我发现这跟我就是在误导别人，因为如果像上面那样写，你在访问 192.168.0.1 的时候会发现还是走了代理。

经过尝试，下面几种写法都是无效的：

127.0.0.0
127.0.0.0/8
127/8
127.*.*.*
127.

特此记录一下，避免后人踩坑。。。

MYSQL的NOW和SYSDATE函数的区别

by Orange

在MySQL Performance Blog博客上看到一篇文章介绍now()和sysdate()函数。

想起很多朋友专门问在MySQL里面提供now()和sysdate()函数，都是表示取得当前时间，他们之间有什么区别。我们下面来详细看一下

首先大家可以看一下下面的一个诡异现象：

mysql> SELECT NOW(),SYSDATE();
+---------------------+---------------------+
| NOW() | SYSDATE() |
+-----------------------------+----------------------------+
| 1999-01-01 00:00:00 | 2012-12-05 09:50:03 |
+---------------------------+----------------------------+
1 row in set (0.00 sec)

很有意思吧？
sysdate()得到的时间是当前时间，而now()取出来的时间竟然是“1999-01-01 00:00:00”。
首先申明，我不是PS或者修改得来的，你看完本文，我会教你在你的MySQL上也得出这样的结果。

另外我们看一下，now()和sysdate()的另外一个区别：

mysql> SELECT NOW(), SLEEP(2), NOW();
+---------------------+----------+---------------------+
| NOW() | SLEEP(2) | NOW( |
+-----------------------------+--------------+-----------------------------+
| 2006-04-12 13:47:36 | 0 | 2006-04-12 13:47:36 |
+---------------------------+--------------+----------------------------+

mysql> SELECT SYSDATE(), SLEEP(2), SYSDATE();
+---------------------+----------+---------------------+
| SYSDATE() | SLEEP(2) | SYSDATE() |
+-----------------------------+--------------+----------------------------+
| 2006-04-12 13:47:44 | 0 | 2006-04-12 13:47:46 |
+---------------------------+--------------+----------------------------+

在使用now()的情况下，虽然我们sleep了2秒，但是大家可以看到两次now()函数输出的结果都是’2006-04-12 13:47:36′
而使用sysdate()的情况下，是两个时间’2006-04-12 13:47:44′,’2006-04-12 13:47:46’，正好相差两秒。

这个最终的原因，大家可以直接查看MySQL的reference对now()函数的解释：http://dev.mysql.com/doc/refman/5.6/en/date-and-time-functions.html#function_now
我简单给大家翻译一下。
now()函数，返回的是当前的时间。但是当前的时间是怎么取的列？

首先，对于now()函数来说，它取的时间是语句开始执行的那个时间，并且在语句执行过程中，这个值都不会变。甚至于，你在执行一个存储过程或者触发器时，这个值都是一直不变的。

这也就解释了，为什么sleep了2秒以后，在SELECT NOW(), SLEEP(2), NOW();语句中，取出的时间值是同一个：’2006-04-12 13:47:36’。

 

然后：now()函数取的当前时间从哪里来？它取自mysql的一个变量”TIMESTAMP”。

很奇怪吧？

其实这个是由于MySQL的replication导致的。你可以想象一下，一个insert into  gguard values (3,now());语句在两台MySQL上插入的值是不是一样？now()如果像sysdate()一样取的是机器的系统时间，那么在MySQL的主库和备库执行同一个这样的SQL语句，主库和备库的这一条数据肯定就不一致了。

主备库不一致的问题必须要解决，两种解决方式：

1、修复这种问题。

2、不使用statement的语句级别复制，而是类似于oracle的，将数据变更记录下来，原样在备库执行一遍。

第二种方式就是大家熟知的，binlog_format=ROW的方式。第一种就是now()不使用机器系统时间，而是取mysql的变量”TIMESTAMP”值。

另外的类似的变量还包括insert_id（用于复制时，AUTO_INCREMENT的取值）等

 

利用mysqlbinlog你可以看到每个binlog event都有一个时间值。

# at 441
#121205 10:06:52 server id 5 end_log_pos 526 Query thread_id=5 exec_time=0 error_code=0
SET TIMESTAMP=1354673212.982122/*!*/;
BEGIN
/*!*/;
# at 526
#121205 10:06:52 server id 5 end_log_pos 642 Query thread_id=5 exec_time=0 error_code=0
use `test`/*!*/;
SET TIMESTAMP=1354673212.982122/*!*/;
insert into gguard values (3,now())
/*!*/;
# at 642
#121205 10:06:52 server id 5 end_log_pos 669 Xid = 26
COMMIT/*!*/;

备库复制执行时，SQL thread在做每个insert或者其他操作前首先要执行SET TIMESTAMP这样的动作，保证now()函数在statement模式下在备库和主库一样。
这里还有另外一种含义：sysdate()函数在statement模式下，主库和备库会不一致，也就是说sysdate在statement复制模式下是不安全的。

 

那么怎么实现上面的SELECT NOW(),SYSDATE();查询出来的时间不一样列，你只需要在之前执行：

SET TIMESTAMP=UNIX_TIMESTAMP('1999-01-01');
SELECT NOW(),SYSDATE();

 
体验now()和sysdate()的神秘吧 🙂

注意：

CURRENT_TIMESTAMP() LOCALTIME() LOCALTIMESTAMP()都是now()函数的同义词，不讨论。
sysdate()没有同义词。
如果你觉得now()函数就够了，你不需要每次都取当前的机器系统时间，那么你可以在MySQL启动时指定–sysdate-is-now，这样的话MySQL会把sysdate()当成now()的一个同义词。

参考：
http://www.mysqlperformanceblog.com/2012/11/28/replication-of-the-now-function-also-time-travel/

常用Openssl命令

by Orange

申请证书

SSL常用于身份验证、数据加密等应用中，要使用SSL，我们密码有自己的证书。数字证书一般要向专业的认证公司(如VeriSign)申请，并且 都是收费的，某些情况下，我们只是想使用加密的数据通信，而不在乎认证，这时就可以自己制作一个证书，自己制作一个证书，有两种方式，一种是Self Signed,另一种是自己制作一个CA，然后由这个CA,来发布我们需要的证书。下面分别介绍这两个方法。

生成Self Signed证书

＃ 生成一个key，你的私钥,openssl会提示你输入一个密码，可以输入，也可以不输，
＃ 输入的话，以后每次使用这个key的时候都要输入密码，安全起见，还是应该有一个密码保护
> openssl genrsa -des3 -out selfsign.key 4096

# 使用上面生成的key，生成一个certificate signing request (CSR)
# 如果你的key有密码保护，openssl首先会询问你的密码，然后询问你一系列问题，
# 其中Common Name(CN)是最重要的，它代表你的证书要代表的目标，如果你为网站申请的证书，就要添你的域名。
> openssl req -new -key selfsign.key -out selfsign.csr

# 生成Self Signed证书 selfsign.crt就是我们生成的证书了
> openssl x509 -req -days 365 -in selfsign.csr -signkey selfsign.key -out selfsign.crt

＃ 另外一个比较简单的方法就是用下面的命令，一次生成key和证书
> openssl req -x509 -nodes -days 365 -newkey rsa:2048 -keyout privateKey.key -out certificate.crt

生成自己的CA (Certificate Authority)

CA是证书的发布者，CA可以发布其他人的证书，把CA的证书加入系统信任的根证书后，由CA发布的证书也被系统所信任，所以，CA的key是必须小心保护的，一般都要加密保护，并且限制为root权限读写。

＃ 生成CA的key
> openssl genrsa -des3 -out ca.key 4096

# 生成CA的证书
> openssl req -new -x509 -days 365 -key ca.key -out ca.crt

# 生成我们的key和CSR这两步与上面Self Signed中是一样的
> openssl genrsa -des3 -out myserver.key 4096
> openssl req -new -key myserver.key -out myserver.csr

# 使用ca的证书和key，生成我们的证书
# 这里的set_serial指明了证书的序号，如果证书过期了(365天后)，
# 或者证书key泄漏了，需要重新发证的时候，就要加1
> openssl x509 -req -days 365 -in myserver.csr -CA ca.crt -CAkey ca.key -set_serial 01 -out myserver.crt

查看证书

# 查看KEY信息
> openssl rsa -noout -text -in myserver.key
# 查看CSR信息
> openssl req -noout -text -in myserver.csr

# 查看证书信息
> openssl x509 -noout -text -in ca.crt

# 验证证书
# 会提示self signed
> openssl verify selfsign.crt

# 因为myserver.crt 是幅ca.crt发布的，所以会验证成功
> openssl verify -CAfile ca.crt myserver.crt

去掉key的密码保护

有时候每次都要输入密码太繁琐了,可以把Key的保护密码去掉

> openssl rsa -in myserver.key -out server.key.insecure

不同格式证书的转换

一般证书有三种格式：

  • PEM(.pem) 前面命令生成的都是这种格式，
  • DER(.cer .der) Windows 上常见
  • PKCS#12文件(.pfx .p12) Mac上常见

# PEM转换为DER
> openssl x509 -outform der -in myserver.crt -out myserver.der

# DER转换为PEM
> openssl x509 -inform der -in myserver.cer -out myserver.pem

# PEM转换为PKCS
> openssl pkcs12 -export -out myserver.pfx -inkey myserver.key -in myserver.crt -certfile ca.crt

# PKCS转换为PEM
> openssl pkcs12 -in myserver.pfx -out myserver2.pem -nodes

测试证书

Openssl提供了简单的client和server工具，可以用来模拟SSL连接，做测试使用。

# 连接到远程服务器
> openssl s_client -connect www.google.com.hk:443

# 模拟的HTTPS服务，可以返回Openssl相关信息
# -accept 用来指定监听的端口号
# -cert -key 用来指定提供服务的key和证书
> openssl s_server -accept 443 -cert myserver.crt -key myserver.key -www

# 可以将key和证书写到同一个文件中
> cat myserver.crt myserver.key > myserver.pem
# 使用的时候只提供一个参数就可以了
> openssl s_server -accept 443 -cert myserver.pem -www

# 可以将服务器的证书保存下来
> openssl s_client -connect www.google.com.hk:443 remoteserver.pem
# 转换成DER文件，就可以在Windows下直接查看了
> openssl x509 -outform der -in remoteserver.pem -out remoteserver.cer

计算MD5和SHA1

# MD5 digest
> openssl dgst -md5 filename
# SHA1 digest
> openssl dgst -sha1 filename

Notepad++ 安装版右键菜单创建失败

by Orange

今天在装一台服务器的时候发现又遇到了安装 Notepad++ 没有成功创建右键菜单的问题，于是决定来研究一下究竟为啥。
在找了相关资料后，我发现 Notepad++ 的安装目录下有一个 DLL 文件专门处理邮件菜单的事情，同时很多人给了一个解决方案是运行这个批处理文件：

@Echo Off
title Notepad++右键菜单添加or卸载工具
SetLocal EnableDelayedExpansion
echo 1.添加Notepad++右键菜单
echo ------------------------
echo 2.卸载Notepad++右键菜单
echo ------------------------
Set /p u=请输入数字并按Enter确定：
If "%u%"=="1" Goto regnp++
If "%u%"=="2" Goto unregnp++
:regnp++
regsvr32 NppShell_06.dll
exit
:unregnp++
regsvr32 /u NppShell_06.dll
exit

但是在运行的时候我发现 DLL 注册并没有成功，提示有错误发生。于是打开事件查看器看到这么一行：

“C:\Program Files (x86)\Notepad++\NppShell_06.dll”的激活上下文生成失败。 找不到从属程序集 Microsoft.VC90.CRT,processorArchitecture="amd64",publicKeyToken="xxxxx",type="win32",version="9.0.21022.8"。 请使用 sxstrace.exe 进行详细诊断。

豁然开朗，原来安装的时候没有成功创建右键菜单的根本原因是缺少了 Microsoft.VC90.CRT 这个运行库，也就是 VC 2008 运行库。从微软网站下载安装之后就搞定啦~

附上下载链接：http://www.microsoft.com/zh-CN/download/details.aspx?id=26368

Ubuntu 14.04 安装 Ejbca (Install Ejbca on Ubuntu 14.04)

by Orange

[warning]首先，如果不是万不得已，请不要使用 EJBCA，请不要阅读本文章！这个软件真的不是正常人可以驾驭的！如果只是个人兴趣（比如我就是装着好玩），那么请千万不要尝试使用 EJBCA！非常蛋疼！千万不要用！而且这玩意的搭建特别看脸，说不定啥时候就成功了。本文的成功方法并无法复制。[/warning]

这个玩意毕竟是一个商业软件的社区免费版，功能先不说，Bug一定是比商业版多一大堆的。而且官方给的文档也基本都很老了，并且不全，大部分你遇到的问题官方文档都不会说的。官方文档似乎最喜欢教你怎么配置，当然反正按照那个配一样成功不了。。。官方这么做当然另一个目的就是卖收费服务，不然免费的随便配置下就成功了谁还买呢。。。

至于官方的 Quick Start，直接无视吧。如果你按照官方的 Quick Start 成功的把服务搭起来了，那我只能佩服你了。。。反正我一开始一直遵照官方的教程死活也没有成功过一次。直到我找到一篇第三方的教程，才终于成功了一次。原教程地址：http://ejbcacentos.blogspot.hk/2014/04/how-to-install-ejbca-611-on-centos-65.html 因为是全英文的而且需要科学上网来访问，所以我在这里参考这篇教程把我配置的过程写一下。如果按照教程配置不成功请不要提问！我也不知道为什么！我自己配十次能成功一次就很开心了！

介绍

EJBCA 是一个用 Java 编写的可以在网页上完成所有操作的全功能 CA 服务器，只要是 CA 应该支持的功能这个软件全都支持。但是！这个软件的安装完全不像官方说的那么简单！如果你只是想玩玩，建议直接下载官方的虚拟机镜像玩吧。

准备

首先要安装相关依赖。因为我在后端数据库的选择上使用的是 Mysql，所以我需要装这么些东西：
sudo apt-get install openjdk-7-jdk ant ant-optional unzip ntp mysql-server libmysql-java
那篇教程里说 Java 7 会有问题，实际上似乎已经修复了，所以可以直接用。源里 ant 的版本是 1.8.2，满足最低的版本要求，所以也可以直接用，不用下载最新的。libmysql-java 是 Java 连接 Mysql 数据库所需要的必须的组建，因为我使用 Mysql 作为后端，所以需要安装。然后防火墙什么的就不管他了，建议你在确定配置成功的情况下再去搞别的，不然纯属浪费时间。。。

配置 Mysql

mysql 主要是要更改一下默认的编码，确保一直使用 UTF-8 作为编码方式，防止乱码。在 my.cnf 中加入这一段：
#UTF-8
character-set-server=utf8
collation-server=utf8_unicode_ci
init-connect='SET NAMES utf8'
#character-set-client = utf8
然后使用 root 账号登陆，新建数据库和账号：
service mysqld start
mysql_secure_installation
mysql -u root -p
create database ejbcadb;
grant all privileges on ejbcadb.* to 'ejbcadbuser'@'localhost' identified by 'password';
flush privileges;
exit
然后确认一下你刚刚创建的账号可以正常的访问数据库：
mysql -u ejbcadbuser -p
use ejbcadb;
show grants for ejbcadbuser@localhost;
exit

创建用户

建议不要直接使用 root 用户来安装 EJBCA，而是分配专门的账户。所以我们使用 adduser ejbca 添加一个用户。然后执行 su – ejbca，切换到 ejbca 用户下操作。

下载 Ejbca 和 Jboss

wget http://download.jboss.org/jbossas/7.1/jboss-as-7.1.1.Final/jboss-as-7.1.1.Final.zip
wget http://downloads.sourceforge.net/project/ejbca/ejbca6/ejbca_6_2_0/ejbca_ce_6_2_0.zip
unzip *.zip
ln -s ejbca_ca_6_2_0 ejbca
ln -s jboss-as-7.1.1.Final jboss

配置 Jboss

cd /opt/jboss/modules/sun/jdk/main
vi module.xml
在适当位置添加下面几行：（注释不要加进去）
### Start module.xml Delta ###

### End module.xml Delta ###

安装 Mysql 连接组件

cd ~
mkdir -p jboss/modules/com/mysql/main/
ln -s /usr/share/java/mysql.jar
vi module.xml
新建 module.xml 文件，写入如下内容：
### Start module.xml ###










### End module.xml ###
现在可以启动 Jboss 了。打开一个新的终端或者使用 screen 执行 ~/jboss/bin/standalone.sh。日志会写入 ~/jboss/standalone/log/
如果你看到这样的日志，说明 Jboss 应该是启动成功了：
22:51:40,482 INFO [org.apache.coyote.http11.Http11Protocol] (MSC service thread 1-2) Starting Coyote HTTP/1.1 on http--127.0.0.1-8080
22:51:40,688 INFO [org.jboss.as.remoting] (MSC service thread 1-3) JBAS017100: Listening on /127.0.0.1:4447
22:51:40,690 INFO [org.jboss.as.remoting] (MSC service thread 1-2) JBAS017100: Listening on /127.0.0.1:9999
22:51:40,699 INFO [org.jboss.as.server.deployment.scanner] (MSC service thread 1-3) JBAS015012: Started FileSystemDeploymentService for directory /opt/jboss/standalone/deployments
22:51:40,773 INFO [org.jboss.as] (Controller Boot Thread) JBAS015951: Admin console listening on http://127.0.0.1:9990
22:51:40,774 INFO [org.jboss.as] (Controller Boot Thread) JBAS015874: JBoss AS 7.1.1.Final "Brontes" started in 1528ms - Started 130 of 204 services (74 services are passive or on-demand)
接下来给 Jboss 添加 Mysql 连接器：
cd ~/jboss/bin
sh jboss-cli.sh
connect
/subsystem=datasources/jdbc-driver=com.mysql.jdbc.Driver:add(driver-name=com.mysql.jdbc.Driver,driver-module-name=com.mysql,driver-xa-datasource-class-name=com.mysql.jdbc.jdbc.jdbc2.optional.MysqlXADataSource)
:reload
exit
这句话在 ~/jboss/standalone/configuration/standalone.xml 中定义了 Mysql Driver ，然后重启 Jboss。
接下来修改 Jboss 的配置文件，删掉自带的 h2 数据库：
### Start standalone.xml Delta ###

删除这一段:


jdbc:h2:mem:test;DB_CLOSE_DELAY=-1
h2

sa sa

还有这一段:


org.h2.jdbcx.JdbcDataSource

### End standalone.xml Delta ###
好了！现在可以开始配置 Ejbca 了。

配置 Ejbca

Ejbca 的配置文件在这个文件夹里：
~/ejbca/conf/
默认配置文件都以 .sample 结尾。需要修改的话删除 .sample 然后进行相应的修改即可。
cd ~/ejbca/conf
cp certstore.properties.sample certstore.properties
cp cesecore.properties.sample cesecore.properties
cp crlstore.properties.sample crlstore.properties
cp database.properties.sample database.properties
cp ejbca.properties.sample ejbca.properties
cp install.properties.sample install.properties
cp mail.properties.sample mail.properties
cp web.properties.sample web.properties
接下来是要改的配置。这里只放出需要修改的行：
certstore.properties

### Start certstore.properties ###

certstore.enabled=true

certstore.contextroot=/certificates

### End certstore.properties ###

cesecore.properties

### Start cesecore.properties ###

ca.toolateexpiredate=80000000

securityeventsaudit.implementation.X=org.cesecore.audit.impl.log4j.Log4jDevice
securityeventsaudit.implementation.X=org.cesecore.audit.impl.integrityprotected.IntegrityProtectedDevice

securityeventsaudit.implementation.0=org.cesecore.audit.impl.log4j.Log4jDevice
securityeventsaudit.implementation.1=org.cesecore.audit.impl.integrityprotected.IntegrityProtectedDevice
securityeventsaudit.exporter.1=org.cesecore.audit.impl.AuditExporterXml

### End cesecore.properties ###

crlstore.properties

### Start crlstore.properties ###

crlstore.enabled=true
crlstore.contextroot=/crls

### End crlstore.properties ###

database.properties

### Start database.properties ###

datasource.jndi-name=EjbcaDS

database.name=mysql

database.url=jdbc:mysql://127.0.0.1:3306/ejbcadb?characterEncoding=UTF-8
database.driver=com.mysql.jdbc.Driver

database.username=ejbcadbuser

# Change this to your mysql user password:
database.password=pumpkin

### End database.properties ###

ejbca.properties

### Start ejbca.properties ###

appserver.home=/home/ejbca/jboss
appserver.type=jboss

ejbca.productionmode=false

approval.defaultrequestvalidity=28800
approval.defaultapprovalvalidity=28800

healthcheck.amountfreemem=32
healthcheck.dbquery=Select 1 From CertificateData where fingerprint='XX'
healthcheck.authorizedips=127.0.0.1
healthcheck.catokensigntest=true
healthcheck.publisherconnections=true
healthcheck.okmessage=ALLOK
healthcheck.sendservererror=true

ejbca.passwordlogrounds=8

### End ejbca.properties ###

install.properties

### Start install.properties ###

ca.name=mgmtca
ca.dn=CN=mgmtca,O=Your Company,C=US
ca.tokentype=soft
ca.tokenpassword=null

ca.keyspec=4096

ca.keytype=RSA

ca.signaturealgorithm=SHA256WithRSA

ca.validity=3652
ca.policy=null
ca.certificateprofile=ROOTCA

### End install.properties ###

mail.properties

### Start mail.properties ###

mail.jndi-name=java:/EjbcaMail
mail.user=ejbca
mail.password=honeybunny
mail.smtp.host=localhost
mail.smtp.port=25
#mail.smtp.auth=false
#mail.smtp.starttls.enable=false
mail.from=ejbca@yourcompany.net
#mail.debug=false
mail.contentencoding=UTF-8

### End mail.properties ###

web.properties

### Start web.properties ###

superadmin.cn=superadmin
superadmin.dn=CN=${superadmin.cn},O=Your Company,C=US

superadmin.batch=true

httpsserver.hostname=rootca.yourdomain.net
httpsserver.dn=CN=${httpsserver.hostname},O=Your Company,C=US

httpserver.pubhttp=8080

httpserver.pubhttps=8442

httpserver.privhttps=8443
#httpserver.external.privhttps=443

#httpserver.external.fqdn=
#httpserver.external.fqdn=${httpsserver.hostname}

#httpsserver.bindaddress.pubhttp=0.0.0.0
#httpsserver.bindaddress.pubhttps=0.0.0.0
#httpsserver.bindaddress.privhttps=0.0.0.0

web.contentencoding=UTF-8

web.selfreg.enabled=false
web.selfreg.defaultcerttype=1
web.selfreg.certtypes.1.description=User certificate
web.selfreg.certtypes.1.eeprofile=user
web.selfreg.certtypes.1.certprofile=user
web.renewalenabled=false
web.errorpage.notification=An exception has occurred.
web.errorpage.stacktrace=true

web.log.adminremoteip=true

### End web.properties ###
好了！下面可以开始尝试编译了。
cd ~/ejbca
ant deploy
部署的过程中可能会出这么几个问题：
06:05:16,848 ERROR [org.jboss.as.controller.management-operation] (management-handler-thread - 1) JBAS014612: Operation ("composite") failed - address: ([]): java.lang.IllegalArgumentException

06:05:39,477 ERROR [org.hibernate.internal.util.xml.ErrorLogger] (MSC service thread 1-4) HHH000196: Error parsing XML (21) : cvc-complex-type.3.1: Value '1.0' of attribute 'version' of element 'entity-mappings' is not valid with respect to the corresponding attribute use. Attribute 'version' has a fixed value of '2.0'.

15:29:58,915 SEVERE [javax.enterprise.resource.webcontainer.jsf.application] (MSC service thread 1-2) JSF1051: Service entry 'org.jboss.as.web.deployment.jsf.JsfInjectionProvider' does not extend DiscoverableInjectionProvider. Entry will be ignored.
这些问题可以直接无视，这是因为 Jboss 的 Bug。当然，这些问题可能会导致部署失败。那就多试几次吧。。。
如果你在 Jboss 的日志中看到了这个，说明你可能部署成功了：
01:38:38,724 INFO [org.jboss.as] (MSC service thread 1-1) JBAS015874: JBoss AS 7.1.1.Final "Brontes" started in 7761ms - Started 2855 of 2968 services (111 services are passive or on-demand)
01:38:38,769 INFO [org.jboss.as.server] (DeploymentScanner-threads - 2) JBAS018559: Deployed "ejbca.ear"
顺便一说，部署的过程中你会看到大量的：
appserver.error.message:
[echo] jndi.properties.file: /home/ejbca/ejbca_ce_6_2_0/conf/jndi.properties.jboss7
没关系，这个我可以确定是完全正常，丝毫不影响后续的。。。

接下来重启 Jboss ，到之前打开的另一个终端或者 screen ， Ctrl+C 结束掉 Jboss ，然后重新启动。
之后，回到 ~/ejbca ，执行 ant install
当你看到：

[echo] Initializing CA with 'mgmtCA' 'CN=mgmtca,O=Your Company,C=US' 'soft'
说明你的配置文件没有问题了，至于各种证书和存储库能不能正常生成，还是看脸。

如果你在终端看到 ant 返回 BUILD SUCCESS ，并且重启 Jboss 后能看到这样的日志，恭喜你，配置成功了！
06:20:59,482 INFO [org.jboss.web] (MSC service thread 1-3) JBAS018210: Registering web context: /${app.name}/publicweb/status
06:20:59,484 INFO [org.jboss.web] (MSC service thread 1-3) JBAS018210: Registering web context: /ejbca/publicweb/apply
06:20:59,491 INFO [org.jboss.web] (MSC service thread 1-3) JBAS018210: Registering web context: /ejbca/publicweb/webdist
06:20:59,506 INFO [org.jboss.web] (MSC service thread 1-3) JBAS018210: Registering web context: /ejbca/publicweb
06:20:59,516 INFO [org.jboss.web] (MSC service thread 1-3) JBAS018210: Registering web context: /ejbca/publicweb/healthcheck
06:20:59,521 INFO [org.jboss.web] (MSC service thread 1-3) JBAS018210: Registering web context: /ejbca/clearcache
06:20:59,521 INFO [org.jboss.web] (MSC service thread 1-3) JBAS018210: Registering web context: /ejbca/ejbcaws
06:20:59,571 INFO [org.jboss.web] (MSC service thread 1-4) JBAS018210: Registering web context: /ejbca
06:20:59,727 INFO [org.jboss.web] (MSC service thread 1-1) JBAS018210: Registering web context: /crls
06:20:59,728 INFO [org.jboss.web] (MSC service thread 1-2) JBAS018210: Registering web context: /certificates
06:21:00,141 INFO [org.jboss.web] (MSC service thread 1-3) JBAS018210: Registering web context: /ejbca/adminweb
06:21:16,576 INFO [org.jboss.web] (MSC service thread 1-1) JBAS018210: Registering web context: /ejbca/doc

WSDL published to: file:/opt/jboss-as-7.1.1.Final/standalone/data/wsdl/ejbca.ear/ejbca-ws-ejb.jar/EjbcaWSService.wsdl

接下来从服务器上将 superadmin.p12 拷贝出来，导入浏览器，就可以访问管理页面了！

当然，按照我的经验，看到这里的人 99% 都是要被坑的，你应该是无法正常安装的。如果没成功的话，不要灰心，多试几次。我将上述过程整整重新执行了一天，才最终装好一个。然后因为要修改一些配置，又挂了。所以说，这玩意能不碰就不碰，我已经在开头警告过了。。。