作品：《那时花开》

字数：约 35000 字

体裁：中篇小说

关键字：校园青春

背景：小说记录了自己以在高中时期一群小伙伴的学习生活，作者：陈晓雷

袁河是高二上学期转到陆可凡他们班的。至于转班的原因却不得而知。不过众所周知的是，陆可凡他们班的语文老师是袁河的爸爸，所以就有人猜测这可能是他爸爸的注意，目的很简单，无非就是为了方便监督和管教儿子学习。那为什么到了高二才转班呢？答案也很简单，因为高二是承上启下的关键学期，既能延续高一时的学习状态，又能为高三做准备，所以这时转班最合适不过了。

转到陆可凡他们班上后，袁河发现了一个奇怪的现象。

比如一般课间休息的时候，同学们都会以固有的方式来放松自己。其中少数同学会走出教室，站在外面的走廊上，抬头仰望天空，认真盘算自己忧伤的心事。或者靠在旁边的栏杆上，低头看着地面，仔细回忆某天的快乐心情。而大多数同学则会三五成群地聚在一起，找一个大家都感兴趣的话题，然后各抒己见，开始谈论。 more >>

软件系统架构设计原则就是把我们在各种场景下的架构设计进行抽选化提取公共特征形成过一定的方法论，这些方法论是经过严格推敲并具备移植性的，我们在设计系统时遵从这些设计规则可以为我们的体统提供更高的扩展性、稳定性。

抽象原则

各平台(含基础设施、中间件技术服务、各层业务服务等)需要通过合理地抽象，将内部信息、处理与扩展能力聚合成标准的服务于扩展接口，并通过统一的形式提供给使用者，屏蔽内部的实现与运行细节。

以下是一些符合抽象原则的架构规范或模式：
架构分层(layer)/级(tier)，层、级间提供标准服务与数据接口
根据业务模型，统一服务标准与数据标准
使用服务目录屏蔽服务位置等实现细节
使用“逻辑库”屏蔽数据库物理细节
通过SLA，标准化服务的质量水平
提供标准插件架构支持扩展
使用标准数据库特性，保持厂商无关性
使用逻辑的网络与系统名称
使用商品化硬件单元

共享原则

最大化重用数据、计算资源、业务组件等资产，防止数据、逻辑与技术实现不一致性带来的管理复杂性，避免重复建设成本与管理成本，通过安全机制保证共享资产的合法使用，通过业务分级保障共享资源效益最大化。
以下是一些符合共享原则的架构规范或模式：

• 同一业务服务有唯一提供者
• 同一技术服务有唯一提供者
• 同一数据有唯一可信源
• 控制技术多样性 (但需要同时防止厂商绑定)
• 服务具备互操作性
• 服务具备易用性
• 统一的身份、访问控制与加解密机制
• 为共享服务提供多租户能力 (Multi-tenancy)
• 提供访问计量与控制能力
• 提供业务分级能力，对不同级别的业务提供区分服务

自治原则

每一个组件（计算资源、业务组件、信息实体等）具备最大可能的自我完备性，可独立运行、监控、部署、配置与禁用，具备确定的SLA，并与其它组件之间以松散耦合的方式进行协作。当依赖的组件不存在或者无法正常提供服务时，能够以良好的方式降级，且在故障解除后自动恢复。
以下是一些符合自治原则的架构规范或模式：

• 基于开-闭原则(OCP)设计组件
• 应用无启动依赖
• 最小化运行依赖集
• 根据运行依赖关系合理安排组件物理colocation
• 能够隔离依赖组件的故障
• 异步调用 (提升异常流量的承载能力，简化故障隔离的实现)
• 具备自我健康检查能力
• 具备自我恢复能力
• 无状态设计

冗余原则

各组件（计算资源、业务组件、数据等）都必须有充分、合理的冗余实例，保证单一组件实例失效不影响业务正常运行（多活/热备），或可以通过切换备份实例快速恢复（温备/冷备），不会丢失不可恢复的数据。针对不同类型的组件，需要明确定义冗余量与冗余类型。
以下是一些符合冗余原则的架构规范或模式：

• 高可用水平扩展服务器集群（负载均衡、健康检查与自动切换）
• 无单点设计 (含逻辑单点)
• 采用“随机写”策略的数据库水平拆分
• Failover数据库
• N+1或N+x设计
• “多活”数据中心
• 数据复制
• 灾难备份

分布原则

整个系统拆分成职责清晰、粒度恰当、便于管理的组件，各组件（计算资源、业务组件、数据等）可分布部署运行。组件的拆分与分布可以采取复制、根据功能垂直拆分、或根据用户与访问模式水平拆分等形式。
以下是一些符合分布原则的架构规范或模式：

• 读写分离设计
• 垂直分拆
• 水平分拆
• 柔性的分布事务

自动原则

系统设计了具备自监控、自管理、自适应与自优化能力，可以随着业务量与访问模式的变化、以及其它内、外部因素的改变，自动地对资源进行调度、调整服务策略，保障自身的稳定与服务的质量。
以下是一些符合自动原则的架构规范或模式：

• 监控每一个服务的质量与资源的状态与报警
• 从客户视角监控最终服务的质量
• 统一、自动的错误报告、管理与响应
• 提供完备的配置能力
• 自动化系统安装
• 自动化应用部署
• 自动化资源分配
• 可以mark up/mark down服务
• 支持优雅降级
• 自动拒绝超出SLA之外异常流量

背景：
A发消息给B系统，A、B应用的编码均为UTF-8，但是B收到的消息出现中文乱码。

A发送消息的方式：

1

new Message(TOPIC, TAG, null,          (messageContent.toString()).getBytes())

这里消息接受二进制byte数据，我们把消息string转换为byte的时候，默认使用了getBytes()，未指定编码方式，getBytes()方法的注释如下：

Encodes this {@code String} into a sequence of bytes using the
platform’s default charset, storing the result into a new byte array.

也就是会使用平台默认编码，查看StringCoding.encode方法中的Charset.defaultCharset().name()方法：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

/**
  * Returns the default charset of this Java virtual machine.
  *
  * <p> The default charset is determined during virtual-machine startup and
  * typically depends upon the locale and charset of the underlying
  * operating system.
  *
  * @return  A charset object for the default charset
  *
  * @since 1.5
  */
 public static Charset defaultCharset() {
     if (defaultCharset == null) {
         synchronized (Charset.class) {
             String csn = AccessController.doPrivileged(
                 new GetPropertyAction("file.encoding"));
             Charset cs = lookup(csn);
             if (cs != null)
                 defaultCharset = cs;
             else
                 defaultCharset = forName("UTF-8");
         }
     }
     return defaultCharset;
 }

注释的很清楚了，返回JVM默认的字符编码，如果在jvm启动参数中指定了-Dfile.encoding 编码，则优先使用此编码，如果未指定，则使用UTF-8编码；

登录服务器查看启动参数，发现A应用进程中指定了-Dfile.encoding=GB18030

示意图如下：

总结：
在进行string与byte转换的时候，最好使用getBytes(String charsetName)方法，明确指定字符编码方式，最好编写一个编码转换的工具类，统一类型转换时的编码方式。

背景：
我们在进行系统报告研发时，需要对报告结果进行定时邮件，所以需要把HTML内容自动转换为邮件内容，通常我们在发送邮件内容的时候内容是模板化的，模板基本不怎么改变，然而我们的报告却是由无数个子模块组成，这些子模块可以只有组合成为任意报告，每一个模块中的内容均为用户自定义，如果我们要实现通用化报告邮件化，那就需要把渲染后的报告转换为图片或者HTML格式，headless方案中常用的有phantomJS和Headless Chrome，phantomJS提供了截图等功能，所以称为我们的首选。

遇到的问题：

我们生产环境大部分机器操作系统为5u，默认的glibc版本最高到2.5。然而 PhantomJS官网中明确指出Linux 64-bit操作系统下，需要依赖GLIBCXX_3.4.9 和 GLIBC_2.7/GLIBC_2.9/GLIBC_2.10。

但是在我们生产环境中：

1
2

strings /lib64/libc.so.6 |grep GLIBC
strings /usr/lib64/libstdc++.so.6 |grep GLIBCXX

所以需要安装：GLIBCXX_3.4.9 GLIBC_2.7

一、安装phantoomjs

1. 安装node：

1
2
3
4
5
6
7
8
9
10
11

sudo wget  http://xxxxx/node-v6.11.2-linux-x64.tar.xz
sudo xz -d node-v6.11.2-linux-x64.tar.xz
sudo tar xvf node-v6.11.2-linux-x64.tar

sudo ln -s /home/admin/phantomjs/node-v6.11.2-linux-x64/bin/node /usr/local/bin/node
sudo ln -s /home/admin/phantomjs/node-v6.11.2-linux-x64/bin/npm /usr/local/bin/npm

sudo vi /etc/profile
PATH=$PATH:/home/admin/phantomjs/node-v6.11.2-linux-x64/bin

node -v

2. 安装npm：

1

curl -vvvL https://npmjs.com/install.sh >/dev/null

3. 安装phantomJS：

1
2
3
4
5

sudo wget http://xxxx/phantomjs-2.1.1-linux-x86_64.tar.bz2
sudo tar -jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2
sudo ln -s /home/admin/phantomjs/phantomjs-2.1.1-linux-x86_64/bin/phantomjs /usr/local/bin/phantomjs

phantomjs --version

我们的系统中没有这些动态库，有联两种办法，第一自己安装这些版本，第二升级操作系统到7u，我们先尝试使用第一种方法。

二、安装GCC

因为部分版本的Glibc的安装需要高版本的GCC，默认的GCC版本为4.1.2，导致不能编译glibc的2.10以上版本，所以必须升级，gcc>=4.3.3。

1
2
3
4

cd  /home/admin/gcc/gcc-build
sudo yum install libstdc++-devel.i686
sudo yum install  libstdc++-devel.x86_64
sudo ../gcc-4.8.2/configure --prefix=/usr/local/gcc-4.8.2  --with-gmp=/usr/local/gmp-6.0.0 --with-mpfr=/usr/local/mpfr-3.1.2 --with-mpc=/usr/local/mpc-1.0.1  --with-java-home=/opt/taobao/java --disable-multilib  --disable-shared --enable-threads=posix --disable-checking  --enable-languages=all  --enable-static --enable-shared=libstdc++,libgcc_eh

或者：

1
2
3
4
5
6
7
8
9
10
11
12

sudo ../gcc-4.8.2/configure --prefix=/usr/local/gcc-4.8.2 --enable-threads=posix  --with-gmp=/usr/local/gmp-6.0.0 --with-mpfr=/usr/local/mpfr-3.1.2 --with-mpc=/usr/local/mpc-1.0.1  --mandir=/usr/share/man --infodir=/usr/share/info --enable-shared --disable-multilib --enable-checking=release --with-system-zlib --enable-__cxa_atexit --disable-libunwind-exceptions --enable-libgcj-multifile --enable-languages=c,c++,objc,obj-c++,java --disable-dssi --disable-plugin --with-java-home=/opt/taobao/java/jre --with-cpu=generic

sudo make
sudo make install 

#配置环境变量：
sudo vi /etc/profile
export PATH=$PATH:/usr/local/gcc-4.8.2
source /etc/profile

sudo rm /usr/bin/gcc    //删除旧的软连接  
sudo ln -s /usr/local/gcc-4.8.2/bin/gcc /usr/bin/gcc //使新版本建立软连接 

安装完毕后，查看GCC版本：

1
2
3
4
5
6
7
8

$gcc -v
Using built-in specs.
COLLECT_GCC=gcc
COLLECT_LTO_WRAPPER=/usr/local/gcc-4.8.2/libexec/gcc/x86_64-unknown-linux-gnu/4.8.2/lto-wrapper
Target: x86_64-unknown-linux-gnu
Configured with: ../gcc-4.8.2/configure --prefix=/usr/local/gcc-4.8.2 --with-gmp=/usr/local/gmp-6.0.0 --with-mpfr=/usr/local/mpfr-3.1.2 --with-mpc=/usr/local/mpc-1.0.1 --with-java-home=/opt/taobao/java --disable-multilib --disable-shared --enable-threads=posix --disable-checking --enable-static --enable-shared=libstdc++
Thread model: posix
gcc version 4.8.2 (GCC)

出现错误1：

1

configure: error: cannot compute suffix of object files: cannot compile See `config.log' for more details

查看config.log，发现错误：

1

/home/admin/gcc/gcc-build/./gcc/cc1: error while loading shared libraries: libmpc.so.3: cannot open shared object file: No such file or directory

说明是环境变量设置未生效，检查环境变量&ldconfig相关设置。

出现错误2：

1
2

/usr/local/include/gnu/stubs.h:7:27: fatal error: gnu/stubs-32.h: No such file or directory
compilation terminated.

安装：
查看可用的版本：yum list available glibc-devel
sudo yum install glibc-devel
sudo yum install libstdc++-devel.i686

出现错误3：

1
2
3

/usr/lib/gcc/x86_64-redhat-linux/4.1.2/../../../../include/c++/4.1.2/iosfwd:44:28: error: bits/c++config.h: No such file or directory
/usr/lib/gcc/x86_64-redhat-linux/4.1.2/../../../../include/c++/4.1.2/iosfwd:45:29: error: bits/c++locale.h: No such file or directory
/usr/lib/gcc/x86_64-redhat-linux/4.1.2/../../../../include/c++/4.1.2/iosfwd:46:25: error: bits/c++io.h: No such file or directory

解决方案：

1

sudo yum install  libstdc++-devel.x86_64

出现错误4：

1
2

lib/libgmp.so: could not read symbols: File in wrong format collect2: error: ld returned 1 exit status
/home/admin/gcc/gcc-build/x86_64-unknown-linux-gnu/32/libjava/classpath/native/jni/java-math'

解决方案：

1

sudo ../gcc-4.8.2/configure --prefix=/usr/local/gcc-4.8.2 --enable-threads=posix --disable-checking --with-gmp=/usr/local/gmp-6.0.0 --with-mpfr=/usr/local/mpfr-3.1.2 --with-mpc=/usr/local/mpc-1.0.1 --enable-shared --enable-languages=all  --enable-libgomp --enable-lto --enable-tls --with-fpmath=sse --disable-multilib --build=x86_64-redhat-linux    --with-java-home=/opt/taobao/java

出现错误5：

1

Error: unrecognized symbol type "gnu_unique_object"

解决方案：移除 configure参数中的 gnu_unique_object 配置；

出现错误6：

1

configure: error: libXtst not found, required by java.awt.Robot

解决方案：移除 configure参数中的 java.awt 配置；

出现错误7：

libtool: compile: not configured to build any kind of library
解决方案：
sudo ../gcc-4.8.2/configure –prefix=/usr/local/gcc-4.8.2 –with-gmp=/usr/local/gmp-6.0.0 –with-mpfr=/usr/local/mpfr-3.1.2 –with-mpc=/usr/local/mpc-1.0.1 –with-java-home=/opt/taobao/java –disable-multilib –disable-shared –enable-threads=posix –disable-checking –enable-languages=all –enable-static –enable-shared=libstdc++,libgcc_eh

出现错误8：

cc1plus: error: unrecognized command line option “-Wno-narrowing”
解决方案：目前没有查询到好的解决方案；

出现错误9：

/usr/include/string.h:550:18: error: unknown type name ‘__locale_t’
解决方案：暂无

出现错误10：

/usr/lib64/libstdc++.so.6: undefined symbol: _ZNSt7num_getIcSt19istreambuf_iteratorIcSt11char_traitsIcEEE2idE, version GLIBCXX_3.4

三、安装GlibC

查看当前系统Glibc的版本：

1

strings /lib64/libc.so.6 |grep GLIBC

编译glibc：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

sudo mkdir glic
cd glic
sudo wget http://ftp.gnu.org/pub/gnu/glibc/glibc-2.7.tar.gz
sudo wget http://ftp.gnu.org/pub/gnu/glibc/glibc-2.9.tar.gz
//sudo wget http://ftp.gnu.org/pub/gnu/glibc/glibc-2.10.1.tar.gz
sudo wget http://ftp.gnu.org/pub/gnu/glibc/glibc-2.14.tar.gz

sudo tar zxvf glibc-2.7.tar.gz
sudo tar zxvf glibc-2.9.tar.gz
sudo tar zxvf glibc-2.10.1.tar.gz
sudo tar zxvf glibc-2.14.tar.gz

sudo mkdir glibc-build-2.7
sudo mkdir glibc-build-2.9
sudo mkdir glibc-build-2.10.1
sudo mkdir glibc-build-2.14

cd glibc-build-2.7

sudo ../glibc-2.7/configure

遇到错误：
configure: error: no acceptable C compiler found in $PATH
安装gcc套件(rpm -qa |grep gcc 可以看到目前的版本时4.1.2，注意此版本太老，导致不能编译glibc的2.10以上版本，所以必须升级，gcc>=4.3.3)：

遇到错误：

1
2
3

*** On GNU/Linux systems the GNU C Library should not be installed into
*** /usr/local since this might make your system totally unusable.
*** We strongly advise to use a different prefix.  For details read the FAQ.

INSTALL文件摘录如下：

configure' takes many options, but the only one that is usually mandatory is –prefix’. This option tells configure' where you want glibc installed. This defaults to /usr/local’, but the normal setting
to install as the standard system library is --prefix=/usr' for GNU/linux systems and –prefix=’ (an empty prefix) for GNU/Hurd
systems.

关于安装目录的选择:

1

--prefix=PREFIX

安装目录，默认为 /usr/local
Linux文件系统标准要求基本库必须位于 /lib 目录并且必须与根目录在同一个分区上，但是 /usr 可以在其他分区甚至是其他磁盘上。因此，如果指定 –prefix=/usr ，那么基本库部分将自动安装到 /lib 目录下，而非基本库部分则会自动安装到 /usr/lib 目录中。但是如果保持默认值或指定其他目录，那么所有组件都间被安装到PREFIX目录下。

1
2
3

sudo ../glibc-2.7/configure --prefix=/usr --disable-multi-arch
sudo ../glibc-2.9/configure --prefix=/usr --disable-multi-arch
sudo ../glibc-2.14/configure --prefix=/usr --disable-multi-arch

在每个build目录下，执行glibc的配置：

1
2
3

sudo ../glibc-2.7/configure --prefix=/usr --disable-multi-arch
sudo ../glibc-2.9/configure --prefix=/usr --disable-multi-arch
sudo ../glibc-2.10.1/configure --prefix=/usr --disable-multi-arch

分别进入每个build目录，执行命令(在 glibc-build-xx 目录下)：

1

sudo make all && make install

如果直接执行（sudo make install）出现错误提示：

1
2
3
4
5

make[2]: *** No rule to make target `/home/admin/glibc-build/dlfcn/libdl.so.2', needed by `/home/admin/glibc-build/elf/sprof'.  Stop.
make[2]: Leaving directory `/home/admin/glibc-2.7/elf'
make[1]: *** [elf/subdir_install] Error 2
make[1]: Leaving directory `/home/admin/glibc-2.7'
make: *** [install] Error 2

解决方案(先执行make all， 再执行 make install);

安装完毕后，出现提示：

1
2

Your new glibc installation seems to be ok.
make[1]: Leaving directory `/home/admin/glibc-2.7'

常见错误信息1：

1
2

/lib/modules/2.6.32-220.23.2.ali927.el5.x86_64/build/include/linux/swab.h:6:22: fatal error: asm/swab.h: No such file or directory
 #include <asm/swab.h>

解决办法：

1

sudo touch /lib/modules/2.6.32-220.23.2.ali927.el5.x86_64/build/include/asm-x86/swab.h

参考：https://bbs.archlinux.org/viewtopic.php?id=70488

常见错误信息2：

configure: error: assembler too old, .cfi_personality support missing
解决办法：google说gcc版本太老。

常见错误信息3：

1

/usr/bin/ld: cannot find -lgcc_eh

原因是： glibc在安装的时候，需要使用gcc_eh（–enable-shared），但是我们在安装gcc时，添加了–disable-shared，禁用了shared功能，所以导致此库找不到；
测试gcc_eh是否安装：sudo gcc -lgcc_eh –verbose

解决办法：

1
2

sudo find / -name libgcc.a
sudo cp libgcc.a libgcc_eh.a

参考：
http://www.linuxfromscratch.org/clfs/view/clfs-2.0/arm/cross-tools/glibc.html
https://gcc.gnu.org/ml/gcc-patches/2005-02/msg00532.html
http://lists.linuxfromscratch.org/pipermail/lfs-support/2012-December/044174.html

常见错误信息4：

1

Can't open configuration file /usr/etc/ld.so.conf: No such file or directory

参考：
http://www.math.ias.edu/~tarzadon/pages/posts/install-opam-on-springdalerhelcentossl-5.x-111.php

常见错误信息5：

1

/build/include/linux/capability.h:73: error: expected specifier-qualifier-list before ‘__le32’

解决方案：
参考：
https://github.com/spotify/linux/blob/master/include/linux/capability.h
sudo yum install openssl-devel gnutls-devel libcap-devel
查看版本：
strings /lib64/libc.so.6 |grep GLIBC

四、安装GLIBCXX

查看版本：strings /usr/lib64/libstdc++.so.6 |grep GLIBCXX
查看：ls -l /usr/lib64/libstdc++.so.6
lrwxrwxrwx 1 root root 18 Aug 14 2015 /usr/lib64/libstdc++.so.6 -> libstdc++.so.6.0.8

自己编译gcc的过程太繁琐，需要依赖非常多的文件，直接下载高版本下的文件进行替换：

1
2
3
4
5
6
7
8
9

sudo wget http://xxx/libstdc%2B%2B.so.6.0.13
sudo cp libstdc++.so.6.0.13 /usr/lib
sudo cp libstdc++.so.6.0.13 /usr/lib64

cd /usr/lib
sudo ln -sf libstdc++.so.6.0.13  libstdc++.so.6

cd /usr/lib64
sudo ln -sf libstdc++.so.6.0.13  libstdc++.so.6

再次执行

1

strings /usr/lib64/libstdc++.so.6 |grep GLIBCXX

发现需要的安装包已经安装完毕；

五、MAC下安装phantomJS：

下载文件到本地目录；
添加环境变量：

1
2
3

vi .bash_profile
export PATH=$PATH:/Users/xinyuan/soft/phantomjs-2.5.0-beta-macos/bin
source  .bash_profile

安装webp：

1
2

ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)" < /dev/null 2> /dev/null
brew install webp

建立软连：

1

ln -s  /usr/local/opt/webp/lib/libwebp.7.dylib /usr/local/opt/webp/lib/libwebp.6.dylib

查看版本：

1
2

phantomjs -v
2.5.0-development

六、总结：

整个OS的环境安装由于对linux底层不熟悉，参数配置也没有详细查看文档，导致安装过程出现了非常多的意外，之前使用的操作系统是5u，gcc版本为4.1.2，依赖的glibc、glibxx、gmp、mpfr、mpc库版本都比较低，但是phantomjs（JS截图）需要依赖其高版本库，为了升级响应的库，通过下载源码，make、install ，出现了不下于30个错误，每次解决一个错误后续流程中又出现了新的错误，费劲周折把所有依赖的库都装好后，运行phantomjs还是出错，怀疑是缺少了一些动态库； 后来还是通过升级操作系统，解决了此问题，升级操作系统完成docker化文件配置，总共才花费了不到一天时间。反思：遇到问题，首选需要评估一下解决此问题的最有效手段，而不是闷头上去搞，要看我们从中能得到什么，在linux操作系统上安装一坨软件并不能证明我们有什么能力，所以这件事情就不应该自己去尝试做，投入产出比是做事情非常重要的一个衡量手段。

七、参考链接：

http://blog.csdn.net/tsaiyong_ahnselina/article/details/21552485
http://siliconcali.com/2012/10/glibcxx_3-4-9-not-found-in-red-hatfedoracentos-linux/
http://blog.csdn.net/tengdazhang770960436/article/details/41348035
http://www.cnblogs.com/LitLeo/p/3534196.html
http://blog.csdn.net/wtfmonking/article/details/17577925
http://www.cnblogs.com/coolulu/p/4124803.html

在前端技术越来越注重用户体验的潮流下，异步数据渲染组件成为主流，但是异步渲染给爬虫和相关需要使用页面异步渲染后Dom结构的需求来说，变得很麻烦。要想获取渲染后的页面内容，常见的方法有：

1. 使用类似于PhantomJS的Headless浏览器，模拟页面渲染，获取页面HTML；
2. 分析Ajax请求，获取请求后的数据。

对于千变万化的页面结构来说，第一种方法更具备通用性，首选需要安装PhantomJS，然后编写js脚本，最后就是运行脚本获取结果啦。

比如我编写了一个loadPage.js,用于支持页面截图或者页面渲染后的HTML结构获取：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102

var args = require('system').args;
var page = require('webpage').create();
var fs = require('fs');
var url;
var fileName = "";
var cookieJson = "";
var type = "html";
var viewWidth = 1024;
var viewHeight = 768;


args.forEach(function(arg, i) {
    if(i === 1){
      url = arg;
    }

    if(i === 2){
      type = arg;
    }

     if(i === 3){
      fileName = arg;
    }

    if(i === 4){
      cookieJson = arg;
    }

    if(i === 5){
      viewWidth = arg;
    }

    if(i === 6){
      viewHeight = arg;
    }
});

page.viewportSize = { width: viewWidth, height:viewHeight };

if(cookieJson != null && cookieJson != ""){
    var cookieArray =  JSON.parse(cookieJson);
      for (var i = 0; i < cookieArray.length; i++) {
          var cookieObj = cookieArray[i];
          var cookie = {
            'name'     : cookieObj.name,
            'value'    : cookieObj.value,
            'path'     : cookieObj.path,
            'domain'   : cookieObj.domain,
            'expires'  : cookieObj.expires
          };
        phantom.addCookie(cookie);
    }
}

page.onError = function(msg, trace) {
    console.log("[Warning]This is page.onError");
    var msgStack = ['ERROR: ' + msg];
    if (trace && trace.length) {
        msgStack.push('TRACE:');
        trace.forEach(function(t) {
          msgStack.push(' -> ' + t.file + ': ' + t.line + (t.function ? ' (in function "' + t.function +'")' : ''));
        });
    }
    // console.error(msgStack.join('\n'));
};

phantom.onError = function(msg, trace) {
    console.log("[Warning]This is phantom.onError");
    var msgStack = ['PHANTOM ERROR: ' + msg];
    if (trace && trace.length) {
      msgStack.push('TRACE:');
      trace.forEach(function(t) {
        msgStack.push(' -> ' + (t.file || t.sourceURL) + ': ' + t.line + (t.function ? ' (in function ' + t.function +')' : ''));
      });
    }
      console.error(msgStack.join('\n'));
      phantom.exit(1);
};

page.onLoadFinished = function() {
   setTimeout(function(){
      if(type == "image"){
        page.render(fileName,{format: 'jpg', quality: '100'});
        console.log("render page finished: " + url);
      }
       
      if(type == "html"){
         fs.write(fileName, page.content, 'w');
         console.log("page html gen success: " + url);
      }

      phantom.exit();         
   },5000);
};

page.open(url, function (status) {
    if (status === "success") {
        console.log("load status: " + status);
    }else{
        phantom.exit();
    }
});

服务端通过Process类调用Linux中的shell脚本，运行截图或者页面渲染服务，然后把获取到的结果存储到文件存储系统中，返回文件存储的地址URL给业务方，业务方通过URL访问原始数据，减少网络数据传输。

1
2
3
4
5
6
7
8
9

String type = "html";
String[] params =
                    new String[] {DiamondUtil.getPhantomJsPath(), DiamondUtil.getCaptureJsPath(), url,type , htmlName,
                        cookieJson};
                ShellUtil.executeShell(params, " capture url " + url);
                File htmlFile = new File(defaultFilePath(htmlName));
                if (checkFileEixst(htmlFile)) {
                    String htmlOssUrl = fileService.updateObjectToOss(htmlName, htmlFile);
                }

ShellUtil中的运行代码：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35

public static void executeShell(String[] params, String message) throws Exception {
        Process process = null;
        BufferedReader stdBufferedReader = null;
        BufferedReader errorBufferedReader = null;
        try {
            ProcessBuilder pb = new ProcessBuilder(params);
            pb.directory(new File(DiamondUtil.getCaptureImagePath()));
            pb.redirectErrorStream(true);
            process = pb.start();
            stdBufferedReader = new BufferedReader(new InputStreamReader(process.getInputStream()));
            errorBufferedReader = new BufferedReader(new InputStreamReader(process.getErrorStream()));
            String line;
            while ((line = stdBufferedReader.readLine()) != null) {
                logger.info(message + ":" + line);
            }

            while ((line = errorBufferedReader.readLine()) != null) {
                logger.error(message + ":" + line);
            }
            process.waitFor();
        } catch (Exception e) {
            logger.error(message, e);
        } finally {
            if (stdBufferedReader != null) {
                stdBufferedReader.close();
            }
            if (errorBufferedReader != null) {
                stdBufferedReader.close();
            }
            if (process != null) {
                process.destroy();
            }

        }
    }

在截图服务中，首次出现了中文乱码，网上有同学说安装bitmap-fonts，但是并不好使，建议删除：

1

sudo yum remove bitmap-fonts bitmap-fonts-cjk

网页查看我们使用的字体内容：

1

...{  ...  font-family: Helvetica, arial, "microsoft yahei", Monaco, sans-serif;  ...}

可以看到有 多种字体，最后的 sans-serif 默认对应是黑体，需要把这5种字体装到截图的 Linux 服务器，分别从osx和windows上copy出来，注意一下，osx 中的字体是 .ttc 和 .dfont 格式的，我们 可以借助 http://transfonter.org/ttc-unpack来转换为 Linux 支持的 .ttf 的格式。

把这些文件拷到 Linux 服务器上，然后调用 fc-cache 更新一下

1

sudo mkdir /usr/share/fonts/customsudo cp *.ttf  /usr/share/fonts/customfc-cache -fv

对自己要求很高、产品的商业价值、爽的地方和不爽的地方

能力全面，有擅长的东西

应对变化，技能没有竞争力，什么都能干

平台的放大器效应

规定时间拿到结果

新业务的短平快

技术创建不一样的东西

自主发起尝试新东西

工作干到9点且技术探索在干2小时

评论需要真知灼见否则不要评论，会显得肤浅

做过业务才能理解价值

所有的技术要懂，有些必须精通，比别人要懂

共赢和合作，技术不一定是自己做的，可以使用官方的东西

我们必须要结果不管谁做

方法论

双十一驱动

赚钱

向上管理、水平管理

标杆、机会成本（超出期望是所有人认为不可能）

借假修真、自己的身价、

效率学习方向结果、方向比努力重要

创新者的窘境、团队的健康、兼容限制创新、平台能力、平台化、创新型产品、技术超越业务、创新是一个伪需求。

不要拘泥于眼前的事情，看到未来，把事情干出来

做多快好省的事情、不同事情做不同事情、形式逼人强、为离开阿里准备能力，选择相信的东西去坚持、自我驱动、学习不能放松、控多大场、眼界、难中易抢活。

谁都可以做的事情没什么竞争价值、在自己擅长的领域跟别人打，开源并不一定是好事情，关键是看你的商业逻辑，比如google和dubbo的案例。

总结：

1. 不断学习，什么都学，有所专长（终身学习）；
2. 要结果，不管过程，老板交代的事情，必须提前完成，并能主动向上沟通；
3. 相信安排给你做的事情；

需要停下来思考：

1. 让自己成长；
2. 把事情做好；
3. 拿到一个确定性（可衡量）的结果；

做双十一，我们的成长在哪里？

稳定性体系；

技术创新在双十一进行验证；

作为技术人员，需要主动去寻找机会；

今年与去年的不同，变化；

那些东西做的不好，我们能做什么，最好提前一年去思考和建设；

看业界有什么，我们处于什么位置，我们可以模仿，更重要的是结合自身业务；

把当前产品做出新花样，新高度；

提出视野，需要跟各个专业的人达成沟通；

技术人，走出去；

坐在家里永远找不到机会；

关系网络；

主动找机会，主动承担责任；

做双十一，如果不能做好，就可能导致混不下去，因为自己的名誉坏掉了。

需要做创新，无论新老系统；

系统化： 找到方法把自己做的事情做没；能够更大体系进行协同；

人的事情，渐渐的交给机器去做；

智能决策；

把我的作用变大，并把它自动化；

不断证明自己，并拿到结果；

这个事情非你莫属；形成个人的品牌、口碑；

主动性和责任心，不要等待领导去问；

能不能做，给出理由；

找到一个点，做事情能带来成就感；

如果事情没有贡献，可有可无，就需要反思；

现在做的事情如果跟三年前一样，自己就得不到成长；

信任很重要；

双十一的体系化；

把各个独立的模块串起来，减少成本；

双十一很多变量，很多东西都在人的脑子里，需要固化下来；

系统化，把人的能力撤出来，体系化；

产品化；

更高效、更快速的大促；

山不过来，我过去；

做一个产品，每人会告诉你改怎么发展，你的老板都没有你专业；

如果我们的产品在进行review的时候，发现没有大的发展，那一定是我们自己的问题；

主要是自己能把事情想清楚；

做事情，推不动，想一想是不是执行路径不对；

应该考虑如何把事情做成，而不是看到很多困难认为事情做不成；

先成长，再去做更难的事情。

问题描述：

Mysql中一张表时间类型采用的是dateTime格式，当后端通过Mybatis将new Date() 传递给数据库进行存储是，发现存入时间是2016-12-23 16:41:55，但是数据库中插入的时间却是*2016-12-23 16:41:5_6_,导致采用同样的时间进行数据查询，却查不到数据。

问题排查：

1. 进行codeReview，未发现bug；

2. 本地将Mybatis的DEBUG日志打开，进行单步调试
   
   

3. 日志输出如下：
   

   1 2	2016-12-23 16:43:26.960 [DEBUG]xxx.update [debug:145] ==> Preparing: update xxx SET gmt_modified = now(), status = ?, collect_time = ? where id = ? 2016-12-23 16:43:26.964 [DEBUG][debug:145] ==> Parameters: SLEEPING(String), 2016-12-23 16:41:55.972(Timestamp), 9(Long)

4. 发现传入mybatis的date参数为携带毫秒数的时间，到服务端之后多了一秒，但是有时候又是相等的，初步怀疑是毫秒数会被四舍五入了，多次执行后，正式了这个观点；这也能解释为什么我们再以同样的Date参数为什么偶尔查不到数据的问题了。

根因定位：

1. 确认Mysql Server的版本信息：
   

2. 确认Datetime的格式信息：
   

3. JDBC（JDBC版本5.1.26）中判断是否MysqlServer（Server版本5.6.4）的版本是否支持毫秒：
   com.mysql.jdbc.PreparedStatement#detectFractionalSecondsSupport:923L
   

4. JDBC（JDBC版本5.1.26）中设置毫秒数函数：
   com.mysql.jdbc.PreparedStatement#setTimestampInternal
   首先会判断是否设置了useLegacyDatetimeCode=false，如果设置了，那么会走新方法newSetTimestampInternal：
   
   可以看到，新方法中会不管mysql服务端的版本信息是什么，默认都会把毫秒数携带上发送给服务端，让服务端来判断毫秒数怎么处理。当我们代码中把这部分携带了毫秒的时间发送给服务端时，由于服务端版本为5.6.16，所以不支持毫秒数，所以就被四舍五入进行存储到秒了。

   在看看如果设置了useLegacyDatetimeCode=true的逻辑：

那useLegacyDatetimeCode到底是什么？

Note that to get this scenario to work with MySQL (since it doesn’t support per-value timezones), you need to configure your server (or session) to be in UTC, and tell the driver not to use the legacy date/time code by setting useLegacyDatetimeCode to “false”. This will cause the driver to always convert to/from the server and client timezone consistently.

5. 精度问题：
   Mysql中 DATE, DATETIME, and TIMESTAMP 三种类型的区别，可以参考：http://dev.mysql.com/doc/refman/5.6/en/datetime.html。

   需要纠正一个错误的观点，那就是有同学认为DATETIME比TIMESTAMP精度低，这个是错误的，他们两个能达到的精度是一致的，只不过，他们可表示的时间范围不同而已；

测试Mysql5.7.14版本下，三种时间类型的数据插入：

对于一个立志存活102年的企业来说，选择DATETIME比TIMSTAMP是一个更明智的选择，可以表示的范围更大，而且不受系统时区的影响；
6. 总结：
至此，我们知道了三种时间类型在不同Mysql版本不同的所展示的不同的特点，以及不同Mysql版本对毫秒的支持情况；目前我们服务端由于采用的mysql版本是5.6.16(低于5.6.4)，所以还不支持毫秒数的存储，当客户端提交过来的小数部分超长时（客户端默认配置了useLegacyDatetimeCode=false），server会默认做四舍五入，不会出现任何的警告或异常。
那么在这种情况下，问题如何解决呢？
①客户端在进行时间存储的时候，主动通过一次SimpleDateFormat函数format和parse将毫秒数过滤掉，相当于重置为0；
②升级Mysql Server版本到5.6.4及以上；

扩展：Java中的Date类型：

java.util.Date 与 java.sql.Date 的关系？
java.util.Date 就是在除了SQL语句的情况下面使用；
java.sql.Date 继承自 java.util.Date
java.sql.Date 是针对SQL语句使用的，它只包含日期而没有时间部分；

在进行后台页面模块配置化时，需要把前段页面的部分代码保存到db中，之前mysql的数据类型使用的是text，并没有考虑到text的长度限制，认为一般不会超过此限制，但是在运行中发现其中一个复杂的页面模块在保存时报错；

1

Caused by: com.mysql.jdbc.MysqlDataTruncation: Data truncation: Data too long for column 'xxx' at row 1

此时发现 xxx 字段的长度为text类型，需要保存的文本长度为 65581，mysql提供了四种类型的text类型，如下：

我们存储的数据超过了text的存储长度（65535），所以修改数据类型为MEDIUMTEXT。

Mysql 中char、varchar、和text定义的空间大小和实际占用的关系又是怎么样的呢？

基本知识：

1. char（n）和varchar（n）中括号中n代表字符的个数，并不代表字节个数，所以当使用了中文的时候(UTF8)意味着可以插入m个中文，但是实际会占用m*3个字节。
2. 同时char和varchar最大的区别就在于char不管实际value都会占用n个字符的空间，而varchar只会占用实际字符应该占用的空间+1，并且实际空间+1<=n。
3. 超过char和varchar的n设置后，字符串会被截断。
4. char的上限为255字节，varchar的上限65535字节，text的上限为65535。
5. char在存储的时候会截断尾部的空格，varchar和text不会。
6. varchar会使用1-3个字节来存储长度，text不会。

总体来说：

1. char，存定长，速度快，存在空间浪费的可能，会处理尾部空格，上限255。
2. varchar，存变长，速度慢，不存在空间浪费，不处理尾部空格，上限65535，但是有存储长度实际65532最大可用。
3. text，存变长大数据，速度慢，不存在空间浪费，不处理尾部空格，上限65535，会用额外空间存放数据长度，顾可以全部使用65535。
4. 当字符长度超过255的长度之后，使用varchar和text没有本质区别，只需要考虑一下两个类型的特性即可。

分布式系统高效唯一ID生成方案

背景：在分布式系统中，对于订单ID如何保证全局唯一地高效的生成，并对性能影响不大的情况下，利于建立索引和业务使用？

方案一：使用数据库主键ID

优势：实现简单；
弊端：使用数据库增加写库的压力，生成订单的上限受限于数据库的写性能上限；扩展性差；

方案二：使用数据库的列+1

主键采用业务编码，普通列current_value标识id当前值，通过数据库的行锁来保障唯一的；
优势：一张表可以存储不同业务类型的生成规则，没必要每一个id规则都新建一张附表；
劣势：涉及行锁，性能不高；

需要注意使用此方式生成数字序列事务隔离级别需要是RR。

方案三：单点批量生成订单号的服务

优势：批量降低了数据库的读写压力
弊端：服务单点风险；

方案四：使用UUID

优势：本地生成ID，不进行远程调用，延迟低；
弊端：无法保证趋势增长；uuid过长且建立索引效率低下；64位太长；

方案五：使用毫秒数

优势：本地生成ID，不进行远程调用，延迟低；ID为整数利于建立索引；
弊端：并发超过1000，可能会重复；
优化方案：使用LRU Cache存储最近生成的100Key，去除后先判断是否重复；进一步降低重复的可能性；但是无法根本上解决高并发下的重复；

方案六：订单号分段表示具体含义

方案描述：使用39bit表示毫秒数、4bit表示业务线、7bit表示机器等
优势：实现简单，且重复可能性很低；
弊端：订单长度过长，不利于业务使用；

方案七：使用Redis服务+毫秒数双重方案

优势：使用redis的自增序列特性，每次获取一定数量的数据（1000个），降低了每次调用Redis的开销；当Redis挂了，使用基于毫秒数的本地生成ID优化方案；
弊端：redis挂了后，订单号的重复性不可避免；

使用redis需要配置主备，避免在极端情况下redis节点down机， 导致丢失序列或序列重复。

总结：

我们在设计分布式全局唯一单号的时候，不仅需要考虑生成单号的是否重复性，还要考虑生成时的性能开销、是否有容灾方案、是否便于建立索引、是否利于业务使用等。基于这些点的考虑，我们采用了方案六作为线上的唯一生成方案，并把此方案作为一个业务隔离的二方库，可以提供给不同业务方式用；

参考：高可用高性能可扩展的单号生成方案