刘新修

19 20 21 22 23 24 25 26 27 28

[ 显示模式：摘要 | 列表 ]

查看163.com 另存163.html 使用GVIM 打开中文乱码问题

[

2011/12/04 13:06 | by 刘新修 ]

set encoding=gbk     -------- 如果fileencodings 全部探测不到，则以该编码替换fileencoding 存盘，内部数据编码
set termencoding=utf-8
set fileencoding=utf-8 ----- 以该编码格式进行文件存盘
set fileencodings=ucs-bom,utf-8,gbk,cp936,gb18030,big5,gb2312     ----- 自动探测文件编码格式，如果符合其中一种替换到fileencoding
set langmenu=zh_CN.gbk   ------ 设置整套窗口语言环境
language messages zh_cn.gbk    ------ 设置整套菜单语言环境

VIM 查看当前文件编码 :set fileencoding

VIM 设置当前文件编码 :set fileencoding=utf-8

=============== （转）详细分析 ======================================================

很惭愧，作为vim的忠实用户，自从2年多前从help里知道了:edit
++enc=xxx这个命令之后，我就没有去了解过vim的编码设定了。这些年来，我遇到编码出错，总是:edit
++enc=xxx。今天:help了一下encoding等，终于搞清楚了相关的各个变量的作用和关系。
简单的说，有三个设置。(我下面基本以中文环境来作为说明)

1) 在.vimrc或者_vimrc里加入set
fileencodings=utf-8,gb2312,gbk,gb18030,big5这句就基本OK了。vim会依次使用这些编码对文件进行编码的猜测。
2) 如果还是不行，那么在打开文件之后，用:edit
++enc=gbk这个命令强制使用某个编码。
3) 如果依然不行，请检查你的$LANG环境变量。

下面是详细的说明。
vim编码主要涉及三个变量。
encoding
vim的内部编码，包括内存数据的编码，vim配置文件的编码。encoding取自变量$LANG，如果$LANG为空，则取latin1。这个编码应该和你的终端编码保持一致的。
fileencoding
文件的编码。vim在加载文件的时候，会把这个编码转换成encoding参数的编码。同样的，保存文件的时候，内存的编码会由encoding转变为fileencoding。
需要注意的是，在vimrc里设置这个参数，不会起作用。因为打开一个文件的时候，fileencodings或者encoding会覆盖fileencoding。关于这个，可以看下面提到的打开文件流程。
fileencodings=utf-8,gbk,gb2312
vim在加载一个文件的时候，会依次尝试使用fileencodings里的编码作为fileencoding。如果全部失败，那么vim会使用encoding作为fileencoding。
另外，如果vim使用了错误的编码，可以使用edit
++enc=gbk这个命令。意思是，重新读取文件，并强制使用gbk作为fileencoding。这时候会忽略filencodings。
以下是一些vim操作的内部流程
打开文件
首先从文件读入数据到内存，然后从fileencodings里依次使用各个编码来尝试转换为encoding。如果有一个成功，则中止尝试。如果找不到，则取encoding作为fileencoding。也就是说，这里有一个从fileencoding转换为encoding的过程。
保存文件

把内存的数据，从encoding，转换为fileencoding，然后写入文件。
其实在这里最容易让人搞不清楚的就是encoding和fileencoding的区别。因为在大多数GUI特别是WINDOWS平台的编辑器里，encoding都是不需要设置的。通常这个encoding都是默认和GUI环境的编码保持一致。encoding是数据在内存里的存储编码，而fileencoding才是文件的编码。

Vim 编辑器 | 评论(0) | 引用(0) | 阅读(9503)

apche for linux（索引列表）中文目录及文件名乱码问题

[

2011/12/04 11:42 | by 刘新修 ]

由WINDOWS XP 下新建TXT文件，编码默认为WIN下：ANSI 文件名称为中文，PUT 上传至linux 下，并且打开apache列表索引，英文正常，中文目录及其文件夹名称显示乱码。
分析：linux 下文件系统默认编码默认为UTF-8 而WIN下默认为GB2312/GBK 初始状态apache生成的列表索引并无指定任何编码，导致出现乱码。

解决方法：设置apache 目录列表索引模式,并设置字符集为utf-8
Options Indexes
IndexOptions Charset=UTF-8

参数"Options Indexes"表示启用目录浏览，"IndexOptions Charset=UTF-8"设置字符集，以消除中文乱码!

============================================================================

假设是WIN XP 下上传：说明.txt -->到apache for linux 下，在目录索引点击查看TXT内文本内容显示乱码，则要转变文件本身保存字符集所需用的编码格式。即文件自身编码于linux文件系统编码不一至@

解决方法可使用iconv转换文件编码：http://liuxinxiu.com/iconv/

web服务器 | 评论(0) | 引用(0) | 阅读(11261)

[转]浅析大型网站的架构

[

2011/12/03 21:07 | by 刘新修 ]

一个小型的网站，比如个人网站，可以使用最简单的html静态页面就实现了，配合一些图片达到美化效果，所有的页面均存放在一个目录下，这样的网站对系统架构、性能的要求都很简单，随着互联网业务的不断丰富，网站相关的技术经过这些年的发展，已经细分到很细的方方面面，尤其对于大型网站来说，所采用的技术更是涉及面非常广，从硬件到软件、编程语言、数据库、WebServer、防火墙等各个领域都有了很高的要求，已经不是原来简单的html静态网站所能比拟的。

大型网站，比如门户网站。在面对大量用户访问、高并发请求方面，基本的解决方案集中在这样几个环节：使用高性能的服务器、高性能的数据库、高效率的编程语言、还有高性能的Web容器。但是除了这几个方面，还没法根本解决大型网站面临的高负载和高并发问题。

上面提供的几个解决思路在一定程度上也意味着更大的投入，并且这样的解决思路具备瓶颈，没有很好的扩展性，下面我从低成本、高性能和高扩张性的角度来说说我的一些经验。

1、HTML静态化

其实大家都知道，效率最高、消耗最小的就是纯静态化的html页面，所以我们尽可能使我们的网站上的页面采用静态页面来实现，这个最简单的方法其实也是最有效的方法。但是对于大量内容并且频繁更新的网站，我们无法全部手动去挨个实现，于是出现了我们常见的信息发布系统CMS，像我们常访问的各个门户站点的新闻频道，甚至他们的其他频道，都是通过信息发布系统来管理和实现的，信息发布系统可以实现最简单的信息录入自动生成静态页面，还能具备频道管理、权限管理、自动抓取等功能，对于一个大型网站来说，拥有一套高效、可管理的CMS是必不可少的。

除了门户和信息发布类型的网站，对于交互性要求很高的社区类型网站来说，尽可能的静态化也是提高性能的必要手段，将社区内的帖子、文章进行实时的静态化，有更新的时候再重新静态化也是大量使用的策略，像Mop的大杂烩就是使用了这样的策略，网易社区等也是如此。

同时，html静态化也是某些缓存策略使用的手段，对于系统中频繁使用数据库查询但是内容更新很小的应用，可以考虑使用html静态化来实现，比如论坛中论坛的公用设置信息，这些信息目前的主流论坛都可以进行后台管理并且存储再数据库中，这些信息其实大量被前台程序调用，但是更新频率很小，可以考虑将这部分内容进行后台更新的时候进行静态化，这样避免了大量的数据库访问请求。

2、图片服务器分离

大家知道，对于Web 服务器来说，不管是Apache、IIS还是其他容器，图片是最消耗资源的，于是我们有必要将图片与页面进行分离，这是基本上大型网站都会采用的策略，他们都有独立的图片服务器，甚至很多台图片服务器。这样的架构可以降低提供页面访问请求的服务器系统压力，并且可以保证系统不会因为图片问题而崩溃，在应用服务器和图片服务器上，可以进行不同的配置优化，比如apache在配置ContentType的时候可以尽量少支持，尽可能少的LoadModule，保证更高的系统消耗和执行效率。

3、数据库集群和库表散列

大型网站都有复杂的应用，这些应用必须使用数据库，那么在面对大量访问的时候，数据库的瓶颈很快就能显现出来，这时一台数据库将很快无法满足应用，于是我们需要使用数据库集群或者库表散列。

在数据库集群方面，很多数据库都有自己的解决方案，Oracle、Sybase等都有很好的方案，常用的MySQL提供的Master/Slave也是类似的方案，您使用了什么样的DB，就参考相应的解决方案来实施即可。

上面提到的数据库集群由于在架构、成本、扩张性方面都会受到所采用DB类型的限制，于是我们需要从应用程序的角度来考虑改善系统架构，库表散列是常用并且最有效的解决方案。我们在应用程序中安装业务和应用或者功能模块将数据库进行分离，不同的模块对应不同的数据库或者表，再按照一定的策略对某个页面或者功能进行更小的数据库散列，比如用户表，按照用户ID进行表散列，这样就能够低成本的提升系统的性能并且有很好的扩展性。sohu的论坛就是采用了这样的架构，将论坛的用户、设置、帖子等信息进行数据库分离，然后对帖子、用户按照板块和ID进行散列数据库和表，最终可以在配置文件中进行简单的配置便能让系统随时增加一台低成本的数据库进来补充系统性能。

4、缓存

缓存一词搞技术的都接触过，很多地方用到缓存。网站架构和网站开发中的缓存也是非常重要。这里先讲述最基本的两种缓存。高级和分布式的缓存在后面讲述。

架构方面的缓存，对Apache比较熟悉的人都能知道Apache提供了自己的缓存模块，也可以使用外加的Squid模块进行缓存，这两种方式均可以有效的提高Apache的访问响应能力。

网站程序开发方面的缓存，Linux上提供的MemoryCache是常用的缓存接口，可以在web开发中使用，比如用Java开发的时候就可以调用MemoryCache对一些数据进行缓存和通讯共享，一些大型社区使用了这样的架构。另外，在使用web语言开发的时候，各种语言基本都有自己的缓存模块和方法，PHP有Pear的Cache模块，Java就更多了，.net不是很熟悉，相信也肯定有。

5、镜像

镜像是大型网站常采用的提高性能和数据安全性的方式，镜像的技术可以解决不同网络接入商和地域带来的用户访问速度差异，比如ChinaNet和 EduNet之间的差异就促使了很多网站在教育网内搭建镜像站点，数据进行定时更新或者实时更新。在镜像的细节技术方面，这里不阐述太深，有很多专业的现成的解决架构和产品可选。也有廉价的通过软件实现的思路，比如Linux上的rsync等工具。

6、负载均衡

负载均衡将是大型网站解决高负荷访问和大量并发请求采用的终极解决办法。

负载均衡技术发展了多年，有很多专业的服务提供商和产品可以选择，我个人接触过一些解决方法，其中有两个架构可以给大家做参考。

硬件四层交换

第四层交换使用第三层和第四层信息包的报头信息，根据应用区间识别业务流，将整个区间段的业务流分配到合适的应用服务器进行处理。第四层交换功能就象是虚IP，指向物理服务器。它传输的业务服从的协议多种多样，有HTTP、FTP、NFS、Telnet或其他协议。这些业务在物理服务器基础上，需要复杂的载量平衡算法。在IP世界，业务类型由终端 TCP或UDP端口地址来决定，在第四层交换中的应用区间则由源端和终端IP地址、TCP和UDP端口共同决定。

在硬件四层交换产品领域，有一些知名的产品可以选择，比如Alteon、F5等，这些产品很昂贵，但是物有所值，能够提供非常优秀的性能和很灵活的管理能力。Yahoo中国当初接近2000台服务器使用了三四台Alteon就搞定了。

软件四层交换

大家知道了硬件四层交换机的原理后，基于 OSI模型来实现的软件四层交换也就应运而生，这样的解决方案实现的原理一致，不过性能稍差。但是满足一定量的压力还是游刃有余的，有人说软件实现方式其实更灵活，处理能力完全看你配置的熟悉能力。

软件四层交换我们可以使用Linux上常用的LVS来解决，LVS就是 LinuxVirtualServer，他提供了基于心跳线heartbeat的实时灾难应对解决方案，提高系统的鲁棒性，同时可供了灵活的虚拟VIP配置和管理功能，可以同时满足多种应用需求，这对于分布式的系统来说必不可少。

一个典型的使用负载均衡的策略就是，在软件或者硬件四层交换的基础上搭建squid集群，这种思路在很多大型网站包括搜索引擎上被采用，这样的架构低成本、高性能还有很强的扩张性，随时往架构里面增减节点都非常容易。这样的架构我准备空了专门详细整理一下和大家探讨。

对于大型网站来说，前面提到的每个方法可能都会被同时使用到，我这里介绍得比较浅显，具体实现过程中很多细节还需要大家慢慢熟悉和体会，有时一个很小的squid参数或者apache参数设置，对于系统性能的影响就会很大，希望大家一起讨论，达到抛砖引玉之效。

互联网IDC | 评论(0) | 引用(0) | 阅读(7138)

电信天翼3G无线上网卡---局域网--使用代理服务器上网设置局域网使用代理服务器【实现多机同时上网】

[

2011/10/11 21:33 | by 刘新修 ]

不建议使用物理机器作为代理服务器，在物理机器中VM内新建XP机器。并接入无线上网卡，同时使用CCProxy软件进行相关代理；

插入无线网卡后，虚拟机会自动识别出天翼安装程序；

打开：CCProxy 软件进行代理设置；

勾选自动检测本地的内外IP;

二级代理选项卡，选择ALL 选择（启用二级代理）勾选去掉；

网络选项卡，服务器绑定IP（添加无线上网卡外网IP）；

=======================================================

以下是第三方机器连接到外网网络相关设置（HTTP QQ）

=======================================================

设置Internet 属性----链接----局域网（使用代理上网）；

设置QQ使用代理上网方式；

个人日志 | 评论(0) | 引用(0) | 阅读(10451)

debian5下：/etc/rc.local自动启动服务脚本无法正确启动，解决其他的代替方法！

[

2011/09/25 11:46 | by 刘新修 ]

一般情况下配置开机自动启动Nginx + PHP + Mysql

vi /etc/rc.local

把下面的内容增加到exit 0的上面

/usr/local/server/mysql/mysql start
/usr/local/server/php/sbin/php-fpm start
/usr/local/servernginx/sbin/nginx

最近VPS频繁访问故障，无法正常访问，问题关键是/etc/rc.local 无法正常启动服务！

其他解决方案如下：

touch /etc/init.d/lnmp.local
vi /etc/init.d/lnmp.local

====================================================

#!/bin/sh

/usr/local/server/mysql/mysql start
/usr/local/server/php/sbin/php-fpm start
/usr/local/servernginx/sbin/nginx

====================================================

//给予文件可执行权限
chmod +x /etc/init.d/lnmp.local

//设置启动级别(必须)
update-rc.d lnmp.local start 99 2 3 4 5 . stop 01 0 1 6 .

如需删除脚本的启动级别可进行如下操作

update-rc.d -f rc.local remove

Linux/Unix | 评论(0) | 引用(0) | 阅读(12138)

Liuxinxiu.com 及其二级域名访问故障已经恢复正常@

[

2011/09/10 11:04 | by 刘新修 ]

博客及相关二级域名最近访问不畅，起初怀疑VPS故障导致，PING 图初步可确定DNS解析问题:

添加更改首选DNS服务器（中国）: NS1.DNS.COM.CN NS2.DNS.COM.CN

更改备选DNS服务器（美国）：NS33.DOMAINCONTROL.COM NS34.DOMAINCONTROL.COM

个人日志 | 评论(1) | 引用(0) | 阅读(12370)

更换个人PC硬盘由1.5TB至2TB【全程】

[

2011/09/03 18:05 | by 刘新修 ]

首先参老硬盘分区，对新硬盘进行分区操作（划分预留系统第一主分区）：

打开机箱双面侧盖，卸下硬盘螺丝取下原硬盘！

使用IDE转STAT接口接上新硬盘，迁移各分区（C:\）除外的全部数据到对应的新硬盘分区内：

放上新硬盘，安上螺丝、连接上STAT数据线，以及电源线：

重启电脑（放入系统盘）安装系统到新硬盘第一主分区：

个人日志 | 评论(0) | 引用(0) | 阅读(7793)

Apt-get使用指南

[

2011/08/28 09:28 | by 刘新修 ]

# apt-get update——在修改/etc/apt/sources.list或者/etc/apt/preferences之後运行该命令。此外您需要定期运行这一命令以确保您的软件包列表是最新的。
# apt-get install packagename——安装一个新软件包（参见下文的aptitude）
# apt-get remove packagename——卸载一个已安装的软件包（保留配置文件）
# apt-get --purge remove packagename——卸载一个已安装的软件包（删除配置文件）
# dpkg --force-all --purge packagename 有些软件很难卸载，而且还阻止了别的软件的应用，就可以用这个，不过有点冒险。
# apt-get autoclean apt会把已装或已卸的软件都备份在硬盘上，所以如果需要空间的话，可以让这个命令来删除你已经删掉的软件
# apt-get clean 这个命令会把安装的软件的备份也删除，不过这样不会影响软件的使用的。
# apt-get upgrade——更新所有已安装的软件包
# apt-get dist-upgrade——将系统升级到新版本
# apt-cache search string——在软件包列表中搜索字符串
# dpkg -l package-name-pattern——列出所有与模式相匹配的软件包。如果您不知道软件包的全名，您可以使用“*package-name-pattern*”。
# aptitude——详细查看已安装或可用的软件包。与apt-get类似，aptitude可以通过命令行方式调用，但仅限于某些命令——最常见的有安装和卸载命令。由于aptitude比apt-get了解更多信息，可以说它更适合用来进行安装和卸载。
# apt-cache showpkg pkgs——显示软件包信息。
# apt-cache dumpavail——打印可用软件包列表。
# apt-cache show pkgs——显示软件包记录，类似于dpkg –print-avail。
# apt-cache pkgnames——打印软件包列表中所有软件包的名称。
# dpkg -S file——这个文件属于哪个已安装软件包。
# dpkg -L package——列出软件包中的所有文件。
# apt-file search filename——查找包含特定文件的软件包（不一定是已安装的），这些文件的文件名中含有指定的字符串。apt-file是一个独立的软件包。您必须先使用apt-get install来安装它，然後运行apt-file update。如果apt-file search filename输出的内容太多，您可以尝试使用apt-file search filename | grep -w filename（只显示指定字符串作为完整的单词出现在其中的那些文件名）或者类似方法，例如：apt-file search filename | grep /bin/（只显示位于诸如/bin或/usr/bin这些文件夹中的文件，如果您要查找的是某个特定的执行文件的话，这样做是有帮助的）。
apt-get update 系统软件包更新

Linux/Unix | 评论(0) | 引用(0) | 阅读(6499)

【转载】Nginx中文手册（技术指南第二版）

[

2011/06/24 09:36 | by 刘新修 ]

Nginx 常见应用技术指南[Nginx Tips] 第二版

一、 Nginx 基础知识
二、 Nginx 安装及调试
三、 Nginx Rewrite
四、 Nginx Redirect
五、 Nginx 目录自动加斜线:
六、 Nginx Location
七、 Nginx expires
八、 Nginx 防盗链
九、 Nginx 访问控制
十、 Nginx日志处理
十一、 Nginx Cache
十二、 Nginx 负载均衡
十三、 Nginx简单优化
十四、如何构建高性能的LEMP环境
十五、 Nginx服务监控
十六、常见问题与错误处理.
十七、相关资源下载

【前言】：

编写此技术指南在于推广普及NGINX在国内的使用，更方便的帮助大家了解和掌握NGINX
的一些使用技巧。本指南很多技巧来自于网络和工作中或网络上朋友们问我的问题.在此对
网络上愿意分享的朋友们表示感谢和致意！欢迎大家和我一起丰富本技术指南提出更好的建
议！请朋友们关注: http://www.linuxtone.org 技术分享社区! 互想学习共同进步!

一、 Nginx 基础知识

1、简介
Nginx ("engine x") 是一个高性能的 HTTP 和反向代理服务器，也是一个 IMAP/POP3/SMTP 代理服
务器。 Nginx 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的，它已经在该站点运行超
过两年半了。Igor 将源代码以类BSD许可证的形式发布。尽管还是测试版，但是，Nginx 已经因为它的稳
定性、丰富的功能集、示例配置文件和低系统资源的消耗而闻名了。

更多的请见官方wiki: http://wiki.codemongers.com/

2、 Nginx的优点
nginx做为HTTP服务器，有以下几项基本特性：
1) 处理静态文件，索引文件以及自动索引；打开文件描述符缓冲．
2) 无缓存的反向代理加速，简单的负载均衡和容错．
3) FastCGI，简单的负载均衡和容错．
4) 模块化的结构。包括gzipping, byte ranges, chunked responses, 以及 SSI-filter等filter。
如果由FastCGI或其它代理服务器处理单页中存在的多个SSI，则这项处理可以并行运行，而不
需要相互等待。
5) 支持SSL 和 TLS SNI．
Nginx专为性能优化而开发，性能是其最重要的考量, 实现上非常注重效率。它支持内核Poll模型，
能经受高负载的考验, 有报告表明能支持高达 50,000 个并发连接数。

Nginx具有很高的稳定性。其它HTTP服务器，当遇到访问的峰值，或者有人恶意发起慢速连接时，
也很可能会导致服务器物理内存耗尽频繁交换，失去响应，只能重启服务器。例如当前apache一旦上到
200个以上进程，web响应速度就明显非常缓慢了。而Nginx采取了分阶段资源分配技术，使得它的CPU与
内存占用率非常低。nginx官方表示保持10,000个没有活动的连接，它只占2.5M内存，所以类似DOS这
样的攻击对nginx来说基本上是毫无用处的。就稳定性而言, nginx比lighthttpd更胜一筹。

Nginx支持热部署。它的启动特别容易, 并且几乎可以做到7*24不间断运行，即使运行数个月也不
需要重新启动。你还能够在不间断服务的情况下，对软件版本进行进行升级。

Nginx采用master-slave模型, 能够充分利用SMP的优势，且能够减少工作进程在磁盘I/O的阻
塞延迟。当采用select()/poll()调用时，还可以限制每个进程的连接数。

Nginx代码质量非常高，代码很规范，手法成熟，模块扩展也很容易。特别值得一提的是强大
的Upstream与Filter链。 Upstream为诸如reverse proxy, 与其他服务器通信模块的编写奠定了很好的
基础。而Filter链最酷的部分就是各个filter不必等待前一个filter执行完毕。它可以把前一个filter
的输出做为当前filter的输入，这有点像Unix的管线。这意味着，一个模块可以开始压缩从后端服务器
发送过来的请求，且可以在模块接收完后端服务器的整个请求之前把压缩流转向客户端。

Nginx采用了一些os提供的最新特性如对sendfile (Linux 2.2+)，accept-filter (FreeBSD
4.1+)，TCP_DEFER_ACCEPT (Linux 2.4+) 的支持，从而大大提高了性能

二、 Nginx 安装及调试

1、Pcre 安装

./configure
make && make install
cd ../

2. nginx 编译安装

/configure --user=www --group=www --prefix=/usr/local/nginx/ --with-http_stub_status_module
--with-openssl=/usr/local/openssl

make && make install

更详细的模块定制与安装请参照官方wiki.

3、Nginx 配置文件测试：

# /usr/local/nginx/sbin/nginx -t //Debug 配置文件的关键命令需要重点撑握.

2008/12/16 09:08:35 [info] 28412#0: the configuration file /usr/local/nginx/conf/nginx.conf
syntax is ok
2008/12/16 09:08:35 [info] 28412#0: the configuration file /usr/local/nginx/conf/nginx.conf was
tested successfully

3、 Nginx 启动：

# /usr/local/nginx/sbin/nginx

4、 Nginx 配置文件修改重新加载：

# kill -HUP `cat /usr/local/nginx/logs/nginx.pid `

三、 Nginx Rewrite

1. Nginx Rewrite 基本标记(flags)
last - 基本上都用这个Flag。
※相当于Apache里的[L]标记，表示完成rewrite，不再匹配后面的规则
break - 中止Rewirte，不再继续匹配
redirect - 返回临时重定向的HTTP状态302
permanent - 返回永久重定向的HTTP状态301
※原有的url支持正则重写的url不支持正则

2. 正则表达式匹配，其中：
~ 为区分大小写匹配
~* 为不区分大小写匹配
!~ 和 !~* 分别为区分大小写不匹配及不区分大小写不匹配

3. 文件及目录匹配，其中：
-f 和 !-f 用来判断是否存在文件
-d 和 !-d 用来判断是否存在目录
-e 和 !-e 用来判断是否存在文件或目录
-x 和 !-x 用来判断文件是否可执行

3. Nginx 的一些可用的全局变量，可用做条件判断：

$args
$content_length
$content_type
$document_root
$document_uri
$host
$http_user_agent
$http_cookie
$limit_rate
$request_body_file
$request_method
$remote_addr
$remote_port
$remote_user
$request_filename
$request_uri
$query_string
$scheme
$server_protocol
$server_addr
$server_name
$server_port
$uri

四、 Nginx Redirect

将所有linuxtone.org与netseek.linuxtone.org域名全部自跳转到http://www.linuxtone.org

server {
   listen 80;
   server_name linuxtone.org netseek.linuxtone.org;
   index index.html index.php;
   root /data/www/wwwroot;
   if ($host !~ "^www\.linxtone\.org$") {
   rewrite ^(.*) http://www.linuxtone.org$1 redirect;
   }
   .....................
}

五、 Nginx 目录自动加斜线:

if (-d $request_filename){
rewrite ^/(.*)([^/])$ http://$host/$1$2/ permanent;
}

六、 Nginx Location

1．基本语法:[和上面rewrite正则匹配语法基本一致]
location [=|~|~*|^~] /uri/ { … }
~ 为区分大小写匹配
~* 为不区分大小写匹配
!~ 和 !~* 分别为区分大小写不匹配及不区分大小写不匹配

示例1:

location = / {
# matches the query / only.
# 只匹配 / 查询。
}

匹配任何查询，因为所有请求都已 / 开头。但是正则表达式规则和长的块规则将被优先和查询匹配

示例2:

location ^~ /images/ {
   # matches any query beginning with /images/ and halts searching,
   # so regular expressions will not be checked.
   # 匹配任何以 /images/ 开头的任何查询并且停止搜索。任何正则表达式将不会被测试。
}

示例3:

location ~* \.(gif|jpg|jpeg)$ {
   # matches any request ending in gif, jpg, or jpeg. However, all
   # requests to the /images/ directory will be handled by
   # 匹配任何以 gif、jpg 或 jpeg 结尾的请求。
}

七、 Nginx expires

1．根据文件类型判断，添加expires

# Add expires header for static content
location ~* \.(js|css|jpg|jpeg|gif|png|swf)$ {
   if (-f $request_filename) {
   root /data/www/wwwroot/bbs;
   expires 1d;
   break;
   }
}

2、根据某个目录判断，添加expires

# serve static files
location ~ ^/(images|javascript|js|css|flash|media|static)/ {
root /data/www/wwwroot/down;
expires 30d;
}

八、 Nginx 防盗链

1. 针对不同的文件类型

#Preventing hot linking of images and other file types
location ~* ^.+\.(gif|jpg|png|swf|flv|rar|zip)$ {
   valid_referers none blocked server_names *.linuxtone.org linuxtone.org http://localhost baidu.com;
   if ($invalid_referer) {
   rewrite ^/ http://www.linuxtone.org/images/default/logo.gif;
   # return 403;
   }
}

2. 针对不同的目录

location /img/ {
   root /data/www/wwwroot/bbs/img/;
   valid_referers none blocked server_names *.linuxtone.org http://localhost baidu.com;
   if ($invalid_referer) {
   rewrite ^/ http://www.linuxtone.org/images/default/logo.gif;
   #return 403;
   }
}

3. 同实现防盗链和expires的方法

#Preventing hot linking of images and other file types
location ~* ^.+\.(gif|jpg|png|swf|flv|rar|zip)$ {
   valid_referers none blocked server_names *.linuxtone.org linuxtone.org http://localhost ;
   if ($invalid_referer) {
   rewrite ^/ http://www.linuxtone.org/images/default/logo.gif;
   }
   access_log off;
   root /data/www/wwwroot/bbs;
   expires 1d;
   break;
}

九、 Nginx 访问控制

1. Nginx 身份证验证

#cd /usr/local/nginx/conf
#mkdir htpasswd
/usr/local/apache2/bin/htpasswd -c /usr/local/nginx/conf/htpasswd/tongji linuxtone

#添加用户名为linuxtone
New password: (此处输入你的密码)
Re-type new password: (再次输入你的密码)
Adding password for user

http://count.linuxtone.org/tongji/data/index.html(目录存在/data/www/wwwroot/tongji/data/目录

下)

将下段配置放到虚拟主机目录，当访问http://count.linuxtone/tongji/即提示要密验证:

location ~ ^/(tongji)/ {
   root /data/www/wwwroot/count;
   auth_basic "LT-COUNT-TongJi";
   auth_basic_user_file /usr/local/nginx/conf/htpasswd/tongji;
}

2. Nginx 禁止访问某类型的文件.

如，Nginx下禁止访问*.txt文件，配置方法如下.

location ~* \.(txt|doc)$ {
   if (-f $request_filename) {
   root /data/www/wwwroot/linuxtone/test;
   #rewrite …..可以重定向到某个URL
   break;
   }
}

方法2:

location ~* \.(txt|doc)${
root /data/www/wwwroot/linuxtone/test;
deny all;
}

实例:
禁止访问某个目录

location ~ ^/(WEB-INF)/ {
deny all;
}

3. 使用ngx_http_access_module限制ip访问

location / {
   deny 192.168.1.1;
   allow 192.168.1.0/24;
   allow 10.1.1.0/16;
   deny all;
}

详细参见wiki: http://wiki.codemongers.com/NginxHttpAccessModule#allow

4. Nginx 下载限制并发和速率

limit_zone linuxtone $binary_remote_addr 10m;
server {
   listen 80;
   server_name down.linuxotne.org;
   index index.html index.htm index.php;
   root /data/www/wwwroot/down;
   #Zone limit
   location / {
   limit_conn linuxtone 1;
   limit_rate 20k;
   }
   ..........
}

只允许客房端一个线程,每个线程20k.

【注】limit_zone linuxtone $binary_remote_addr 10m; 这个可以定义在主的

5. Nginx 实现Apache一样目录列表

location / {
autoindex on;
}

6. 上文件大小限制
主配置文件里加入如下，具体大小根据你自己的业务做调整。

client_max_body_size 10m;

十、 Nginx 日志处理

1.Nginx 日志切割

#contab -e
59 23 * * * /usr/local/sbin/logcron.sh /dev/null 2>&1

# cat /usr/local/sbin/logcron.sh

#!/bin/bash

log_dir="/data/logs"

time=`date +%Y%m%d`

/bin/mv ${log_dir}/access_linuxtone.org.log ${log_dir}/access_count.linuxtone.org.$time.log

kill -USR1 `cat /var/run/nginx.pid`

更多的日志分析与处理就关注(同时欢迎你参加讨论):http://bbs.linuxtone.org/forum-8-1.html

2.利用AWSTATS分析NGINX日志
设置好Nginx日志格式,仍后利用awstats进行分析.
请参考: http://bbs.linuxtone.org/thread-56-1-1.html

3. Nginx 如何不记录部分日志
日志太多，每天好几个G，少记录一些，下面的配置写到server{}段中就可以了

location ~ .*\.(js|jpg|JPG|jpeg|JPEG|css|bmp|gif|GIF)$ {
access_log off;
}

十一、Nginx Cache服务配置

如果需要将文件缓存到本地，则需要增加如下几个子参数：

proxy_store on;
proxy_store_access user:rw group:rw all:rw;
proxy_temp_path 缓存目录;

其中，
proxy_store on 用来启用缓存到本地的功能，
proxy_temp_path 用来指定缓存在哪个目录下，如：proxy_temp_path html;

在经过上一步配置之后，虽然文件被缓存到了本地磁盘上，但每次请求仍会向远端拉取
文件，为了避免去远端拉取文件，必须修改proxy_pass：

if ( !-e $request_filename) {
proxy_pass http://mysvr;
}

即改成有条件地去执行proxy_pass，这个条件就是当请求的文件在本地的
proxy_temp_path指定的目录下不存在时，再向后端拉取。

更多更高级的应用可以研究ncache，官方网站: http://code.google.com/p/ncache/

详细安装请参照http://bbs.linuxtone.org 应用加速版ncache相关的贴子.

十二、Nginx 负载均衡

1. Nginx 负载均衡基础知识

nginx的upstream目前支持4种方式的分配

1)、轮询（默认）
每个请求按时间顺序逐一分配到不同的后端服务器，如果后端服务器down掉，能自动剔除。

2)、weight
指定轮询几率，weight和访问比率成正比，用于后端服务器性能不均的情况。

2)、ip_hash
每个请求按访问ip的hash结果分配，这样每个访客固定访问一个后端服务器，可以解决session的问题。

3)、fair（第三方）
按后端服务器的响应时间来分配请求，响应时间短的优先分配。

4)、url_hash（第三方）

2. Nginx 负载均衡实例1

upstream bbs.linuxtone.org { #定义负载均衡设备的Ip及设备状态
   server 127.0.0.1:9090 down;
   server 127.0.0.1:8080 weight=2;
   server 127.0.0.1:6060;
   server 127.0.0.1:7070 backup;
}

在需要使用负载均衡的server中增加

proxy_pass http://bbs.linuxtone.org/;

每个设备的状态设置为:
a) down 表示单前的server暂时不参与负载
b) weight 默认为1.weight越大，负载的权重就越大。
c) max_fails ：允许请求失败的次数默认为1.当超过最大次数时，返回proxy_next_upstream 模块定义的错误
d) fail_timeout:max_fails次失败后，暂停的时间。
e) backup：其它所有的非backup机器down或者忙的时候，请求backup机器。所以这台机器压力会最轻。

nginx支持同时设置多组的负载均衡，用来给不用的server来使用。

client_body_in_file_only 设置为On 可以讲client post过来的数据记录到文件中用来做debug
client_body_temp_path 设置记录文件的目录可以设置最多3层目录
location 对URL进行匹配.可以进行重定向或者进行新的代理负载均衡

3. Nginx 负载均衡实例 2
按访问url的hash结果来分配请求，使每个url定向到同一个后端服务器，后端服务器为缓
存时比较有效,也可以用作提高Squid缓存命中率.

简单的负载均等实例:
#vi nginx.conf //nginx主配置文件核心配置
.........

#loadblance my.linuxtone.org
upstream my.linuxtone.org {
   ip_hash;
   server 127.0.0.1:8080;
   server 192.168.169.136:8080;
   server 219.101.75.138:8080;
   server 192.168.169.117;
   server 192.168.169.118;
   server 192.168.169.119;
}
.........
include vhosts/linuxtone_lb.conf;
.........

# vi proxy.conf

proxy_redirect off;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
client_max_body_size 50m;
client_body_buffer_size 256k;
proxy_connect_timeout 30;
proxy_send_timeout 30;
proxy_read_timeout 60;
proxy_buffer_size 4k;
proxy_buffers 4 32k;
proxy_busy_buffers_size 64k;
proxy_temp_file_write_size 64k;
proxy_next_upstream error timeout invalid_header http_500 http_503 http_404;
proxy_max_temp_file_size 128m;
proxy_store on;
proxy_store_access user:rw group:rw all:r;
#nginx cache
#client_body_temp_path /data/nginx_cache/client_body 1 2;
proxy_temp_path /data/nginx_cache/proxy_temp 1 2;

#vi linuxtone_lb.conf

server {

   listen 80;
   server_name my.linuxtone.org;
   index index.php;
   root /data/www/wwwroot/mylinuxtone;

   if (-f $request_filename) {
   break;
   }

   if (-f $request_filename/index.php) {
   rewrite (.*) $1/index.php break;
   }

   error_page 403 http://my.linuxtone.org/member.php?m=user&a=login;

   location / {
   if ( !-e $request_filename) {
   proxy_pass http://my.linuxtone.org;
   break;
   }
   include /usr/local/nginx/conf/proxy.conf;
   }
}

十三、Nginx简单优化

1. 减小nginx编译后的文件大小 (Reduce file size of nginx)
默认的nginx编译选项里居然是用debug模式(-g)的（debug模式会插入很多跟踪和
ASSERT之类），编译以后一个nginx有好几兆。去掉nginx的debug模式编译，编译以
后只有几百K

在 auto/cc/gcc，最后几行有：

# debug
CFLAGS=”$CFLAGS -g”

注释掉或删掉这几行，重新编译即可。

2. 修改Nginx的header伪装服务器

1) 修改nginx.h

#vi nginx-0.7.30/src/core/nginx.h
#define NGINX_VERSION "1.8"
#define NGINX_VER "LTWS/" NGINX_VERSION
#define NGINX_VAR "NGINX"
#define NGX_OLDPID_EXT ".oldbin"

2) 修改nginx_http_header_filter_module
#vi nginx-0.7.30/src/http/ngx_http_header_filter_module.c
将如下

static char ngx_http_server_string[] = "Server: nginx" CRLF;

修改为

static char ngx_http_server_string[] = "Server: LTWS" CRLF;

a) 修改nginx_http_header_filter_module
#vi nginx-0.7.30/src/http/ngx_http_special_response.c
将如下：

static u_char ngx_http_error_full_tail[] =
"<hr><center>" NGINX_VER "</center>" CRLF
"</body>" CRLF
"</html>" CRLF
;

static u_char ngx_http_error_tail[] =
"<hr><center>nginx</center>" CRLF
"</body>" CRLF
"</html>" CRLF
;

修改为:

static u_char ngx_http_error_full_tail[] =
"<center> "NGINX_VER" </center>" CRLF
"<hr><center>http://www.linuxtone.org</center>" CRLF
"</body>" CRLF
"</html>" CRLF
;

static u_char ngx_http_error_tail[] =
"<hr><center>LTWS</center>" CRLF
"</body>" CRLF
"</html>" CRLF
;

修改后重新编译一下环境,

404错误的时候显示效果图（如果没有指定错误页的话）：

利用curl命令查看服务器header

3. 为特定的CPU指定CPU类型编译优化.

默认nginx使用的GCC编译参数是-O

需要更加优化可以使用以下两个参数

--with-cc-opt='-O3' \

--with-cpu-opt=opteron \

使得编译针对特定CPU以及增加GCC的优化.

此方法仅对性能有所改善并不会有很大的性能提升，供朋友们参考.

CPUD类型确定:

# cat /proc/cpuinfo | grep "model name"

编译优化参数参考：http://en.gentoo-wiki.com/wiki/Safe_Cflags

4. Tcmalloc优化Nginx 性能

# wget http://download.savannah.gnu.org/releases/libunwind/libunwind-0.99-alpha.tar.gz
# tar zxvf libunwind-0.99-alpha.tar.gz
# cd libunwind-0.99-alpha/
# CFLAGS=-fPIC ./configure
# make CFLAGS=-fPIC
# make CFLAGS=-fPIC install
# wget http://google-perftools.googlecode.com/files/google-perftools-0.98.tar.gz
# tar zxvf google-perftools-0.98.tar.gz
# cd google-perftools-0.98/
# ./configure
# make && make install
# echo "/usr/local/lib" > /etc/ld.so.conf.d/usr_local_lib.conf
# ldconfig
# lsof -n | grep tcmalloc

编译nginx 加载google_perftools_module:

./configure --with-google_perftools_module

在主配置文件加入nginx.conf 添加:

google_perftools_profiles /path/to/profile;

5. 内核参数优化
# vi /etc/sysctl.conf

#在末尾增加以下内容：
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_keepalive_time = 300
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.ip_local_port_range = 5000 65000

#使配置立即生效
/sbin/sysctl -p

十四、如何构建高性的LEMP

请参见: http://www.linuxtone.org/lemp/lemp.pdf

1、提供完整的配置脚本下载：http://www.linuxtone.org/lemp/scripts.tar.gz
2、提供NGINX常见配置范例含(虚拟主机，防盗链，Rewrite,访问控制，负载均衡Discuz相关程序静态化及等等),你只要稍稍修改即可线上应用。
3、将原版的xcache替换成EA，并提供相关简单调优脚本及配置文件。

更多的及更新资料请关注: http://www.linuxtone.org

十五、Nginx监控

1、 RRDTOOL+Perl脚本画图监控
先安装好rrdtool ，关于rrdtool本文不作介绍，具体安装请参照linuxtone监控版块.

#cd /usr/local/sbnin
#wget http://blog.kovyrin.net/files/mrtg/rrd_nginx.pl.txt
#mv rrd_nginx.pl.txt rrd_nginx.pl
#chmod a+x rrd_nginx.pl

#vi rrd_nginx.pl //配置脚本文件设置好路径

#!/usr/bin/perl
use RRDs;
use LWP::UserAgent;

# define location of rrdtool databases
my $rrd = '/data/www/wwwroot/nginx/rrd';

# define location of images
my $img = '/data/www/wwwroot/nginx/html';

# define your nginx stats URL
my $URL = "http:// 219.32.205.13/nginx_status";
…………

【注】根据自己具体的状况修改相应的路径.

#crontab –e //加入如下

* * * * * /usr/local/sbin/rrd_nginx.pl

重启crond后，通过配置nginx虚拟主机指到/data/www/wwwroot/nginx/html目录，通过crond
自动执行perl脚本会生成很多图片.

http://xxx/connections-day.png即可看到服务器状态图。

2、官方Nginx-rrd 监控服务（多虚拟主机）（推荐）
网址：http://www.nginx.eu/nginx-rrd.html

此解决方案其实是基于上述监控方案的一个改进和增强，同样先安装好rrdtool这个画图工
具和相应的perl模块再做如下操作：

# yum install perl-HTML*

先建立好生成的库存和图片存放录

#mkdir -p /data/www/wwwroot/nginx/{rrd,html}
#cd /usr/local/sbin
#wget http://www.nginx.eu/nginx-rrd/nginx-rrd-0.1.4.tgz
#tar zxvf nginx-rrd-0.1.4.tgz
#cd nginx-rrd-0.1.4
#cd etc/
#cp nginx-rrd.conf /etc
#cd etc/cron.d
#cp nginx-rrd.cron /etc/cron.d
#cd /usr/local/src/nginx-rrd-0.1.4/html
# cp index.php /data/www/wwwroot/nginx/html/
#cd /usr/local/src/nginx-rrd-0.1.4/usr/sbin
#cp * /usr/sbin/

#vi /etc/nginx-rrd.conf

#####################################################
#
# dir where rrd databases are stored

RRD_DIR="/data/www/wwwroot/nginx/rrd";

# dir where png images are presented

WWW_DIR="/data/www/wwwroot/nginx/html";

# process nice level

NICE_LEVEL="-19";

# bin dir

BIN_DIR="/usr/sbin";

# servers to test

# server_utl;server_name

SERVERS_URL="http://219.32.205.13/nginx_status;219.32.205.13

http://www.linuxtone.org/nginx_status;www.linuxtone.org"" //根据你的具体情况做调整.

SEVERS_URL 格式 http://domain1/nginx_status;domain1 http://domain2/nginx_status;domain2

这种格式监控多虚拟主机连接状态：
重点启crond服务，仍后通过http://219.32.205.13/nginx/html/ 即可访问。配置过程很简单！

3、 CACTI模板监控Nginx

利用Nginx_status状态来画图实现CACTI监控
nginx编译时允许http_stub_status_module

# vi /usr/local/nginx/conf/nginx.conf

location /nginx_status {
   stub_status on;
   access_log off;
   allow 192.168.1.37;
   deny all;
}

# kill -HUP `cat /usr/local/nginx/logs/nginx.pid`
# wget http://forums.cacti.net/download.php?id=12676
# tar xvfz cacti-nginx.tar.gz
# cp cacti-nginx/get_nginx_socket_status.pl /data/cacti/scripts/
# cp cacti-nginx/get_nginx_clients_status.pl /data/cacti/scripts/
# chmod 755 /data/cacti/scripts/get_nginx*

检测插件
# /data/cacti/scripts/get_nginx_clients_status.pl http://192.168.1.37/nginx_status

在cacti管理面板导入

cacti_graph_template_nginx_clients_stat.xml
cacti_graph_template_nginx_sockets_stat.xml

十六、常见问题与错误处理

1、 400 bad request错误的原因和解决办法
配置nginx.conf相关设置如下.

client_header_buffer_size 16k;
large_client_header_buffers 4 64k;

根据具体情况调整，一般适当调整值就可以。

2、 Nginx 502 Bad Gateway错误

proxy_next_upstream error timeout invalid_header http_500 http_503;

或者尝试设置:

large_client_header_buffers 4 32k;

3、 Nginx出现的413 Request Entity Too Large错误

这个错误一般在上传文件的时候会出现，

编辑Nginx主配置文件Nginx.conf，找到http{}段，添加

client_max_body_size 10m; //设置多大根据自己的需求作调整.

如果运行php的话这个大小client_max_body_size要和php.ini中的如下值的最大值
一致或者稍大，这样就不会因为提交数据大小不一致出现的错误。

post_max_size = 10M
upload_max_filesize = 2M

4、解决504 Gateway Time-out(nginx)

遇到这个问题是在升级discuz论坛的时候遇到的

一般看来, 这种情况可能是由于nginx默认的fastcgi进程响应的缓冲区太小造成的,
这将导致fastcgi进程被挂起, 如果你的fastcgi服务对这个挂起处理的不好, 那么最后就
极有可能导致504 Gateway Time-out

现在的网站, 尤其某些论坛有大量的回复和很多内容的, 一个页面甚至有几百K。

默认的fastcgi进程响应的缓冲区是8K, 我们可以设置大点

在nginx.conf里, 加入：

fastcgi_buffers 8 128k

这表示设置fastcgi缓冲区为8×128k

当然如果您在进行某一项即时的操作, 可能需要nginx的超时参数调大点，例如设置成60秒：

send_timeout 60;

只是调整了这两个参数, 结果就是没有再显示那个超时, 可以说效果不错, 但是也
可能是由于其他的原因, 目前关于nginx的资料不是很多, 很多事情都需要长期的经验
累计才有结果, 期待您的发现哈!

5、如何使用Nginx Proxy

朋友一台服务器运行tomcat 为8080端口,IP:192.168.1.2:8080,另一台机器
IP:192.168.1.8. 朋友想通过访问http://192.168.1.8即可访问tomcat服务.配置如下:

在192.168.1.8的nginx.conf上配置如下:

server {
   listen 80;
   server_name java.linuxtone.org
   location / {
   proxy_pass http://192.168.1.2:8080;
   include /usr/local/nginx/conf/proxy.conf;
   }
}

6、如何关闭Nginx的LOG

access_log /dev/null;
error_log /dev/null;

十七、相关资源下载

1. nginx配置示例及脚本下载:
# wget http://www.linuxtone.org/lemp/scripts.tar.gz #此脚本范例定期更新.

Tags: nginx中文手册