LinuxSEE

/dev/shm/是linux下一个非常有用的目录，因为这个目录不在硬盘上，而是在内存里。因此在linux下，就不需要大费周折去建ramdisk，直接使用/dev/shm/就可达到很好的优化效果。
/dev /shm/需要注意的一个是容量问题，在linux下，它默认最大为内存的一半大小，使用df -h命令可以看到。但它并不会真正的占用这块内存，如果/dev/shm/下没有任何文件，它占用的内存实际上就是0字节；如果它最大为1G，里头放有 100M文件，那剩余的900M仍然可为其它应用程序所使用，但它所占用的100M内存，是绝不会被系统回收重新划分的，否则谁还敢往里头存文件呢？
默认的最大一半内存大小在某些场合可能不够用，并且默认的inode数量很低一般都要调高些，这时可以用mount命令来管理它。 mount -o size=1500M -o nr_inodes=1000000 -o noatime,nodiratime -o remount /dev/shm

我们一开始，先从free命令说起。free 命令相对于top提供了更简洁的查看系统内存使用情况：

# free
total       used       free     shared    buffers     cached
Mem:       4129428    2830048    1299380          0     208524    1838492
-/+ buffers/Cache:     783032    3346396
SWAP:      4192956          0    4192956

解释下各个参数的意思：

Mem：表示物理内存统计
-/+ buffers/cached：表示物理内存的缓存统计。
Swap：表示硬盘上交换分区的使用情况，这里我们不去关心。
系统的总物理内存：4129428（4096MB），但系统当前真正可用的内存并不是第一行free 标记的 2830048，它仅代表未被分配的内存。

单位为MB的查看方法：
# free -m
total       used       free     shared    buffers     cached
Mem:          4032       2764       1268          0        203       1795
-/+ buffers/cache:        765       3267
Swap:         4094          0       4094

我们使用totalA、usedA、freeA、usedB、freeB等名称来代表上面统计数据的各值，A和B分别代表第一行和第二行的数据。
[totalA] 4032：表示物理内存总量。
[usedA] 2764：表示总计分配给缓存（包含buffers 与cache ）使用的数量，但其中可能部分缓存并未实际使用。
[freeA] 1268：未被分配的内存。
[sharedA] 0 ：共享内存，一般系统不会用到，这里也不讨论。
[buffersA] 203：系统分配但未被使用的buffers 数量。
[cachedA] 1795：系统分配但未被使用的cache 数量。buffer 与cache 的区别见后面。

[usedB] 771：实际使用的buffers 与cache 总量，也是实际使用的内存总量。
[freeB] 3261：未被使用的buffers 与cache 和未被分配的内存之和，这就是系统当前实际可用内存。

可以整理出如下等式：
totalA = usedA + free1
totalA = used2 + free2
usedA = buffersA + cachedA + usedB
freeB = buffersA + cachedA + freeA

buffer 与cache 的区别
A buffer is something that has yet to be “written” to disk. A cache is something that has been “read” from the disk and stored for later use.
对于共享内存（Shared memory），主要用于在Unix 环境下不同进程之间共享数据，是进程间通信的一种方法，一般的应用程序不会申请使用共享内存，笔者也没有去验证共享内存对上面等式的影响。

cache 和 buffer的区别：
Cache：高速缓存，是位于CPU与主内存间的一种容量较小但速度很高的存储器。由于CPU的速度远高于主内存，CPU直接从内存中存取数据要等待一定时间周期，Cache中保存着CPU刚用过或循环使用的一部分数据，当CPU再次使用该部分数据时可从Cache中直接调用，这样就减少了CPU的等待时间，提高了系统的效率。Cache又分为一级Cache（L1 Cache）和二级Cache（L2 Cache），L1 Cache集成在CPU内部，L2 Cache早期一般是焊在主板上，现在也都集成在CPU内部，常见的容量有256KB或512KB L2 Cache。

Buffer：缓冲区，一个用于存储速度不同步的设备或优先级不同的设备之间传输数据的区域。通过缓冲区，可以使进程之间的相互等待变少，从而使从速度慢的设备读入数据时，速度快的设备的操作进程不发生间断。

Free中的buffer和cache：（它们都是占用内存）：
buffer : 作为buffer cache的内存，是块设备的读写缓冲区
cache: 作为page cache的内存， 文件系统的cache
如果 cache 的值很大，说明cache住的文件数很多。如果频繁访问到的文件都能被cache住，那么磁盘的读IO必会非常小。

在Linux中经常发现空闲内存很少，似乎所有的内存都被系统占用了，表面感觉是内存不够用了，其实不然。这是Linux内存管理的一个优秀特性，在这方面，区别于 Windows的内存管理。主要特点是，无论物理内存有多大，Linux 都将其充份利用，将一些程序调用过的硬盘数据读入内存，利用内存读写的高速特性来提高Linux系统的数据访问性能。而Windows 是只在需要内存时，才为应用程序分配内存，并不能充分利用大容量的内存空间。换句话说，每增加一些物理内存，Linux 都将能充分利用起来，发挥了硬件投资带来的好处，而Windows只将其做为摆设，即使增加8GB甚至更大。

Linux 的这一特性，主要是利用空闲的物理内存，划分出一部份空间，做为 cache 和 buffers ，以此提高数据访问性能。

1、什么是 cache ?

页高速缓存(cache)是 Linux内核实现的一种主要磁盘缓存。它主要用来减少对磁盘的I/O操作。具体地讲，是通过把磁盘中的数据缓存到物理内存中，把对磁盘的访问变为对物理内存的访问。

磁盘高速缓存的价值在于两个方面：第一，访问磁盘的速度要远远低于访问内存的速度，因此，从内存访问数据比从磁盘访问速度更快。第二，数据一旦被访问，就很有可能在短期内再次被访问到。

页高速缓存是由内存中的物理页组成的，缓存中每一页都对应着磁盘中的多个块。每当内核开始执行一个页I/O操作时(通常是对普通文件中页大小的块进行磁盘操作)，首先会检查需要的数据是否在高速缓存中，如果在，那么内核就直接使用高速缓存中的数据，从而避免访问磁盘。

举个例子，当使用文本编辑器打开一个源程序文件时，该文件的数据就被调入内存。编辑该文件的过程中，越来越多的数据会相继被调入内存页。最后，当你编译它的时候，内核可以直接使用页高速缓存中的页，而不需要重新从磁盘读取该文件了。因为用户往往会反复读取或操作同一个文件，所以页高速缓存能减少大量的磁盘操作。

2、cache 如何更新?

由于页高速缓存的缓存作用，写操作实际上会被延迟。当页高速缓存中的数据比后台存储的数据更新时，那么该数据就被称做脏数据。在内存中累积起来的脏页最终必须被写回磁盘。在以下两种情况发生时，脏页被写回磁盘：

◆当空闲内存低于一个特定的阈值时，内核必须将脏页写回磁盘，以便释放内存。

◆当脏页在内存中驻留时间超过一个特定的阈值时，内核必须将超时的脏页写回磁盘，以确保脏页不会无限期地驻留在内存中。

在2.6内核中，由一群内核线程—pdflush后台回写例程统一执行两种工作。

首先，pdflush线程在系统中的空闲内存低于一个特定的阈值时，将脏页刷新回磁盘。该后台回写例程的目的在于在可用物理内存过低时，释放脏页以重新获得内存。特定的内存阈值可以通过dirty_background_ratio sysctl系统调用设置。当空闲内存比阈值：dirty_background_ratio还低时，内核便会调用函数wakeup_bdflush()唤醒一个pdflush线程，随后pdflush线程进一步调用函数background_writeout()开始将脏页写回磁盘。函数background_ writeout()需要一个长整型参数，该参数指定试图写回的页面数目。函数background_writeout()会连续地写出数据，直到满足以下两个条件：

◆已经有指定的最小数目的页被写出到磁盘。

◆空闲内存数已经回升，超过了阈值dirty_background_ratio。

上述条件确保了pdflush操作可以减轻系统中内存不足的压力。回写操作不会在达到这两个条件前停止，除非pdflush写回了所有的脏页，没有剩下的脏页可再被写回了。

为了满足第二个目标，pdflush后台例程会被周期性唤醒(和空闲内存是否过低无关)，将那些在内存中驻留时间过长的脏页写出，确保内存中不会有长期存在的脏页。如果系统发生崩溃，由于内存处于混乱之中，所以那些在内存中还没来得及写回磁盘的脏页就会丢失，所以周期性同步页高速缓存和磁盘非常重要。在系统启动时，内核初始化一个定时器，让它周期地唤醒pdflush线程，随后使其运行函数wb_kupdate()。

使用
#cat /var/log/squid/access.log|gawk ‘{print $4}’|sort|uniq -c|sort -nr
434524 TCP_IMS_HIT/304
331078 TCP_MEM_HIT/200
97985 TCP_MISS/200
79076 TCP_HIT/200
11049 TCP_IMS_HIT/200
8110 TCP_NEGATIVE_HIT/404
3666 TCP_HIT/206
3496 TCP_MISS/304
2843 TCP_MISS/302
1929 TCP_CLIENT_REFRESH_MISS/200
935 TCP_MISS/404
430 TCP_MISS/000
233 TCP_MEM_HIT/206
86 TCP_REFRESH_MISS/200
73 TCP_CLIENT_REFRESH_MISS/404
60 TCP_REFRESH_HIT/200
53 TCP_REFRESH_HIT/304
18 TCP_SWAPFAIL_MISS/200
6 TCP_SWAPFAIL_MISS/304

如果看到很多的TCP_MEM_HIT ，这表明该文件是从内存缓存读取的，squid已经起作用了！你再用浏览器打开该文件，应该是快如闪电了。。呵呵，大功告成了！还有其他类型的HIT，如TCP_HIT等等，这些是从磁盘读取的，我觉得加速的意义不大，只不过缓解了apache的压力而已。

相应于HTTP请求，下列标签可能出现在access.log文件的第四个域。

TCP_HIT

squid发现请求资源的貌似新鲜的拷贝，并将其立即发送到客户端。

TCP_MISS

Squid没有请求资源的cache拷贝。

TCP_REFERSH_HIT

Squid发现请求资源的貌似陈旧的拷贝，并发送确认请求到原始服务器。原始服务器返回304（未修改）响应，指示squid的拷贝仍旧是新鲜的。

TCP_REF_FAIL_HIT

Squid发现请求资源的貌似陈旧的拷贝，并发送确认请求到原始服务器。然而，原始服务器响应失败，或者返回的响应Squid不能理解。在此情形下，squid发送现有cache拷贝（很可能是陈旧的）到客户端。

TCP_REFRESH_MISS

Squid发现请求资源的貌似陈旧的拷贝，并发送确认请求到原始服务器。原始服务器响应新的内容，指示这个cache拷贝确实是陈旧的。

TCP_CLIENT_REFRESH_MISS

Squid发现了请求资源的拷贝，但客户端的请求包含了Cache-Control: no-cache指令。Squid转发客户端的请求到原始服务器，强迫cache确认。

TCP_IMS_HIT

客户端发送确认请求，Squid发现更近来的、貌似新鲜的请求资源的拷贝。Squid发送更新的内容到客户端，而不联系原始服务器。

TCP_SWAPFAIL_MISS

Squid发现请求资源的有效拷贝，但从磁盘装载它失败。这时squid发送请求到原始服务器，就如同这是个cache丢失一样。

TCP_NEGATIVE_HIT

在对原始服务器的请求导致HTTP错误时，Squid也会cache这个响应。在短时间内对这些资源的重复请求，导致了否命中。 negative_ttl指令控制这些错误被cache的时间数量。请注意这些错误只在内存cache，不会写往磁盘。下列HTTP状态码可能导致否定 cache（也遵循于其他约束）： 204, 305, 400, 403, 404, 405, 414, 500, 501, 502, 503, 504。

TCP_MEM_HIT

Squid在内存cache里发现请求资源的有效拷贝，并将其立即发送到客户端。注意这点并非精确的呈现了所有从内存服务的响应。例如，某些cache在内存里，但要求确认的响应，会以TCP_REFRESH_HIT, TCP_REFRESH_MISS等形式记录。

TCP_DENIED

因为http_access或http_reply_access规则，客户端的请求被拒绝了。注意被http_access拒绝的请求在第9域的值是NONE/-，然而被http_reply_access拒绝的请求，在相应地方有一个有效值。

TCP_OFFLINE_HIT

当offline_mode激活时，Squid对任何cache响应返回cache命中，而不用考虑它的新鲜程度。

TCP_REDIRECT

重定向程序告诉Squid产生一个HTTP重定向到新的URI（见11.1节）。正常的，Squid不会记录这些重定向。假如要这样做，必须在编译squid前，手工定义LOG_TCP_REDIRECTS预处理指令。

NONE

无分类的结果用于特定错误，例如无效主机名。

相应于ICP查询，下列标签可能出现在access.log文件的第四域。

UDP_HIT

Squid在cache里发现请求资源的貌似新鲜的拷贝。

UDP_MISS

Squid没有在cache里发现请求资源的貌似新鲜的拷贝。假如同一目标通过HTTP请求，就可能是个cache丢失。请对比UDP_MISS_NOFETCH。

UDP_MISS_NOFETCH

跟UDP_MISS类似，不同的是这里也指示了Squid不愿去处理相应的HTTP请求。假如使用了-Y命令行选项，Squid在启动并编译其内存索引时，会返回这个标签而不是UDP_MISS。

UDP_DENIED

因为icp_access规则，ICP查询被拒绝。假如超过95%的到某客户端的ICP响应是UDP_DENIED，并且客户端数据库激活了（见附录A），Squid在1小时内，停止发送任何ICP响应到该客户端。若这点发生，你也可在cache.log里见到一个警告。

UDP_INVALID

Squid接受到无效查询（例如截断的消息、无效协议版本、URI里的空格等）。Squid发送UDP_INVALID响应到客户端。

继续阅读…

网上关于sysctl.conf的优化方案有各种版本，大多都是抄来抄去的，让新人看了很迷茫。为解决此问题，经过两天的整理，查了N多资料，将大家常用的总结如下，很多默认的不需要修改的暂未涉及，今后将逐步把所有的项目都有个翻译、讲解、修改建议，如有修改，将以此文为准，其他地方的内容，本人不负责更新。因此转载请注明链接地址：http://www.bsdlover.cn/html/38/n-138.html如果您有补充或修订意见，请于本文后评论或邮件联系cujxtm@gmail.com，万分感谢！

###################
所有rfc相关的选项都是默认启用的，因此网上的那些还自己写rfc支持的都可以扔掉了:)
###############################

net.inet.ip.sourceroute=0
net.inet.ip.accept_sourceroute=0
#############################
通过源路由，攻击者可以尝试到达内部IP地址 –包括RFC1918中的地址，所以
不接受源路由信息包可以防止你的内部网络被探测。
#################################

net.inet.tcp.drop_synfin=1
###################################
安全参数，编译内核的时候加了options TCP_DROP_SYNFIN才可以用，可以阻止某些OS探测。
##################################

kern.maxvnodes=8446
#################http://www.bsdlover.cn#########
vnode 是对文件或目录的一种内部表达。 因此， 增加可以被操作系统利用的 vnode 数量将降低磁盘的 I/O。
一般而言， 这是由操作系统自行完成的，也不需要加以修改。但在某些时候磁盘 I/O 会成为瓶颈，
而系统的 vnode 不足， 则这一配置应被增加。此时需要考虑是非活跃和空闲内存的数量。
要查看当前在用的 vnode 数量：
# sysctl vfs.numvnodes
vfs.numvnodes: 91349
要查看最大可用的 vnode 数量：
# sysctl kern.maxvnodes
kern.maxvnodes: 100000
如果当前的 vnode 用量接近最大值，则将 kern.maxvnodes 值增大 1,000 可能是个好主意。
您应继续查看 vfs.numvnodes 的数值， 如果它再次攀升到接近最大值的程度，
仍需继续提高 kern.maxvnodes。 在 top(1) 中显示的内存用量应有显著变化，
更多内存会处于活跃 (active) 状态。
####################################

kern.maxproc: 964
#################http://www.bsdlover.cn#########
Maximum number of processes
####################################
kern.maxprocperuid: 867
#################http://www.bsdlover.cn#########
Maximum processes allowed per userid
####################################
因为我的maxusers设置的是256，20+16*maxusers＝4116。
maxprocperuid至少要比maxproc少1，因为init(8) 这个系统程序绝对要保持在运作状态。
我给它设置的2068。

kern.maxfiles: 1928
#################http://www.bsdlover.cn#########
系统中支持最多同时开启的文件数量，如果你在运行数据库或大的很吃描述符的进程，那么应该设置在20000以上，
比如kde这样的桌面环境，它同时要用的文件非常多。
一般推荐设置为32768或者65536。
####################################

kern.argmax: 262144
#################http://www.bsdlover.cn#########
maximum number of bytes (or characters) in an argument list.
命令行下最多支持的参数，比如你在用find命令来批量删除一些文件的时候
find . -name “*.old” -delete，如果文件数超过了这个数字，那么会提示你数字太多的。
可以利用find . -name “*.old” -ok rm {} \;来删除。
默认的参数已经足够多了，因此不建议再做修改。
####################################

kern.securelevel: -1
#################http://www.bsdlover.cn#########
-1：这是系统默认级别，没有提供任何内核的保护错误；
0：基本上作用不多，当你的系统刚启动就是0级别的，当进入多用户模式的时候就自动变成1级了。
1：在这个级别上，有如下几个限制：
a. 不能通过kldload或者kldunload加载或者卸载可加载内核模块；
b. 应用程序不能通过/dev/mem或者/dev/kmem直接写内存；
c. 不能直接往已经装在(mounted)的磁盘写东西，也就是不能格式化磁盘，但是可以通过标准的内核接口执行写操作；
d. 不能启动X-windows，同时不能使用chflags来修改文件属性；
2：在 1 级别的基础上还不能写没装载的磁盘，而且不能在1秒之内制造多次警告，这个是防止DoS控制台的；
3：在 2 级别的级别上不允许修改IPFW防火墙的规则。
如果你已经装了防火墙，并且把规则设好了，不轻易改动，那么建议使用3级别，如果你没有装防火墙，而且还准备装防火墙的话，不建议使用。
我们这里推荐使用 2 级别，能够避免比较多对内核攻击。
####################################

kern.maxfilesperproc: 1735
#################http://www.bsdlover.cn#########
每个进程能够同时打开的最大文件数量，网上很多资料写的是32768
除非用异步I/O或大量线程，打开这么多的文件恐怕是不太正常的。
我个人建议不做修改，保留默认。
####################################

kern.ipc.maxsockbuf: 262144
#################http://www.bsdlover.cn#########
最大的套接字缓冲区，网上有建议设置为2097152（2M）、8388608（8M）的。
我个人倒是建议不做修改，保持默认的256K即可，缓冲区大了可能造成碎片、阻塞或者丢包。
####################################

kern.ipc.somaxconn: 128
#################http://www.bsdlover.cn#########
最大的等待连接完成的套接字队列大小，即并发连接数。
高负载服务器和受到Dos攻击的系统也许会因为这个队列被塞满而不能提供正常服务。
默认为128，推荐在1024-4096之间，根据机器和实际情况需要改动，数字越大占用内存也越大。
####################################

kern.ipc.nmbclusters: 4800
#################http://www.bsdlover.cn#########
这个值用来调整系统在开机后所要分配给网络 mbufs 的 cluster 数量，
由于每个 cluster 大小为 2K，所以当这个值为 1024 时，也是会用到 2MB 的核心内存空间。
假设我们的网页同时约有 1000 个联机，而 TCP 传送及接收的暂存区大小都是 16K，
则最糟的情况下，我们会需要 (16K+16K) * 1024，也就是 32MB 的空间，
然而所需的 mbufs 大概是这个空间的二倍，也就是 64MB，所以所需的 cluster 数量为 64MB/2K，也就是 32768。
对于内存有限的机器，建议值是 1024 到 4096 之间，而当拥有海量存储器空间时，我们可以将它设定为 4096 到 32768 之间。
我们可以使用 netstat 这个指令并加上参数 -m 来查看目前所使用的 mbufs 数量。
要修改这个值必须在一开机就修改，所以只能在 /boot/loader.conf 中加入修改的设定
kern.ipc.nmbclusters=32768
####################################

kern.ipc.shmmax: 33554432
#################http://www.bsdlover.cn#########
共享内存和信号灯(“System VIPC”)如果这些过小的话，有些大型的软件将无法启动
安装xine和mplayer提示的设置为67108864，即64M，
如果内存多的话，可以设置为134217728，即128M
####################################

kern.ipc.shmall: 8192
#################http://www.bsdlover.cn#########
共享内存和信号灯(“System VIPC”)如果这些过小的话，有些大型的软件将无法启动
安装xine和mplayer提示的设置为32768
####################################

kern.ipc.shm_use_phys: 0
#################http://www.bsdlover.cn#########
如果我们将它设成 1，则所有 System V 共享内存 (share memory，一种程序间沟通的方式)部份都会被留在实体的内存 (physical memory) 中，
而不会被放到硬盘上的 swap 空间。我们知道物理内存的存取速度比硬盘快许多，而当物理内存空间不足时，
部份数据会被放到虚拟的内存上，从物理内存和虚拟内存之间移转的动作就叫作 swap。如果时常做 swap 的动作，
则需要一直对硬盘作 I/O，速度会很慢。因此，如果我们有大量的程序 (数百个) 需要共同分享一个小的共享内存空间，
或者是共享内存空间很大时，我们可以将这个值打开。
这一项，我个人建议不做修改，除非你的内存非常大。
####################################

kern.ipc.shm_allow_removed: 0
#################http://www.bsdlover.cn#########
共享内存是否允许移除？这项似乎是在fb下装vmware需要设置为1的，否则会有加载SVGA出错的提示
作为服务器，这项不动也罢。
####################################

kern.ipc.numopensockets: 12
#################http://www.bsdlover.cn#########
已经开启的socket数目，可以在最繁忙的时候看看它是多少，然后就可以知道maxsockets应该设置成多少了。
####################################

kern.ipc.maxsockets: 1928
#################http://www.bsdlover.cn#########
这是用来设定系统最大可以开启的 socket 数目。如果您的服务器会提供大量的 FTP 服务，
而且常快速的传输一些小档案，您也许会发现常传输到一半就中断。因为 FTP 在传输档案时，
每一个档案都必须开启一个 socket 来传输，但关闭 socket 需要一段时间，如果传输速度很快，
而档案又多，则同一时间所开启的 socket 会超过原本系统所许可的值，这时我们就必须把这个值调大一点。
除了 FTP 外，也许有其它网络程序也会有这种问题。
然而，这个值必须在系统一开机就设定好，所以如果要修改这项设定，我们必须修改 /boot/loader.conf 才行
kern.ipc.maxsockets=”16424″
####################################

kern.ipc.nsfbufs: 1456
#################http://www.bsdlover.cn#########
经常使用 sendfile(2) 系统调用的繁忙的服务器，
有必要通过 NSFBUFS 内核选项或者在 /boot/loader.conf (查看 loader(8) 以获得更多细节) 中设置它的值来调节 sendfile(2) 缓存数量。
这个参数需要调节的普通原因是在进程中看到 sfbufa 状态。sysctl kern.ipc.nsfbufs 变量在内核配置变量中是只读的。
这个参数是由 kern.maxusers 决定的，然而它可能有必要因此而调整。
在/boot/loader.conf里加入
kern.ipc.nsfbufs=”2496″
####################################

继续阅读…