Linux资源控制-CPU和内存

mytomorrow

8 V3 o4 @$ P2 m& D0 U' `2 F$ J4 a
主要介绍Linux下， 如果对进程的CPU和内存资源的使用情况进行控制的方法。
0 T" Q0 \: a, T6 @. L% [

$ b' t$ V# R* z' j
; M' D% z, k- k3 _8 K1 HCPU资源控制
每个进程能够占用CPU多长时间, 什么时候能够占用CPU是和系统的调度密切相关的.

* D6 T  Z, S! TLinux系统中有多种调度策略, 各种调度策略有其适用的场景, 也很难说哪种调度策略是最优的.

: R3 Q( Y3 R0 S4 u1 FLinux的调度策略可以参见代码: include/linux/sched.h

复制代码
# l: ~! e3 i5 @4 z' Z: G; Z2 K/*
' I6 v8 H1 [6 D * Scheduling policies
2 A7 z2 O) K9 p6 m */
#define SCHED_NORMAL        0
4 q: ~0 ]; y. m; E# \#define SCHED_FIFO        1
# Y! L! k" ^7 ]1 E$ V) a#define SCHED_RR        2
, V; [' F: t1 _9 z#define SCHED_BATCH        3
/* SCHED_ISO: reserved but not implemented yet */
" }. q1 y7 x8 t1 ~( z# e" T#define SCHED_IDLE        5
& f) u- j7 x5 A3 {; _3 g$ d: X, h/* Can be ORed in to make sure the process is reverted back to SCHED_NORMAL on fork */
#define SCHED_RESET_ON_FORK     0x40000000
复制代码
% D! j$ a2 ^3 R" {( ]! y

5 r; M4 z" L3 `% j% j# JLinux 系统也提供了修改调度策略的命令和系统调用接口.
* J; v5 F0 m' ]
调用接口请查询相关文档, 这里主要介绍一下修改调度策略的命令 - chrt.
4 r& t$ r7 @& l. C
6 P" [( e+ d& P% M. Q/ G; C复制代码
# 在一个终端中执行
sleep 1000
0 Q3 {- |; F& G# 打开另一个终端
ps -ef | grep sleep  # 找出 sleep 1000 的pid, 这里假设是 1234
chrt -p 1234         # 可以查看 pid=1234 的进程的 调度策略, 输入如下:
0 i' N; r" Z- O' c" q      pid 1234's current scheduling policy: SCHED_OTHER
      pid 1234's current scheduling priority: 0
. y7 N7 Q) ?% W4 W- Z
chrt -p -f 10 1234   # 修改调度策略为 SCHED_FIFO, 并且优先级为10
chrt -p 1234         # 再次查看调度策略
      pid 1234's current scheduling policy: SCHED_FIFO
- ]9 n, d2 R; ~0 R2 ~1 f& ?4 t      pid 1234's current scheduling priority: 10
复制代码

  w9 D$ X" I2 G1 x; l, _* H8 h  l
补充:

chrt 也可以直接指定一条命令, 并设置这条命令的优先级的调度策略, 具体查看 chrt --help
4 V3 j- e9 I6 ]. y; K: ~. G查看一个进程的调度策略, 除了使用 chrt 命令之外, 还可以 cat /proc/<; PID>/sched
) z5 \' v) Q6 p( Q* Y3 R. H

- j; B8 T! J% j5 n7 }实时进程的CPU控制
7 z- Z" T2 N' ^; p5 y, u所谓的实时进程, 也就是那些对响应时间要求比较高的进程.
: z  Z# X0 o1 I2 Z3 f; s
" M7 @" T, B$ _$ a8 z4 Z2 D  z/ W9 A这类进程需要在限定的时间内处理用户的请求, 因此, 在限定的这段时间内, 需要占用所有CPU资源, 并且不能被其它进程打断.
$ B" W0 P2 b' Z8 |$ P- u
$ L1 I* m6 b* O7 J' K3 H* h( y在这种情况下, 如果实时进程中出现了类似死循环之类的情况, 就会导致整个系统无响应.
) C" ~* O3 L% o8 L! ~8 z5 h. _
' S* z- G% f- C因为实时进程的CPU优先级高, 并且未处理完之前是不会释放CPU资源的.

" g. N  |  C1 w  c

* G, a4 t) M5 _1 Q' R所以, 内核中需要有一种方式来限制实时进程的CPU资源占用.
4 ?$ [( r  |7 b% u/ Z


. Q( b9 R4 [! a3 E5 R  e系统整体设置
: l) a) d& Q5 M" g1. 获取当前系统的设置

sysctl -n kernel.sched_rt_period_us   # 实时进程调度的单位CPU时间 1 秒
# P& H2 V" {' j. M# w' A' @1 k1000000
0 d. Y8 R" T2 |- A6 d1 Nsysctl -n kernel.sched_rt_runtime_us  # 实时进程在 1 秒中实际占用的CPU时间, 0.95秒
950000
9 i3 z! X1 |5 m4 y  \这个设置说明实时进程在运行时并不是完全占用CPU的, 每1秒中有0.05秒的时间可以给其它进程运行.
6 y, T* Q$ d& R3 \4 e  G4 q
这样既不会对实时进程的响应时间造成太大的影响, 也避免了实时进程卡住时导致整个系统无响应.


" [2 }% C, d' M6 I2 l" w* d6 h
2. 设置实时进程占用CPU时间

. ~! D1 n4 j( T& ?上面的默认设置中, 实时进程占用 95% 的CPU时间. 如果觉得占用的太多或太少, 都是可以调整的.比如:

sysctl -w kernel.sched_rt_runtime_us=900000    # 设置实时进程每1秒中只占0.9秒的CPU时间
) W1 Z8 N' d$ f- w1 ]( O! k5 ikernel.sched_rt_runtime_us = 900000
sysctl -n kernel.sched_rt_runtime_us
900000
! ]( P, R, C: S; F0 k. a
0 h& x' ~) Q  A" r* X7 `
+ |# J; I; w9 h  F3 [cgroup 中的设置
整体设置是针对整个系统的, 我们也可以通过 cgroup 来对一组进程的CPU资源进行控制.

如果想在 cgroup 中对 sched_rt_period_us 和 sched_rt_runtime_us 进行控制, 需要内核编译选项 CONFIG_RT_GROUP_SCHED=y
* y$ I' M/ X( S! B) g2 N0 o
* a: n5 A/ T' c- x查看当前系统的内核编译选项方法如下: (debian 7.6 系统)

( L9 B! h0 Z4 y0 A4 |2 C, O) Xcat /boot/config-`uname -r`
查看 CONFIG_RT_GROUP_SCHED 是否启用

cat /boot/config-`uname -r` | grep -i rt_group
# CONFIG_RT_GROUP_SCHED is not set
( Z3 P8 y- P9 ~+ \9 odebian 7.6 默认没有启动这个选项, 所以挂载cgroup之后, 没有设置 sched_rt_period_us 和 sched_rt_runtime_us 的文件
4 G! K- y" _; [5 ~0 I
复制代码
mkdir /mnt/cgroup
mount -t cgroup cgroup /mnt/cgroup/
cd /mnt/cgroup/
ls -l
total 0
-r--r--r-- 1 root root 0 Aug 28 09:06 blkio.io_merged
-r--r--r-- 1 root root 0 Aug 28 09:06 blkio.io_queued
-r--r--r-- 1 root root 0 Aug 28 09:06 blkio.io_service_bytes
-r--r--r-- 1 root root 0 Aug 28 09:06 blkio.io_serviced
2 x3 q" C+ f( J! T-r--r--r-- 1 root root 0 Aug 28 09:06 blkio.io_service_time
" N1 N) O) g! u-r--r--r-- 1 root root 0 Aug 28 09:06 blkio.io_wait_time
--w------- 1 root root 0 Aug 28 09:06 blkio.reset_stats
% ~- e0 O4 t! t. c4 h+ E$ M- j-r--r--r-- 1 root root 0 Aug 28 09:06 blkio.sectors
( D0 q% W; _6 _: e; n) ]-r--r--r-- 1 root root 0 Aug 28 09:06 blkio.time
-rw-r--r-- 1 root root 0 Aug 28 09:06 blkio.weight
-rw-r--r-- 1 root root 0 Aug 28 09:06 blkio.weight_device
-rw-r--r-- 1 root root 0 Aug 28 09:06 cgroup.clone_children
$ U; v: d+ C  k' W+ S--w--w--w- 1 root root 0 Aug 28 09:06 cgroup.event_control
-rw-r--r-- 1 root root 0 Aug 28 09:06 cgroup.procs
/ t8 h8 J3 w; A4 f7 b-r--r--r-- 1 root root 0 Aug 28 09:06 cpuacct.stat
-rw-r--r-- 1 root root 0 Aug 28 09:06 cpuacct.usage
-r--r--r-- 1 root root 0 Aug 28 09:06 cpuacct.usage_percpu
* a. F8 W1 b+ I" @9 }' c1 R( A-rw-r--r-- 1 root root 0 Aug 28 09:06 cpuset.cpu_exclusive
# P+ P$ Q! P1 B. G' ]-rw-r--r-- 1 root root 0 Aug 28 09:06 cpuset.cpus
/ ]. I1 o& ^4 c5 U-rw-r--r-- 1 root root 0 Aug 28 09:06 cpuset.mem_exclusive
; @+ B+ [; f2 Y; ]-rw-r--r-- 1 root root 0 Aug 28 09:06 cpuset.mem_hardwall
) u# }1 a5 z" |2 V( `7 ^* S! ?" f-rw-r--r-- 1 root root 0 Aug 28 09:06 cpuset.memory_migrate
-r--r--r-- 1 root root 0 Aug 28 09:06 cpuset.memory_pressure
) v8 _/ I* m% z- F-rw-r--r-- 1 root root 0 Aug 28 09:06 cpuset.memory_pressure_enabled
-rw-r--r-- 1 root root 0 Aug 28 09:06 cpuset.memory_spread_page
-rw-r--r-- 1 root root 0 Aug 28 09:06 cpuset.memory_spread_slab
-rw-r--r-- 1 root root 0 Aug 28 09:06 cpuset.mems
-rw-r--r-- 1 root root 0 Aug 28 09:06 cpuset.sched_load_balance
-rw-r--r-- 1 root root 0 Aug 28 09:06 cpuset.sched_relax_domain_level
-rw-r--r-- 1 root root 0 Aug 28 09:06 cpu.shares
7 V  x4 K& q8 T; Q1 X' `' I--w------- 1 root root 0 Aug 28 09:06 devices.allow
% k. @! q, z% r--w------- 1 root root 0 Aug 28 09:06 devices.deny
; @5 t* _6 ]. |* J4 E, y) x-r--r--r-- 1 root root 0 Aug 28 09:06 devices.list
-rw-r--r-- 1 root root 0 Aug 28 09:06 net_cls.classid
: v' \0 L. d: _% H; b" s-rw-r--r-- 1 root root 0 Aug 28 09:06 notify_on_release
-rw-r--r-- 1 root root 0 Aug 28 09:06 release_agent
2 m' O+ ^' ?' r- d2 j$ ^8 e; t-rw-r--r-- 1 root root 0 Aug 28 09:06 tasks
2 l6 J0 l% S' w8 A% t& g* r% T复制代码

9 l1 e: J- X# G2 `
# z0 m9 ^- ]5 @: s/ n果然, 只有cpu.share, 没有 cpu.sched_rt_period_us 和 cpu.sched_rt_runtime_us

没办法, 重新编译内核, 编译内核的具体方法参见:  编译Linux内核

为了节约时间, 我们用 make localmodconfig 来创建 .config 文件, 然后修改其中的 CONFIG_RT_GROUP_SCHED=y
+ ~/ Q7 B8 X: J  M) r" l3 j, `1 n
下载源码等等参见: 编译Linux内核, 主要步骤如下:
. s' H/ ?( v& u; f& d; f
% a  ]3 B" o$ `! J3 N. u复制代码
* G' y) Q+ Y  B6 w: _cd /path/to/linux-source-3.2
make localmodconfig
0 g0 V6 k1 }4 z6 v6 ?vim .config   # 设置 CONFIG_RT_GROUP_SCHED=y 并保存
make
make modules_install
make install
7 R/ e7 X7 v: Z6 H7 `reboot      # 重启之前看看 /boot/grub/grub.cfg 中, 默认启动的是不是新安装的内核
# F2 ~) b$ h$ q* _1 a. a2 ~复制代码

启动到新内核, 再次查看内核选项 CONFIG_RT_GROUP_SCHED 是否启用
/ f8 J' {9 K3 F$ S/ `
cat /boot/config-`uname -r` | grep -i rt_group
CONFIG_RT_GROUP_SCHED=y       # 已启用

% F1 w: b5 M' m3 d0 `2 E
再次挂载 cgroup 文件系统, 发现多了2个配置文件, cpu.rt_period_us 和 cpu.rt_runtime_us
2 }; S0 z, L  X# Y+ o4 o& J
( l' n5 q/ M0 R* Q' }6 ?2 o% F复制代码
mount -t cgroup cgroup /mnt/cgroup/
: I* g8 B+ w* L2 ~. H: ^6 hcd /mnt/cgroup/
* c( S/ C+ d0 i  U& i( P* Els -l
total 0
% _1 g1 K, z& V6 o-r--r--r-- 1 root root 0 Aug 28 09:53 blkio.io_merged
-r--r--r-- 1 root root 0 Aug 28 09:53 blkio.io_queued
& T, R. h5 J3 }$ ]5 R-r--r--r-- 1 root root 0 Aug 28 09:53 blkio.io_service_bytes
-r--r--r-- 1 root root 0 Aug 28 09:53 blkio.io_serviced
-r--r--r-- 1 root root 0 Aug 28 09:53 blkio.io_service_time
! @& F) u$ W. V. \+ g-r--r--r-- 1 root root 0 Aug 28 09:53 blkio.io_wait_time
--w------- 1 root root 0 Aug 28 09:53 blkio.reset_stats
, N# l2 W7 G* C% x% G4 d/ I) P4 z  r# P-r--r--r-- 1 root root 0 Aug 28 09:53 blkio.sectors
-r--r--r-- 1 root root 0 Aug 28 09:53 blkio.time
-rw-r--r-- 1 root root 0 Aug 28 09:53 blkio.weight
-rw-r--r-- 1 root root 0 Aug 28 09:53 blkio.weight_device
-rw-r--r-- 1 root root 0 Aug 28 09:53 cgroup.clone_children
$ F! [* Q( s+ K--w--w--w- 1 root root 0 Aug 28 09:53 cgroup.event_control
-rw-r--r-- 1 root root 0 Aug 28 09:53 cgroup.procs
, Z( ^* M# O. w  m$ l& ]& }-r--r--r-- 1 root root 0 Aug 28 09:53 cpuacct.stat
7 @1 n( a8 y$ [9 u; A! l-rw-r--r-- 1 root root 0 Aug 28 09:53 cpuacct.usage
-r--r--r-- 1 root root 0 Aug 28 09:53 cpuacct.usage_percpu
-rw-r--r-- 1 root root 0 Aug 28 09:53 cpu.rt_period_us
-rw-r--r-- 1 root root 0 Aug 28 09:53 cpu.rt_runtime_us
-rw-r--r-- 1 root root 0 Aug 28 09:53 cpuset.cpu_exclusive
# v3 `4 X7 ~4 a% u. @: E2 a-rw-r--r-- 1 root root 0 Aug 28 09:53 cpuset.cpus
1 ~! m% @7 V* Q* R1 P3 |-rw-r--r-- 1 root root 0 Aug 28 09:53 cpuset.mem_exclusive
-rw-r--r-- 1 root root 0 Aug 28 09:53 cpuset.mem_hardwall
0 ~' }- y! X6 @+ j+ [-rw-r--r-- 1 root root 0 Aug 28 09:53 cpuset.memory_migrate
% {8 Y$ i  U6 H. X  u-r--r--r-- 1 root root 0 Aug 28 09:53 cpuset.memory_pressure
6 ~# Y2 G( U& U4 k5 r  C: z-rw-r--r-- 1 root root 0 Aug 28 09:53 cpuset.memory_pressure_enabled
- g2 I7 U1 y1 K/ ?-rw-r--r-- 1 root root 0 Aug 28 09:53 cpuset.memory_spread_page
2 u& u/ ^% y* k! q6 a-rw-r--r-- 1 root root 0 Aug 28 09:53 cpuset.memory_spread_slab
-rw-r--r-- 1 root root 0 Aug 28 09:53 cpuset.mems
-rw-r--r-- 1 root root 0 Aug 28 09:53 cpuset.sched_load_balance
# e3 Y& k, G2 i4 M( b-rw-r--r-- 1 root root 0 Aug 28 09:53 cpuset.sched_relax_domain_level
* ~# @7 u2 V8 ]+ w1 q: j, O-rw-r--r-- 1 root root 0 Aug 28 09:53 cpu.shares
- X8 S7 S6 p" P6 y& o--w------- 1 root root 0 Aug 28 09:53 devices.allow
--w------- 1 root root 0 Aug 28 09:53 devices.deny
4 l4 G) H2 g/ t  b-r--r--r-- 1 root root 0 Aug 28 09:53 devices.list
2 y/ e3 i: N+ E& b-rw-r--r-- 1 root root 0 Aug 28 09:53 net_cls.classid
9 I' Q$ W" t4 i; v8 U$ @( ^9 b) a5 E-rw-r--r-- 1 root root 0 Aug 28 09:53 notify_on_release
-rw-r--r-- 1 root root 0 Aug 28 09:53 release_agent
2 }9 M+ j: G) k+ U2 T4 ?-rw-r--r-- 1 root root 0 Aug 28 09:53 tasks

cat cpu.rt_period_us
1000000
cat cpu.rt_runtime_us
7 Y$ H: x6 \* U$ C1 e950000
3 T9 C5 d! _, V% q复制代码


5 L9 t5 s7 A- z$ E3 ?6 g通过配置 cpu.rt_period_us 和 cpu.rt_runtime_us 就可以对 cgroup 中的进程组中的实时进程进行 CPU使用时间的控制.
9 e$ l" s+ k( i8 ^1 t8 F$ H3 k
' C: ?6 F; H7 z

资源控制实例
: w8 h/ |) ?2 P7 [% J) B$ `上面主要介绍资源的一些理论基础, 下面通过一些实例演示如果通过 cgroup 来控制进程所使用的 CPU和内存 资源.

/ J) I7 z2 Y0 W8 x% D$ ALinux对CPU 和 内存的控制有对应的 cgroup 子系统 cpuset 和 memory
  [0 W9 |. k- ~+ D
/ y: a, ]. a$ y0 a+ t
$ q0 N* s, M- I5 q5 Z1 t
实例: cgroup 中对其中 *子cgroup* 的CPU资源控制
对各个 *子cgroup* 的CPU占用率进行控制主要依靠每个 *子cgroup* 的 cpu.shares 文件

直接用实验过程来说话, 其中加入了一些注释.

# 安装需要的软件
: ]! t# i) \! m* U* N, Mapt-get install stress     # 让CPU达到 100% 的压力工具
% f0 h5 c5 ~3 m. I6 eapt-get install sysstat    # 查看系统CPU, 内存, 磁盘, 网络等资源使用情况的工具
7 G* S9 Z/ X, [! v/ c, `9 P8 M
% e! `' J* O! c# M
! L( ]- d, E% o3 Q. R( S1 \) m实例1 - 默认情况, A 和 B 各占CPU总资源的 1/2
) o8 ?! l! M- H% Z! _& f  }挂载 cgroup 文件系统 (注意加上 -o cpu 的选项)
! U: ~* b/ G" T/ C) |, h在 cgroup中创建 2个子cgroup A 和 B
默认情况下, cgroup A 和 cgroup B 中的 cpu.shares 中的数值都是 1024
0 T9 D1 ?0 S) e5 H9 I  D" N在 A 和 B 中用 stress 工具使其 CPU占用率达到 100%
top 命令查看 A 和 B 中进程分别占用的 CPU (应该都是 50%)

7 x5 O$ p) k$ i1 z0 D6 |) e, w  x, N
复制代码
1 e' `: i5 w) g3 }5 u3 c# 挂载 cgroup 文件系统
4 R9 `  F7 K4 |% v' M$ b& |# B' {mount -t cgroup -o cpu cgroup /mnt/cgroup/
! W; I+ Q) @, g6 t: tcd /mnt/cgroup
ls -l
* v8 e9 Z( d6 z$ A: L( p' O7 jtotal 0
8 ^' R9 f) X% }% l. c-r--r--r-- 1 root root 0 Aug 28 11:29 blkio.io_merged
-r--r--r-- 1 root root 0 Aug 28 11:29 blkio.io_queued
2 F" Z9 H4 c% ^6 ]-r--r--r-- 1 root root 0 Aug 28 11:29 blkio.io_service_bytes
-r--r--r-- 1 root root 0 Aug 28 11:29 blkio.io_serviced
-r--r--r-- 1 root root 0 Aug 28 11:29 blkio.io_service_time
% E( L' v7 m! L# v) E, _/ R2 x+ ~-r--r--r-- 1 root root 0 Aug 28 11:29 blkio.io_wait_time
2 n) x6 f/ P3 S" F--w------- 1 root root 0 Aug 28 11:29 blkio.reset_stats
! x3 J7 l! j7 Z7 e-r--r--r-- 1 root root 0 Aug 28 11:29 blkio.sectors
4 ^# Y5 ^: K: h-r--r--r-- 1 root root 0 Aug 28 11:29 blkio.time
& Z) H' z# Y5 t7 l7 S. c5 l* W4 c-rw-r--r-- 1 root root 0 Aug 28 11:29 blkio.weight
* G0 f' U& N; {9 f1 @-rw-r--r-- 1 root root 0 Aug 28 11:29 blkio.weight_device
-rw-r--r-- 1 root root 0 Aug 28 11:29 cgroup.clone_children
4 l' q) \8 m+ y3 l--w--w--w- 1 root root 0 Aug 28 11:29 cgroup.event_control
-rw-r--r-- 1 root root 0 Aug 28 11:29 cgroup.procs
-r--r--r-- 1 root root 0 Aug 28 11:29 cpuacct.stat
6 X7 j+ H* e: l, l  ~5 x" M-rw-r--r-- 1 root root 0 Aug 28 11:29 cpuacct.usage
' Z' b5 D! X8 p-r--r--r-- 1 root root 0 Aug 28 11:29 cpuacct.usage_percpu
% W4 O2 j+ y/ |8 _. @-rw-r--r-- 1 root root 0 Aug 28 11:29 cpuset.cpu_exclusive
-rw-r--r-- 1 root root 0 Aug 28 11:29 cpuset.cpus
-rw-r--r-- 1 root root 0 Aug 28 11:29 cpuset.mem_exclusive
-rw-r--r-- 1 root root 0 Aug 28 11:29 cpuset.mem_hardwall
0 N; w6 a/ V9 M9 f4 a5 N9 T-rw-r--r-- 1 root root 0 Aug 28 11:29 cpuset.memory_migrate
/ L- J4 y6 g$ P6 e) Y6 ~-r--r--r-- 1 root root 0 Aug 28 11:29 cpuset.memory_pressure
-rw-r--r-- 1 root root 0 Aug 28 11:29 cpuset.memory_pressure_enabled
-rw-r--r-- 1 root root 0 Aug 28 11:29 cpuset.memory_spread_page
-rw-r--r-- 1 root root 0 Aug 28 11:29 cpuset.memory_spread_slab
) ]' K7 x& L8 B2 j8 n8 U-rw-r--r-- 1 root root 0 Aug 28 11:29 cpuset.mems
-rw-r--r-- 1 root root 0 Aug 28 11:29 cpuset.sched_load_balance
- V8 N8 t. E1 ~, y6 g-rw-r--r-- 1 root root 0 Aug 28 11:29 cpuset.sched_relax_domain_level
- n5 W! g' \8 U0 T; X  ^& h2 T-rw-r--r-- 1 root root 0 Aug 28 11:29 cpu.shares
--w------- 1 root root 0 Aug 28 11:29 devices.allow
( u( u7 D+ H8 G  v) Q# p4 @- a--w------- 1 root root 0 Aug 28 11:29 devices.deny
-r--r--r-- 1 root root 0 Aug 28 11:29 devices.list
' w6 x5 S6 K( I' `+ n$ n& Z-rw-r--r-- 1 root root 0 Aug 28 11:29 net_cls.classid
-rw-r--r-- 1 root root 0 Aug 28 11:29 notify_on_release
-rw-r--r-- 1 root root 0 Aug 28 11:29 release_agent
-rw-r--r-- 1 root root 0 Aug 28 11:29 tasks

# 创建 子cgroup A 和 B
. |& G  Y! ?' Lmkdir {A,B}
cat A/cpu.shares
& i, z# s+ A3 A1024
4 l; q# v) H2 c& Ocat B/cpu.shares
1024

# 在 A 和 B 中分别通过 stress 工具使其CPU使用率达到 100%
! k8 L- `' ]- @8 O$ ^% d" Yecho $$ > A/tasks  # 将当前的 SHELL 加入到 cgroup A中
stress -c 2    # 这里-c 2 是因为测试机器是双核, 要在2个核上都产生 100% 的CPU 占用率
, {5 E1 H5 f! M1 s- ^9 {( F# 另外打开一个 shell 窗口, 并将这个shell 加入到 cgroup B中
echo $$ > B/tasks  # 将当前的 SHELL 加入到 cgroup B中
2 D8 _1 J  ?6 v2 P! {stress -c 2    # 在2个核上都产生 100% 的CPU 占用率
# 再打开一个 shell 窗口, 用top命令查看 CPU占用情况
top
( G- l7 H& E! L: g" xtop - 14:10:32 up 43 min,  3 users,  load average: 2.31, 1.24, 0.62
Tasks:  78 total,   5 running,  73 sleeping,   0 stopped,   0 zombie
%Cpu(s):100.0 us,  0.0 sy,  0.0 ni,  0.0 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
1 x% K1 o5 X* C/ p& U$ YKiB Mem:   1887872 total,   114744 used,  1773128 free,    10472 buffers
KiB Swap:  3982332 total,        0 used,  3982332 free,    45068 cached
/ E1 B: |( P3 ?
) W+ i- u9 W4 P2 A: h PID USER      PR  NI  VIRT  RES  SHR S  %CPU %MEM    TIME+  COMMAND                                                                                                                     
1 A6 d4 o3 T3 U4 m6 J" E/ E0 C3350 root      20   0  6524   92    0 R  49.9  0.0   0:08.73 stress                                                                                                                       
3351 root      20   0  6524   92    0 R  49.9  0.0   0:08.67 stress                                                                                                                       
3353 root      20   0  6524   92    0 R  49.9  0.0   0:07.35 stress                                                                                                                       
' ?6 l0 t& c; g" U3354 root      20   0  6524   92    0 R  49.9  0.0   0:07.36 stress                    

# 查看这 4 个stress 进程是否分别属于 A 和 B
1 r* x. m3 K! j1 g5 B6 ?- Y$ mcat /mnt/cgroup/A/tasks
& z+ r, ^/ l( G4 q& M2945
1 f& P, \7 Z4 i$ S3349
3350   <-- stress 进程
4 T  _0 X, s1 M4 s" }( E3351   <-- stress 进程
0 k9 E, s3 G& ~  o& Z# _7 _cat /mnt/cgroup/B/tasks
& u+ J) q  q5 I3 W# N2 p2996
7 v3 {. k4 s0 Z$ v3352
1 V3 Z% q. ~# M3 ?/ f3353   <-- stress 进程
3354   <-- stress 进程
5 V* d, W- q1 q7 R# |复制代码
1 V* d* o: `( J( q3 f: s可以看出, A和B组中的 2个stress 进程的CPU使用率相加都是 100%,

由于我测试的电脑是双核, top所看到的CPU最大使用率是 200%, 所以和预期一致, A和B组各占CPU总资源的 1/2
1 ?2 ~# f/ H* B
6 u6 L2 f6 P! B/ E

实例2 - A group 占用整体CPU资源的 2/3, B group 占用整体CPU资源的 1/3
: O  e7 ~3 H5 N2 c6 v  r1 y5 q) i- q环境同 实例1, 不再重新挂载 cgroup 文件系统, 也不在重建 A 和 B
A group 的 cpu.shares 文件不变, 值为 1024
B group 的 cpu.shares 文件中的值改为 512, 这样, 相当于B占用CPU总资源的 1/3 (因为 512 / (512+1024) = 1/3)
同实例1, 通过2个shell窗口, 分别是 A 和 B 的CPU使用率达到 100%, 然后通过 top 查看CPU使用情况

1 T0 z( D6 \/ c/ v# z5 I
  v" h! P( Z, m# |复制代码
# 在 B 中shell 窗口执行以下命令
- i+ _4 r$ P4 ~: d4 f" b0 {+ s% ocat B/cpu.shares
+ l4 U% ?) J2 W1024
( H9 ~9 `" M+ y- }* G& U7 y, Qecho 512 > B/cpu.shares
cat B/cpu.shares
1 c* L6 `& W' I' Q: d* [) x  d512
7 n! }/ P! y) t* G- `: p3 fstress -c 2

# 在 A 中 shell 窗口执行以下命令
# z! q1 V8 p" F0 K5 k  J8 Y8 N3 vstress -c 2
. A' \4 l' r- A7 Z
# 在第3个 shell 窗口, 也就是 非A, 非B 的那个 shell 窗口, 用 top 查看cpu使用情况
top
, S) ~4 F5 @3 R% Ntop - 14:13:18 up 46 min,  3 users,  load average: 2.24, 1.92, 1.01
Tasks:  78 total,   5 running,  73 sleeping,   0 stopped,   0 zombie
$ I/ U+ V5 `$ M9 K- N9 U* A) C1 A%Cpu(s):100.0 us,  0.0 sy,  0.0 ni,  0.0 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
  h% t* e- w: ?# |3 w1 kKiB Mem:   1887872 total,   114744 used,  1773128 free,    10488 buffers
KiB Swap:  3982332 total,        0 used,  3982332 free,    45068 cached

6 D( h9 Y. e$ k  f PID USER      PR  NI  VIRT  RES  SHR S  %CPU %MEM    TIME+  COMMAND                                                                                                                     
+ `# |7 T% y. R+ a3376 root      20   0  6524   88    0 R  66.6  0.0   0:06.29 stress                                                                                                                       
  K) x; m+ P1 j* t! Q, A. c3377 root      20   0  6524   88    0 R  66.6  0.0   0:06.30 stress                                                                                                                       
3373 root      20   0  6524   88    0 R  33.3  0.0   0:04.33 stress                                                                                                                       
: m& O5 s6 q7 Q! h8 I# K3374 root      20   0  6524   88    0 R  33.3  0.0   0:04.32 stress               

% L# D! Z$ L9 t* Y0 D  T# 查看这 4 个stress 进程是否分别属于 A 和 B
cat /mnt/cgroup/A/tasks
; x. [8 b, d7 Z6 Y7 I1 N2945
3375
3376    <-- stress 进程
3377    <-- stress 进程
# N7 ]. p* }, R+ Z( s- e& W8 I+ @cat /mnt/cgroup/B/tasks
8 [* ?# S/ F: V! W- R- S2996
3372
' |# G  a9 y) X2 N( \5 x3373    <-- stress 进程
3374    <-- stress 进程
+ n& m# w) z+ r+ z4 w' r复制代码
很明显, A 组中的2个进程占用了CPU总量的 2/3 左右, B组中的2个进程占用了CPU总量的 1/3 左右.

/ _% Z' M- e* y7 o+ K' E2 M
( g; Y/ _+ a& e& V, }! f% L; \9 I
实例3 - 物理CPU的控制
' T: Z) P' ]) Z; B4 ]; [上面的实例中, 虽然能够控制每个组的CPU的总体占用率, 但是不能控制某个组的进程固定在某个物理CPU上运行.
& I: a4 v! f* _
要想将 cgroup 绑定到某个固定的CPU上, 需要使用 cpuset 子系统.

6 m' U. r1 O( _/ S5 [% Z/ P: @( u5 Y首先, 查看系统是否支持 cpuset 子系统, 也就是看内核编译选项 CONFIG_CPUSETS 是否设为y

cat /boot/config-`uname -r` | grep -i cpusets
1 F+ s4 R; a( c* ~8 `1 {/ T# XCONFIG_CPUSETS=y
" L/ _* g# c& a' e: d我的测试系统是支持的, 如果你的系统不支持, 就需要重新编译内核了.......



, s1 n4 L9 b# A7 b- @/ V然后, 用下面的例子演示将 A 和 B中的 stress 都指定到1个CPU上后的情况

卸载当前的 cgroup
6 M2 j6 n# f4 B( u+ ?2 E! d再次挂载 cgroup 文件系统, 并指定 -o cpuset
; B2 ~7 U& I+ L3 c, a/ n. S指定 A 的物理CPU为 0 (双核CPU的每个核编号分别是 CPU0, CPU1)
5 W& k; |- ]* R6 M3 N- y' Q5 G指定 B 的物理CPU也为 0
重复 实例1 中的步骤, 观察发生的变化


复制代码
umount /mnt/cgroup
mount -t cgroup -o cpuset cgroup /mnt/cgroup/
cd /mnt/cgroup
ls -l
; [  D0 a' E" w5 I+ L: E2 \+ itotal 0
-rw-r--r-- 1 root root 0 Aug 28 14:39 cgroup.clone_children
--w--w--w- 1 root root 0 Aug 28 14:39 cgroup.event_control
& q$ T. K& O" ]* `- {/ _: c-rw-r--r-- 1 root root 0 Aug 28 14:39 cgroup.procs
-rw-r--r-- 1 root root 0 Aug 28 14:39 cpuset.cpu_exclusive
2 H& v5 a/ H6 A) [-rw-r--r-- 1 root root 0 Aug 28 14:39 cpuset.cpus    <-- 这个就是设置关联物理CPU的文件
# R  ]' c7 Z% [  K-rw-r--r-- 1 root root 0 Aug 28 14:39 cpuset.mem_exclusive
-rw-r--r-- 1 root root 0 Aug 28 14:39 cpuset.mem_hardwall
9 w7 d0 I' J2 i. S* m, l-rw-r--r-- 1 root root 0 Aug 28 14:39 cpuset.memory_migrate
-r--r--r-- 1 root root 0 Aug 28 14:39 cpuset.memory_pressure
-rw-r--r-- 1 root root 0 Aug 28 14:39 cpuset.memory_pressure_enabled
& r2 \. x5 g$ @-rw-r--r-- 1 root root 0 Aug 28 14:39 cpuset.memory_spread_page
3 e2 v7 J# K$ X' z* G" e+ r-rw-r--r-- 1 root root 0 Aug 28 14:39 cpuset.memory_spread_slab
# b3 D% X$ f8 c, e5 U-rw-r--r-- 1 root root 0 Aug 28 14:39 cpuset.mems
6 }* a! D7 O/ U+ z! R' Z1 B+ n-rw-r--r-- 1 root root 0 Aug 28 14:39 cpuset.sched_load_balance
-rw-r--r-- 1 root root 0 Aug 28 14:39 cpuset.sched_relax_domain_level
-rw-r--r-- 1 root root 0 Aug 28 14:39 notify_on_release
-rw-r--r-- 1 root root 0 Aug 28 14:39 release_agent
& P* w; Z# k* d. o-rw-r--r-- 1 root root 0 Aug 28 14:39 tasks

1 b5 n" K* \* N' S( n! ?# 创建子cgroup A 和 B
  t; M7 \4 \7 d4 amkdir {A,B}
cat A/cpuset.cpus   
         <--  默认是空的
echo 0 > A/cpuset.cpus
( r8 b" X" T' j- B1 fcat A/cpuset.cpus
0
' G1 s. a' J7 ^1 }% fecho 0 > B/cpuset.cpus   # 同样, 设置B组也绑定到CPU0
# 当前Shell加入到 A组
echo $$ > /mnt/cgroup/A/tasks
& z- w) Q3 C9 k0 D-bash: echo: write error: No space left on device
复制代码


如果出现上述错误, 只需要再设置 /mnt/cgroup/A/cpuset.mems 即可. (参考: http://serverfault.com/questions/579555/cgroup-no-space-left-on-device)
: p; o0 V% ^0 p* o/ }4 \3 S" o
复制代码
# 同时设置 A 的 cpuset.cpus 和 cpuset.mems
echo 0 > A/cpuset.cpus
echo 0 > A/cpuset.mems
# B组也同样设置
echo 0 > B/cpuset.cpus
echo 0 > B/cpuset.mems
; j5 f0 Q- j  G8 ?  q
* p9 ^/ J% @/ O. {3 h# 将当前 shell 加入到 A组
echo $$ > /mnt/cgroup/A/tasks   <-- 设置过 cpuset.mems 后, 就没有出错了
4 J# x# O  J9 b% X; k; dstress -c 2

# 再打开一个Shell窗口, 并加入到 B组
( L, o/ _# j* e' q1 I9 Cecho $$ > /mnt/cgroup/B/tasks
stress -c 2

& B7 q  I" C7 L# x" n# 再打开第3个 shell 窗口, 用top命令查看CPU使用情况
top
top - 15:13:29 up  1:46,  3 users,  load average: 1.01, 0.24, 0.12
  R$ F6 X: V! |1 c; tTasks:  78 total,   5 running,  73 sleeping,   0 stopped,   0 zombie
%Cpu(s): 50.0 us,  0.0 sy,  0.0 ni, 50.0 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
KiB Mem:   1887872 total,   117216 used,  1770656 free,    11144 buffers
KiB Swap:  3982332 total,        0 used,  3982332 free,    47088 cached
6 ?1 m" d* [' v  o8 r
PID USER      PR  NI  VIRT  RES  SHR S  %CPU %MEM    TIME+  COMMAND                                                                                                                     
3830 root      20   0  6524   92    0 R  25.0  0.0   0:04.96 stress                                                                                                                       
* A* K: k! z  N" x" _! L& t3831 root      20   0  6524   92    0 R  25.0  0.0   0:04.97 stress                                                                                                                       
3834 root      20   0  6524   92    0 R  25.0  0.0   0:03.56 stress                                                                                                                       
3833 root      20   0  6524   92    0 R  24.6  0.0   0:03.56 stress
复制代码
- W4 x7 g+ ^- k- |: I+ g0 d# O从上面的结果可以看出, 虽然 stress 命令指定了 -c 2(意思是在2个CPU上运行), 但是由于A和B都只绑定了CPU0,
5 x7 @) j9 W8 {3 T4 o
所以虽然是双核的机器, 它们所占用的CPU总量却只有 100%, 而不是实例1 中的 200%.

& H" P8 C! h- V
$ c1 t$ g# g: g/ T1 K; ~+ v6 V1 O
1 V% d' ]8 {1 h( o如果将B组的物理CPU绑定到CPU1, 那么应该所有 stress 的进程都占用 50%, CPU资源的总量变为 200%.

0 m0 E+ A  u. `% W& ?下面将B组的物理CPU绑定为CPU1, 看看结果是否和我们的预期一样.

4 ^' R% I" \* W! i3 S4 |复制代码
# 在 B组的 shell 窗口中执行以下命令
. p$ e% H; D) O% g) T6 |* }echo 1 > /mnt/cgroup/B/cpuset.cpus
% n  a$ e! G# z  }% M6 j3 q2 Rcat /mnt/cgroup/B/cpuset.cpus
1
, @# c; R' `  E7 b- Y) Sstress -c 2
0 W( I0 z: l) b5 R+ ^
& O# a( q" Q! h, \0 k. b5 e: q0 b# 在 A组的 shell 窗口中执行以下命令
stress -c 2
, e5 z, ]  D) D) A
1 v$ d7 e6 [) S* n' W/ a# 在第3个shell窗口中用top命令查看执行结果
top
top - 15:20:07 up  1:53,  3 users,  load average: 0.38, 0.83, 0.56
* |( }) p" S" KTasks:  78 total,   5 running,  73 sleeping,   0 stopped,   0 zombie
%Cpu(s):100.0 us,  0.0 sy,  0.0 ni,  0.0 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
KiB Mem:   1887872 total,   117340 used,  1770532 free,    11168 buffers
KiB Swap:  3982332 total,        0 used,  3982332 free,    47088 cached
' U# d( L3 q& ~, ?, L9 @
  _. _5 Y1 Z) v. l; L4 r' W  PID USER      PR  NI  VIRT  RES  SHR S  %CPU %MEM    TIME+  COMMAND                                                                                                                     
0 Z+ D* l; f6 Q" b  a3 r 3854 root      20   0  6524   88    0 R  49.9  0.0   0:03.76 stress                                                                                                                       
' ]3 V) g/ `+ ?9 i8 D 3857 root      20   0  6524   92    0 R  49.9  0.0   0:02.29 stress                                                                                                                       
3858 root      20   0  6524   92    0 R  49.9  0.0   0:02.29 stress                                                                                                                       
3855 root      20   0  6524   88    0 R  49.6  0.0   0:03.76 stress
复制代码
# D& n: \3 m8 J6 h/ ]" o, z0 G  n果然, 和预期一致. A组中的 stress 和 B组中的 stress 在各自的物理CPU上都占用了 100% 左右的CPU使用率.
# F- c; _5 y5 }+ I1 Y+ t
' {& m6 H5 v- {" w. g: E6 R, _

实例4 - cgroup 对使用的内存的控制
cgroup 对内存的控制也很简单, 只要挂载cgroup时, 指定 -o memory
% L5 M: O6 C: a5 A+ g2 ?& z
0 l. c$ Y1 i. N( }' x# 首先之前挂载的 cpuset 子系统
) F( B  `1 e+ h' v4 O( _umount /mnt/cgroup

- ~$ @- X0 k  k% C4 M. p# 挂载cgroup 文件系统, 指定 -o memeory
mount -o memory -t cgroup mEMCg /mnt/cgroup/
mount: special device memcg does not exist

) d( q$ K2 O4 M% D
& `& s  {# o* M1 A( h8 q出现以上错误的原因可能是因为debian系统中, 默认没有启动 cgroup 的memory子系统. 可以通过以下方法确认:

4 `7 k' J7 g: o/ g复制代码
' u' W/ O* n  M8 G5 \cat /proc/cgroups
- V7 V7 A. t( O! H+ ~#subsys_name    hierarchy    num_cgroups    enabled
cpuset    0    1    1
cpu    0    1    1
+ A6 u0 J# a$ q1 Y: mcpuacct    0    1    1
7 ]7 ^* e  I% }, o( a& J; b  pmemory    1    1    0              <-- 这里的 enabled 是 0
devices    0    1    1
" {6 X/ J2 \- [# O9 [$ zfreezer    0    1    1
& W. k  L& M* {) `! A5 }& a* Y+ G! Lnet_cls    0    1    1
blkio    0    1    1
$ u" U: u4 y, \9 Y$ [5 LpeRF_event    0    1    1
复制代码
( Y; B4 C+ ^7 u+ }: J9 w
9 A7 i8 Q2 X, g3 W5 g
为了默认启用memory子系统, 可以设置 grub选项
( p/ P' t2 T# _& }8 L; c0 d
vim /etc/default/grub
+ I$ n6 E+ Q! U3 |- g( l/ x# 修改 GRUB_CMDLINE_LINUX=""  ==> GRUB_CMDLINE_LINUX="cgroup_enable=memory"
# 保存后, 更新grub.cfg
5 A# R0 o# r) ~" R3 Hupdate-grub
reboot

" K9 |1 p; M3 A! Q6 ~, ~0 x
重启之后, 发现 /proc/cgroups 中的memory已经 enabled, 并且也可以挂载 memcg了
+ m% }- |: k$ y* N  h2 P
复制代码
cat /proc/cgroups
#subsys_name    hierarchy    num_cgroups    enabled
cpuset    0    1    1
! V4 U$ r- s! n/ ~5 @; m, Hcpu    0    1    1
4 m7 _/ J, j. Hcpuacct    0    1    1
memory    1    1    1
devices    0    1    1
freezer    0    1    1
: R  J; U' r1 N. k( Y3 i. wnet_cls    0    1    1
! u& \9 ?6 N0 x" |# bblkio    0    1    1
# B) Z2 J7 C+ m+ d% ?- Yperf_event    0    1    1
$ @+ V+ F4 B: X! M) U& K
  @* n6 _- N  I7 d  R/ Q# 挂载cgroup 的memory子系统
4 s3 E3 `: T# _( _) Bmount -t cgroup -o memory memcg /mnt/cgroup
0 H. b. B  O( D! l" c! r2 cls -l /mnt/cgroup/   <-- 可以看到有很多 memory 相关的配置
' Z3 t$ [9 A, f. Ltotal 0
  V1 m8 `/ h* ]% r- r, I) @-rw-r--r-- 1 root root 0 Aug 28 15:54 cgroup.clone_children
; y* l2 p( N! I8 ]--w--w--w- 1 root root 0 Aug 28 15:54 cgroup.event_control
-rw-r--r-- 1 root root 0 Aug 28 15:54 cgroup.procs
7 @1 b% @/ P5 W. n0 m/ H# V-rw-r--r-- 1 root root 0 Aug 28 15:54 memory.failcnt
--w------- 1 root root 0 Aug 28 15:54 memory.force_empty
# w- a& D+ {/ w1 D; e-rw-r--r-- 1 root root 0 Aug 28 15:54 memory.limit_in_bytes   <-- 限制内存使用的配置文件
-rw-r--r-- 1 root root 0 Aug 28 15:54 memory.max_usage_in_bytes
-rw-r--r-- 1 root root 0 Aug 28 15:54 memory.move_charge_at_immigrate
0 |& o" U* U8 k1 L0 t-r--r--r-- 1 root root 0 Aug 28 15:54 memory.numa_stat
-rw-r--r-- 1 root root 0 Aug 28 15:54 memory.oom_control
) d) ^! d4 ]: Y/ d-rw-r--r-- 1 root root 0 Aug 28 15:54 memory.soft_limit_in_bytes
- _- R" `6 \" h& l% `, Z-r--r--r-- 1 root root 0 Aug 28 15:54 memory.stat
-rw-r--r-- 1 root root 0 Aug 28 15:54 memory.swappiness
4 y# H9 [5 r( u4 X-r--r--r-- 1 root root 0 Aug 28 15:54 memory.usage_in_bytes
3 o4 t1 E) t) H" H9 z) V-rw-r--r-- 1 root root 0 Aug 28 15:54 memory.use_hierarchy
( Q/ P! }: {/ B8 ?: C+ @! I-rw-r--r-- 1 root root 0 Aug 28 15:54 notify_on_release
-rw-r--r-- 1 root root 0 Aug 28 15:54 release_agent
# U4 ^, z" i- S5 C8 \-rw-r--r-- 1 root root 0 Aug 28 15:54 tasks
复制代码
7 e$ U) L4 ]: T# y8 D" h

4 _; v9 k; T* U/ M& ?开始实验：

0 E% C5 u+ w4 Y; V- E0 R, Z' G  V重启系统 (为了保证内存的干净)
3 k9 Y/ ?( N% H8 v* \% f挂载 memcg
  l$ _7 T+ G# W# B$ q$ T在挂载的 /mnt/cgroup 中创建 组A
将当前shell 加入到 组A
8 ]9 e) c# C. L* b' S不限制组A的内存, 压缩内核源码包, 并观察压缩前后内存的变化
( ^% F4 C0 ~+ V2 h" G$ s" l2 A重复步骤 1 ~ 4
限制组A的内存为 10MB, 再次压缩内核源码包, 并观察压缩前后内存的变化
1 y  Z6 M5 E! i  B9 T

  Y: b; Y+ t3 V$ H  T/ Y. h复制代码
# 重启系统
reboot

/ p* y7 ]& S, g  z3 S4 W# 挂载 memcg
mount -t cgroup -o memory memcg /mnt/cgroup
+ j& E: O, e* F# O1 v
# 创建 组A
" |4 m5 n+ q& c$ M  }% y- Gmkdir /mnt/cgroup/A

# d& p" ]3 x' v% p7 o9 c  n# 将当前 shell 加入到组A
0 V! z8 s) K* Y: }$ V6 Decho $$ > /mnt/cgroup/A/tasks
8 `/ |2 ^& Q0 l7 Y) |* @8 W
# 测试不限制内存时, 内存的使用情况, 这里不用linux源码也可以, 但最好用个大点的文件夹来压缩, 以便更容易看出内存的变化.
free -m; tar czvf linux-source-3.2.tar.gz /path/to/linux-source-3.2/ > /dev/null; free -m;
; F1 A; C2 D5 ~             total       used       free     shared    buffers     cached
. A( s# F. l0 S. [2 uMem:          1843        122       1721          0          9         43
-/+ buffers/cache:         68       1774
" B1 w$ P# `, p& USwap:         3888          0       3888
' B; G( v, {6 [             total       used       free     shared    buffers     cached
$ ^" \0 l. f8 F( mMem:          1843       1744         99          0         26       1614
* E' l8 s) l: v+ |7 _( k-/+ buffers/cache:        104       1739
Swap:         3888          0       3888

1 z' l0 |' N- t# L+ ^% q2 h# 重启系统
reboot
: ^) N" A. u5 P+ y+ ^. ~& c5 j. r1 z
; K& n2 n* w" |9 \# 挂载 memcg
mount -t cgroup -o memory memcg /mnt/cgroup

) X/ W5 ?+ [8 o1 b" o$ y# 创建 组A
mkdir /mnt/cgroup/A
) ~! L& e+ n7 s4 A. V+ T% t
# 将当前 shell 加入到组A
" L8 \9 R0 Y4 Pecho $$ > /mnt/cgroup/A/tasks

2 l# _0 j% Z/ q# 限制 组A 的内存使用量最大为 10MB
echo 10M > /mnt/cgroup/A/memory.limit_in_bytes

8 S: b# \8 V. ^: e2 w; [! b' B# 测试限制内存为 10MB 时, 内存的使用情况.
; v( ~- |5 R! S4 Jrm -rf linux-source-3.2.tar.gz
free -m; tar czvf linux-source-3.2.tar.gz /path/to/linux-source-3.2/ > /dev/null; free -m;
             total       used       free     shared    buffers     cached
Mem:          1843        122       1721          0         10         43
-/+ buffers/cache:         68       1774
Swap:         3888          0       3888
  W- a* X, Q: Y6 |" a             total       used       free     shared    buffers     cached
& t8 c1 S) C+ d! BMem:          1843        194       1649          0         14         48
4 [3 H. a/ A/ M3 n' t! X5 T-/+ buffers/cache:        131       1712
Swap:         3888          0       3888
复制代码
从上面的结果可以看出限制内存是起了作用的.
9 l% ]$ S/ M2 H- A* n
不限制内存时, tar 压缩前后 buffer + cache 内存从 (9MB + 43MB) ==> (26MB + 1614MB)  增大了 1588MB

- G* R0 C  B9 f9 g! q( ?/ R$ ~限制内存后, tar 压缩前后 buffer + cache 内存从 (10MB + 43MB) ==> (14MB + 48MB)  增大了 9MB
4 A" ?$ ?3 h2 d5 Q$ o" I8 D, ~

/ y: Z# s; a' F- R. v/ Z! e, ^4 j
总结
简单的实验就发现 cgroup 如此强大的控制能力(而且配置也很简单), 这也就难怪LXC等容器技术能如此强大, 如此流行.

& N+ E3 E6 ?2 B3 v/ a9 C& V5 [cgroup 的配置文件很多, 上面的实例中只简单使用了其中的几个配置文件, 如果想深入了解 cgroup, 更好的利用cgroup的话,

还得找个介绍cgroup配置文件的文档来研究一下, 这篇博客提供的内容还远远不够.

CCxiaom

CPU和内存