天天见闻

天天见闻

Linux内存使用和内存泄漏

天天见闻 天天见闻 2023-03-15 教育 阅读: 161
摘要:

1. 内存使用情况分析

http://www.360doc.com/content/15/1118/13/17283_514054063.shtml

https://www.linuxidc.com/Linux/2016-04/130069.htm

1.1 系统总内存分析

通过cat /proc/meminfo，可用的物理内存=MemFree+Buffers+Cached。

MemTotal: 5933132 kB
MemFree: 4485932 kB
MemAvailable: 4822944 kB
Buffers: 122148 kB
Cached: 630048 kB
SwapCached: 0 kB
Active: 806136 kB
Inactive: 461288 kB
Active(anon): 516344 kB
Inactive(anon): 230112 kB
Active(file): 289792 kB
Inactive(file): 231176 kB
Unevictable: 32 kB
Mlocked: 32 kB
SwapTotal: 7999484 kB
SwapFree: 7999484 kB
Dirty: 204 kB
Writeback: 0 kB
AnonPages: 515264 kB
…

echo 3 > /proc/sys/vm/drop_caches，会清理系统的cache。

Writing to this will cause the kernel to drop clean caches, dentries and inodes from memory, causing that memory to become free.

1-to free pagecache， 2-to free dentries and inodes， 3-to free pagecache, dentries and inodes。

1.2 进程内存分析

cat /proc/{pid}/maps

2.1 内存泄露类型

1. 常发性内存泄漏
发生内存泄漏的代码会被多次执行到，每次被执行的时候都会导致一块内存泄漏

2. 偶发性内存泄漏
发生内存泄漏的代码只有在某些特定环境或操作过程下才会发生。常发性和偶发性是相对的。对于特定的环境，偶发性的也许就变成了常发性的。所以测试环境和测试方法对检测内存泄漏至关重要

3. 一次性内存泄漏
发生内存泄漏的代码只会被执行一次，或者由于算法上的缺陷，导致总会有一块且仅有一块内存发生泄漏

4. 隐式内存泄漏
程序在运行过程中不停的分配内存，但是直到结束的时候才释放内存。严格的说这里并没有发生内存泄漏，因为最终程序释放了所有申请的内存。但是对于一个服务器程序，需要运行几天，几周甚至几个月，不及时释放内存也可能导致最终耗尽系统的所有内存。所以，我们称这类内存泄漏为隐式内存泄漏

2.2 常用内存泄露检测工具

C/C++ 1. Valgrind: Debugging and profiling Linux programs, aiming at programs written in C and C++ 2. ccmalloc: Linux和Solaris下对C和C++程序的简单的使用内存泄漏和malloc调试库 3. LeakTracer: Linux、Solaris和HP-UX下跟踪和分析C++程序中的内存泄漏 4. Electric Fence: Linux分发版中由Bruce Perens编写的malloc()调试库 5. Leaky: Linux下检测内存泄漏的程序 6. Dmalloc: Debug Malloc Library 7. MEMWATCH: 由Johan Lindh编写，是一个开放源代码C语言内存错误检测工具，主要是通过gcc的precessor来进行 8. KCachegrind: A visualization tool for the profiling data generated by Cachegrind and Calltree

2.3 内存检测原理

3.1 Linux内核内存泄漏检测kmemleak

kmemlean提供了一种检测内核内存泄露的方法，当内存对象没有被释放是，将其记录在/sys/kernel/debug/kmemleak中。

3.1.1 使能kmemleak

CONFIG_DEBUG_KMEMLEAK=y CONFIG_DEBUG_KMEMLEAK_EARLY_LOG_SIZE=400 # CONFIG_DEBUG_KMEMLEAK_TEST is not set CONFIG_DEBUG_KMEMLEAK_DEFAULT_OFF=n----------默认打开

如果没有打开KMEMLEAK_FULL，则使用了精简版。完整版比较耗内存，精简版适合嵌入式调试。

3.1.2 配置获取kmemleak结果

参数配置：

off 禁用kmemleak（不可逆） stack=on 启用任务堆栈扫描(default) stack=off 禁用任务堆栈扫描 scan=on 启动自动记忆扫描线程(default) scan=off 停止自动记忆扫描线程 scan=<secs> 设置n秒内自动记忆扫描 scan 开启内核扫描 clear 清除内存泄露报告 dump=<addr> 转存信息对象在<addr> 通过“kmemleak = OFF”，也可以在启动时禁用Kmemleak在内核命令行。在初始化kmemleak之前，内存的分配或释放这些动作被存储在一个前期日志缓冲区。这个缓冲区的大小通过配CONFIG_DEBUG_KMEMLEAK_EARLY_LOG_SIZE设置。 cat /sys/kernel/debug/kmemleak > kmemleak.txt

3.1.3 分析kmemleak泄漏情况

参考文档：

《kmemleak的使用》

《Linux Kernel Memory Leak Detection》

《Linux memory leak detection》

3.2 valgrind

Linux C/C++ Memory Leak Detection Tool

Linux 下几款程序内存泄漏检查工具

Linux下几款C++程序中的内存泄露检查工具

Linux 内存泄露检测技巧

应用 Valgrind 发现 Linux 程序的内存问题

查看程序内存空间两种方法

一、查看/proc/{pid}/maps文件

二、pmap命令，原理上是一样的

[root@info ~]# pmap 1013

什么是内存泄漏
内存泄漏是指程序动态申请的内存在使用完后没有释放，导致这段内存不能被操作系统回收再利用。
例如这段程序，申请了4个字节的空间但没有释放，有4个字节的内存泄漏。

#include <iostream>
using namespace std;

int main()
{
int *p = new int(1);
cout <<*p<<endl;
return 0
}

随着时间的推移，泄漏的内存越来越多，可用的内存越来越少，轻则性能受损，重则系统崩溃。

一般情况下，发生内存泄漏时，重启就可以回收泄漏的内存。但是对于linux，通常跑的是服务器程序，不可以随意重启，在内存泄漏问题上就要格外小心。

内存泄漏特点
难复现 — 要运行到足够长的时间才会暴露。

难定位 — 出错位置是随机的，看不出与内存泄漏的代码有什么联系。

最简单的方法
为了避免写出内存泄漏的程序，通常会有这样的编程规范，要求我们在写程序时申请和释放成对出现的。因为每一次申请都意味着必须有一次释放与它相对应。

基于这个特点，一种简单的方法就是在代码中统计申请和释放的次数，如果申请和释放的数量不同，就认为是内存泄漏了。

#include 'stdio.h'
#include 'stdlib.h'

int malloc_count, free_count;

void * my_malloc(int size)
{
malloc_count++;
return malloc(size);
}
void my_free(void *p)
{
free_count++;
free(p);
}
int main()
{
count = 0;
int *p1 = (int *)my_malloc(sizeif(int))
int *p2 = (int *)my_malloc(sizeif(int))
printf('%d, %d', p1, p2);
my_free(p1);
if(malloc_count != free_count)
printf('memory leak!
');
return 0
}

方法分析
优点：
直观，容易理解，容易实现

缺点：
1.该方法要求运行结束时对运行中产生的打印分析才能知道结果。

2.该方法要求封装所有申请和释放空间的函数，并在调用的地方修改成调用封装后的函数。虽然C中申请/释放内存接口并不多，但是对于一个大型的项目，调用这些接口的地方却是很多的，要全部替换是一个比较大的工作量。

3.只对C语言适用，不能应用于C++

4.对于所调用的库不适用。如果希望应用于库，则要修改库代码

5.只能检测是否泄漏，却没有具体信息，比如泄漏了多少空间

6.不能说明是哪一行代码引起了泄漏

Linux检测程序内存泄漏

1.安装valgrind：
这是一款开源的程序内存检测工具，mtrace为内存分配函数（malloc, realloc, memalign,free）安装hook函数。这些hook函数记录内存的申请和释放的trace信息。

Valgrind详解：

Linux内存使用和内存泄漏

Valgrind包括以下一些工具：
1.Memcheck:这是valgrind应用最广泛的工具，一个重量级的内存检查器，能够给发现开发中绝大多数的内存错误使用的情况，比如：使用未初始化
2.callgrind：它主要用来检查程序中函数中调用过程中出现的问题
3.cachegrind：它主要用来检查程序中缓存使用出现的问题
4.Helgrind：它主要用来检查多线程中出现的竞争问题
5.Massif:它主要用来检查程序中堆栈使用中出现的问题
6.Extension:可以使用core提供的 功能，自己编写特定的内存调试工具
2.mtrace命令

man 3 mtrace 可以在man 手册中查看该函数

mtrace 也有对应的命令，其使用方式为：
一．将环境变量MALLOC_TRACE设置为所需输出文件的路径名

Linux内存使用和内存泄漏

二．在需要检测的源代码中引入mcheck.h头文件
1．在分配内存之前调用mtrace(); ，一般在main函数的开头调用
2．在结束检测的地方调用muntrace(); ，一般在return之前调用
3．编译程序时需要加上-g 选项
#include <stdio.h>
#include <malloc.h>
#include <mcheck.h>
int main()
{
mtrace();
int *p = NULL;
p =(int *)malloc(sizeof(int) * 1);
//free(p);//未free，内存泄漏
muntrace();
return 0;
}

4.内存泄漏信息将在MALLOC_TRACE环境变量指定的文件中报告，需要使用mtrace命令将信息转换。

Valgrind的最新版是3.11.0，它一般包含下列工具：

1.Memcheck

最常用的工具，用来检测程序中出现的内存问题，所有对内存的读写都会被检测到，一切对malloc()/free()/new/delete的调用都会被捕获。所以，它能检测以下问题：

对未初始化内存的使用；

读/写释放后的内存块；

读/写超出malloc分配的内存块；

读/写不适当的栈中内存块；

内存泄漏，指向一块内存的指针永远丢失；

不正确的malloc/free或new/delete匹配；

memcpy()相关函数中的dst和src指针重叠。

2.Callgrind

和gprof类似的分析工具，但它对程序的运行观察更是入微，能给我们提供更多的信息。和gprof不同，它不需要在编译源代码时附加特殊选项，但加上调试选项是推荐的。Callgrind收集程序运行时的一些数据，建立函数调用关系图，还可以有选择地进行cache模拟。在运行结束时，它会把分析数据写入一个文件。callgrind_annotate可以把这个文件的内容转化成可读的形式。

3.Cachegrind

Cache分析器，它模拟CPU中的一级缓存I1，Dl和二级缓存，能够精确地指出程序中cache的丢失和命中。如果需要，它还能够为我们提供cache丢失次数，内存引用次数，以及每行代码，每个函数，每个模块，整个程序产生的指令数。这对优化程序有很大的帮助。

4.Helgrind

它主要用来检查多线程程序中出现的竞争问题。Helgrind寻找内存中被多个线程访问，而又没有一贯加锁的区域，这些区域往往是线程之间失去同步的地方，而且会导致难以发掘的错误。Helgrind实现了名为“Eraser”的竞争检测算法，并做了进一步改进，减少了报告错误的次数。不过，Helgrind仍然处于实验阶段。

5.Massif

堆栈分析器，它能测量程序在堆栈中使用了多少内存，告诉我们堆块，堆管理块和栈的大小。Massif能帮助我们减少内存的使用，在带有虚拟内存的现代系统中，它还能够加速我们程序的运行，减少程序停留在交换区中的几率。

此外，lackey和nulgrind也会提供。Lackey是小型工具，很少用到；Nulgrind只是为开发者展示如何创建一个工具。

1.3原理

Memcheck能够检测出内存问题，关键在于其建立了两个全局表。Valid-Value表

对于进程的整个地址空间中的每一个字节(byte)，都有与之对应的8个bits；对于CPU的每个寄存器，也有一个与之对应的bit向量。这些bits负责记录该字节或者寄存器值是否具有有效的、已初始化的值。

Valid-Address表

对于进程整个地址空间中的每一个字节(byte)，还有与之对应的1个bit，负责记录该地址是否能够被读写。

检测原理：

当要读写内存中某个字节时，首先检查这个字节对应的A bit。如果该A bit显示该位置是无效位置，memcheck则报告读写错误。

内核（core）类似于一个虚拟的CPU环境，这样当内存中的某个字节被加载到真实的CPU中时，该字节对应的V bit也被加载到虚拟的CPU环境中。一旦寄存器中的值，被用来产生内存地址，或者该值能够影响程序输出，则memcheck会检查对应的V bits，如果该值尚未初始化，则会报告使用未初始化内存错误。

2安装使用

2.1安装

从官网http://www.valgrind.org下载最新版本（当前3.11）

#tar xvf valgrind-3.11.1.tar.bz2
#cd valgrind-3.11.1
#./configure --prefix=/usr/local/valgrind--指定安装目录
#make
#make install

2.2命令介绍

用法:valgrind[options] prog-and-args [options]:常用选项，适用于所有Valgrind工具

-tool=<name>最常用的选项。运行valgrind中名为toolname的工具。默认memcheck。
h –help显示帮助信息。
-version显示valgrind内核的版本，每个工具都有各自的版本。
q –quiet安静地运行，只打印错误信息。
v –verbose更详细的信息,增加错误数统计。
-trace-children=no|yes跟踪子线程? [no]
-track-fds=no|yes跟踪打开的文件描述？[no]
-time-stamp=no|yes增加时间戳到LOG信息? [no]
-log-fd=<number>输出LOG到描述符文件[2=stderr]
-log-file=<file>将输出的信息写入到filename.PID的文件里，PID是运行程序的进行ID
-log-file-exactly=<file>输出LOG信息到file
-log-file-qualifier=<VAR>取得环境变量的值来做为输出信息的文件名。[none]
-log-socket=ipaddr:port输出LOG到socket，ipaddr:port

LOG信息输出:

-xml=yes将信息以xml格式输出，只有memcheck可用
-num-callers=<number> show <number> callers in stack traces [12]
-error-limit=no|yes如果太多错误，则停止显示新错误? [yes]
-error-exitcode=<number>如果发现错误则返回错误代码[0=disable]
-db-attach=no|yes当出现错误，valgrind会自动启动调试器gdb。[no]
-db-command=<command>启动调试器的命令行选项[gdb -nw %f %p]

适用于Memcheck工具的相关选项：

-leak-check=no|summary|full要求对leak给出详细信息? [summary]
-leak-resolution=low|med|high how much bt merging in leak check [low]
-show-reachable=no|yes show reachable blocks in leak check? [no]

tags: linux系统 linux服务器 log
其他相关
黑客推出Linux勒索软件：可加密VMware ESXi

黑客推出Linux勒索软件：可加密VMware ESXi

作者: 天天见闻 时间:2023-09-18 阅读: 73
2023-06-30 13:20:08 作者：人宝宝 近日，一款名为Akira的勒索软件引发了业内人士的关注。据了解，该软件的主要目标是VMWare的一系列软件，并且可以对用户的虚拟机镜像进行加密，用户只有支付高额赎金，才能找回被加密的文件。 此软件在今年3月首次被发现时，主要针对Windows电脑进行攻击，但现在黑客们已经推出了Linux版本，目的是对VMware的ESXi虚拟机进行加密。与其他同类型的Linux勒索软件相比，Akira凭借其更强大的加密能力与速度，让用户难以应对。 据专业人员分析，微观原因在于Akira软件样本中存在"加密档案比例"的变量选项，可能是为了让黑客可以根据每台受感染机器的不同情况，灵活控制对应的加密速度。 值得注意的是，尽管该勒索软件的影响范围暂时并不广泛，但从被相关组织报告的数据显示，该软件仍对北美个别地区的影响较大。因此，对于这款勒索软件，相关组织和用户仍需保持警惕，不能掉以轻心。...

如何基于Apache Doris构建新一代日志分析平台｜解决方案

作者: 天天见闻 时间:2023-08-22 阅读: 104
实操Demo展示 日志数据包含丰富的信息价值，可帮助企业更好地了解系统和业务运行情况，保障系统安全稳定运行。为了更好地满足日志场景的需求，Apache Doris在2.0版本中引入了许多功能优化：如添加倒排索引、支持本机半结构数据类型、优化了Text匹配速度和文本算法等；最终实现了比Elasticsearch最高10倍的性价比提升。 为了使用Doris快速构建下一代日志分析平台，我们用实际操作展示了Doris和Elasticsearch的性能比较，展示了基于Doris构建下一代日志分析平台的重要步骤，点击下面的视频就可以看到。...
盘符 两个字母（盘符 linux）

盘符 两个字母（盘符 linux）

作者: 天天见闻 时间:2023-03-18 阅读: 155
电脑盘符名称？电脑盘符是DOS、WINDOWS系统对于磁盘存储设备的标识符。请输入windows所在盘符。盘符是DOS、WINDOWS系统对于 磁盘存储设备的 标识符。Win+R键运行cmd：4、detail disk 显示选择的硬盘详细信息（显示的第一行是硬盘型号？linux多少盘符：引导分区盘符什么意思。一般Windows系统放着MBR或者是GPT等主引导记录的分区。...
Linux面试题2：网络IO模型 & IO多路复用

Linux面试题2：网络IO模型 & IO多路复用

作者: 天天见闻 时间:2023-03-17 阅读: 151
当用户进程运行read任务时，内核向用户空间复制数据是否同步，IO复用实际上是一个select/poll/epoll选择器，如果一个线程同时接收多个文件描述符(fd_set)，当等待并且文件描述符可以读写时接收通知的linux，处理网络IO连接时linux的优化，每次调用2.Select时，都必须将fd_set集合复制到内核状态。Poll，如果逻辑fd_set为1字节byte，则执行。...
Linux启动进程（启动linux进程）

Linux启动进程（启动linux进程）

作者: 天天见闻 时间:2023-03-17 阅读: 128
1. 开机启动时自动运行程序Linux加载后,可以使init自动启动其它程序。编辑/etc/rc.d/rc.local 文件(该文件通常是系统最后启动的脚本)，2. 登录时自动运行程序用户登录时。bash先自动执行系统管理员建立的全局登录script，只需根据实际需要在上述文件中加入命令就可以实现用户登录时自动运行某些程序（类似于DOS下的Autoexec.bat）。...
linux c面试题目及答案（linux c面试题）

linux c面试题目及答案（linux c面试题）

作者: 天天见闻 时间:2023-03-16 阅读: 161
linux中内核空间及用户空间的区别？linux中系统调用过程？应用程序中read()在linux中执行过程即从用户空间到内核空间？查看驱动模块中打印信息应该使用什么命令？如何查看内核中已有的字符设备的信息？请分析chartest使用的是那一类设备驱动程序。设备驱动程序中如何注册一个字符设备?字符型驱动设备怎么创建设备文件？在具体应用上要不要先注册驱动再注册设备，内核函数mmap的实现原理。...
我来说两句

年度爆文

1
2019年大校军衔退休工资有多少 大校军衔的工资待遇
在大校级工资待遇中国人民解放军军番制中“大学校”是校级军官的最高级别。世界上大多数国家不设置大校阶级，有的国家不承认大校是高于上校的阶级水平，往往与他们国家的上校平起平坐，在名称的翻译中被译为“资深上校”或“老上校”。大学校阶级的退休工资是多少？大学校阶级的工资待遇呢？军官实行职务、军衔、基础、军龄“四结构”工资制；共15个等级。...
2
李梦和黄晓明什么关系？
李梦是黄晓明的表妹，黄晓明的母亲和李梦的父亲是兄妹关系，李梦2014年参加选秀节目“快乐男声”获得全国总冠军，随后与黄晓明旗下经纪公司签约。...
3
邱毅的父亲是谁？
邱仪的父亲名叫邱斯金，秋思辰的父亲不肯屈从日本人的鲁花吐槽，笑着把手鼻鼻管教育挺在前面，曾经厦门，赴威州上大学，抗战胜利后才回到导体束草斋，到台湾写铁。邱毅的父亲曾任校长，邱仪的母亲是籍贯广东三水，在香港长大。据厦门邱氏宗亲介绍。...
4
湖南永州一副处级干部被举报赌博，官方回应：属实，已立案审查
#红炎即时#(文章周晓宇)11月5日，“五个人坐着赌博”的视频在网上流传，引起关注。视频发布者表示，5人中有1人是湖南永州市冷水滩区副处级干部蒋湛辉。目前，永州市冷水滩区纪委监委已进行立案调查。 互联网视频截图 处级干部被控赌博 11月4日，永州当地网友爆料称，2021年夏天，永州市冷水滩区处级干部蒋均辉和多名商人坐在一起，在扑克牌上“骗金花”。此外，赌博视频拍摄于2021年，地点位于永州冷水滩的一个项目部。 网络视频显示，5个人围着一张桌子坐着，桌子中间和座位前堆满了一百美元钞票，约10万元。一人在发卡片，其中一人说：“我是500”。...
5
Mysteel早读：广深执行认房不认贷政策，黑色期货夜盘飘红
...
6
长宁要划入宜宾吗？
长宁县预计撤县设区长宁县，2020年11月12日长宁县设县设市撤市工作于2016年正式启动“长宁县将严格按照县设市相关文件的规定积极开展申报工作，长宁县县设市撤市工作已向省级申报，省按照相关县申报时间按顺序排序，长宁县排队，尚无消息称长宁县县设市拆除成功。...
7
二个字的门匾都有哪些？
两字牌匾都有哪些？沁园、明德、源疏浚、怡乐、耕读、德馨、致远、鱼乐、鸣钦格尔、韩墨的详细描述：表达经义、情感等是牌匾，表示建筑物名称或性质等的是额度。因此配合可以理解绘马的意思。悬挂在门板上为了装饰，反映建筑物的名字和性质，表现人们的义理、感情等的文学艺术形式就是绘马。躺着的是额头或牌匾，竖着站着的叫做对联，或者柱子…...
8
费县改名叫什么区？
费县改名为几区？费县没有改名，仍然叫费县。费县属山东省临沂市，山东省中南部、东临兰山，西接平邑，南依兰陵，北沿蒙山西北至东南蒙阴、沂南，驻地为费城。行政区域总面积1660平方公里，到2022年，费县常住人口93万人。...
9
盱眙县改市获批？
1.批准2.究其原因，该县在经济、社会和行政管理等方面取得了长足的发展成就，具备改制为市的条件和实力，该县拥有更大的自主权和发展空间，能够更好地推动经济发展、提升民生福祉、改善行政管理水平；该县享受更多政策支持和资源投入，有利于推动经济结构调整和产业升级。...
10
宜宾市第一人民医院院长谢明均落马
宜宾市第五人民医院党委书记、院长石俊双双落马，宜宾市连续4名市级公立医院落马“过度手术、吃回扣、滥用药物、大处方.行贿主体主要涉及工程公司、医用耗材和机构公司、药企、社会人员、研究人员或学术机构、患者等。国家卫健委、国家医疗保障局、国家中医药管理局等9部门联合印发“2022年纠正医药购销领域和医疗服务中的不正之风业务要点”，多家公立医院的党委书记、院长相继落马。...
11
抚顺划归沈阳管辖，辽宁崛起的催化剂
随着城市群发展的趋势，一些中心城市的整合浪潮已经到来。进一步说，这是未来社会经济的持续推动力。综合实力稳定压制广东和江苏，辽宁是我国的重工业基地。或许，辽宁的经济产值并不突出。如果说辽宁的GDP处于我国沿海地区的最低点，但辽宁过去积累了各种资源，那么今天辽宁老百姓就提议把抚顺划归沈阳。几年前关于省会城市对外合并的事情。沈阳城区与抚顺城区基本相连，沈阳是我国举足轻重的工业城市，沈阳的生态农业可以...
天天见闻联系方式蜀ICP备19033681号-3