[网络安全自学篇] 八十七.恶意代码检测技术详解及总结

时间 2020-08-05 标签网络安全自学篇八十七 87 恶意代码检测技术详解总结

这是做者网络安全自学教程系列，主要是关于安全工具和实践操做的在线笔记，特分享出来与博友们学习，但愿您喜欢，一块儿进步。前文分享了威胁情报分析，经过Python抓取FreeBuf网站“APT”主题的相关文章。这篇文章将详细总结恶意代码检测技术，包括恶意代码检测的对象和策略、特征值检测技术、校验和检测技术、启发式扫描技术、虚拟机检测技术和主动防护技术。基础性文章，但愿对您有所帮助~php

自全球第一个计算机病毒出现后，人们经过与病毒长期的斗争，积累了大量反病毒经验，掌握了大量实用的反病毒技术，并研制出一系列优秀的反病毒产品，主要用于病毒的防御、检测及其清除等。病毒的检测技术主要包括特征值检测技术、校验和检测技术、启发式扫描技术、虚拟机检测技术、主动防护技术，以及新兴的云查杀技术等。我的用户也能够经过经验、安全检测工具和反病毒软件来检查计算机是否感染病毒，或是采用沙箱及相关静、动态分析手段来对病毒进行深刻分析。html

做者做为网络安全的小白，分享一些自学基础教程给你们，主要是关于安全工具和实践操做的在线笔记，但愿您们喜欢。同时，更但愿您能与我一块儿操做和进步，后续将深刻学习网络安全和系统安全知识并分享相关实验。总之，但愿该系列文章对博友有所帮助，写文不易，大神们不喜勿喷，谢谢！若是文章对您有帮助，将是我创做的最大动力，点赞、评论、私聊都可，一块儿加油喔~git

文章目录

三.校验和检测技术

七.总结

做者的github资源：
软件安全：https://github.com/eastmountyxz/Software-Security-Course
其余工具：https://github.com/eastmountyxz/NetworkSecuritySelf-study
Windows-Hacker：https://github.com/eastmountyxz/Windows-Hacker-Expgithub

声明：本人坚定反对利用教学方法进行犯罪的行为，一切犯罪行为必将受到严惩，绿色网络须要咱们共同维护，更推荐你们了解它们背后的原理，更好地进行防御。web

前文欣赏：
[渗透&攻防] 一.从数据库原理学习网络攻防及防止SQL注入
 [渗透&攻防] 二.SQL MAP工具从零解读数据库及基础用法
 [渗透&攻防] 三.数据库之差别备份及Caidao利器
 [渗透&攻防] 四.详解MySQL数据库攻防及Fiddler神器分析数据包算法

一.恶意代码检测的对象和策略

恶意代码的检测是将检测对象与恶意代码特征（检测标准）进行对比分析，定位病毒程序或代码，或检测恶意行为。shell

首先，咱们介绍恶意代码检测对象。检测对象主要包括：数据库

引导扇区
文件系统中可能带毒的文件：安全公司的产品主要针对文件进行病毒检测
内存空间
主板BIOS：系统启动时涉及的代码
网络流量：网络交互也是检测对象，如VPS、VDS
系统行为
…

接着咱们主要介绍三类检测对象。编程

(1) 检测对象——引导扇区
引导扇区之因此成为检测对象，是由于部分引导扇区是具备控制权的，它在系统启动、执行过程当中会执行相应代码，而且这些代码可能会被恶意软件所篡改。主要包括：

硬盘主引导扇区
硬盘操做系统引导扇区
可移动磁盘引导扇区

检测目标：

引导区病毒、MBR木马等

(2) 检测对象——可能带毒的文件
有些文件是正常被感染所致，有些文件是独立存在系统中的。

可执行程序
.exe;.dll;.com;.scr… （最广泛的检测对象）
数据文件
.doc;.xls;.ppt;.pdf; .mp3;.avi… （好比宏病毒、Office文档都是检测对象）
脚本文件
.js;.vbs;.php;.pl… （好比脚本病毒）
网页文件
.html;.htm;.asp… （好比网页挂马）
…

(3) 检测对象——内存空间
恶意代码在传染或执行时，必然要占有必定的内存空间，部分功能代码驻留在内存中。

部分恶意代码仅存在于内存之中
– 无文件存在，或已自行删除
– 或被外部动态按需注入
部分恶意代码仅在内存中被还原

好比，部分恶意代码仅存在内存之中，它们是没有文件的，经过文件检测没法找到它们。另外，还有部分恶意代码最开始是有文件的，执行完毕以后会将自身进行删除，此时再去检测文件是检测不到的。也有一些木马程序，最开始执行时只是一个简单的主体程序，它全部的功能代码多是经过Shellcode的方式进行远程注入，在文件中是找不到这些恶意代码的，此时就驻留在内存中，因此对内存中的代码进行检测是必要的。

同时，还有一些木马程序会启动IE进程，它启动以后会将IE进程掏空，而后将本身的恶意代码植入其中，这种状况的恶意代码也是驻留在内存之中。除此以外，还有一些恶意代码自己在文件中，它是一种加密或压缩状态，只要到内存以后才会进行还原。参考做者前文：

WinRAR漏洞复现（CVE-2018-20250）及恶意软件自启动劫持

介绍完检测对象以后，咱们分享病毒的检测策略。

(1) 专用检查技术：针对某个或某些特定已知恶意代码，好比反病毒软件所采用的文件特征值检测技术，发现病毒以后，对病毒的特征进行提取构建相关特征库。

反病毒软件必须随着新病毒的不断出现而频繁更新病毒库版本。
如文件特征值检测技术。

(2) 通用检测技术：针对已知和未知恶意代码，根据恶意软件广义的特征进行检测，但这里面涉及了不少人为经验，如启发式扫描技术，对目标程序的特性和行为进行判断，给出判断结果或用户提示。

广义特性描述或通常行为特征做为断定依据。
如启发式扫描技术、主动防护技术等。

二.特征值检测技术

1.特征值检测技术概念

病毒特征值：是反病毒软件鉴别特定计算机病毒的一种标志。一般是从病毒样本中提取的一段或多段字符串或二进制串。

以下图所示，特征值检测技术和古代通J令相似，通J令中包含了这我的的特征，对于特征值检测技术也是同样，它首先须要对目标恶意程序进行特征及标志提取。另外，通J令能够经过相关机构或群众发现，而特征值检测技术依靠反病毒引擎来进行比对。

特征值检测技术的具体思路：

获取样本 -> 提取样本特征 -> 更新病毒库 - > 查杀病毒

早期样本比较少，能够经过人工提取特征，但随着样本增多以后，就再也不经过单纯的人工方式提取，会将样本特征更新至病毒库，再下发到客户端的病毒检测设备中。最先的时候，总体病毒数量很少，好比KV300，当时就是拿着软盘每月去到指定的地方进行病毒库的更新，后来逐渐经过网络的方式更新反病毒软件，天天均可以更新不少次，反病毒软件再根据反病毒引擎进行病毒的查杀。

2.特征值的提取选择及方法

特征值的提取选择具体以下：

(1) 特定字串：从计算机病毒体内提取、为病毒所特有的特征串。如特定提示信息，特定签名信息等。
例如大麻病毒的提示为：“Your PC is now stoned”等。
(2) 感染标记：病毒为避免重复感染而使用的感染标记。
如黑色星期五的“suMs DOS”。
(3) 从病毒代码的特定地方开始取出连续的、不大于64且不含空格(ASCII值为32)的字节串。

同时，所提取的特征须要避免和正常的软件雷同，不然会造成误报。具体的提取方法以下：

人工提取
反病毒工程师对病毒样本进行分析后，人工肯定病毒特征。
自动提取
– 经过软件系统自动提取特定范围内特定长度具备必定特征的数据。
– 处理不利则可能被别有用心者利用，造成误杀。好比杀毒软件会对Windows核心文件进行查杀，但样本提取时可能会有相应的失误，经过制造对抗样本使得正常程序或文件被误杀。

特征值的提取还有一些自动提取的方法，下面三篇文章是以前做者分享的。

参考做者前文：

3.优缺点

关于特征值检测技术，它有优缺点。具体以下：

优势： 检测速度快、误报率低等优势，为广大反病毒厂商所采用，技术也比较成熟。
由于是对已有病毒进行分析后拿到的特征，因此误报率低，也是各大安全厂商采用的技术。
缺点： 只能检测已知恶意代码。容易被免杀绕过。

最后，针对特征值检测技术，恶意软件如何对抗？

手工修改自身特征
首先，利用反病毒软件定位（如CCL软件进行定位）
而后，进行针对性修改
自动修改自身特征
加密、多态、变形等

三.校验和检测技术

1.什么是校验和检测技术

校验和检测技术是在文件使用/系统启动过程当中，检查检测对象的实际校验和与预期是否一致，于是能够发现文件/引导区是否感染。

首先，咱们须要弄清楚什么是预期？

预期：正常文件内容和正常引导扇区数据。

它会经过校验和算法对原始的数据进行预算，从而获得校验值，若是对象被修改，其校验值会变化，从而判断其是否被感染。这里提到一个可信计算，它其实也使用了校验和技术。

静态可信：可信计算机对主引导扇区和一些系统关键程序进行了校验，从而保障系统启动以后的初始安全。

运用校验和检测技术查病毒主要采用如下三种方式：

系统自动监测
该技术在反病毒软件中用得比较多。它会将校验和检查程序常驻内存，每当应用程序开始运行时，自动核验当前与预先保存的校验和是否一致。若是不一致说明这段数据被篡改，会有相应的提示。
专用检测工具
对被查的对象文件计算其正常状态的校验和，将校验和值写入被查文件中或检测工具中，然后进行比较。如MD5Checker。
自我检测
有些应用程序会进行自我校验，好比QQ，若是修改其数据会有相应提示QQ被篡改。在应用程序中，放入校验和检测技术自我检查功能，将文件正常状态的校验和写入文件自身，应用程序启动比较现行校验和与原校验和值，实现应用程序的自检测。

2.校验和检测对象

校验和检测对象一般包括文件头部、文件属性、文件内容和系统数据等。

(1) 文件头部
目前大部分的寄生病毒，它要去感染其它程序，它一般都要改变目标程序头部的数据，好比PE病毒感染。通常比较整个文件效率较低，有的检测仅比较文件的头部。现有大多数寄生病毒须要改变宿主程序的头部。

(2) 文件基本属性
文件的基本属性在整个生命周期中相对固定，若是发生改变可能发生了病毒攻击。文件基本属性一般包括文件长度、文件建立日期和时间、文件属性（通常属性、只读属性、隐含属性、系统属性）。下图展现了Tripwire软件可以对UNIX和Windows中的文件属性进行监控，若是文件中任何一个属性发生了异常变化，则说明该文件极有可能被病毒攻击或感染、损坏了。

(3) 文件内容校验和
对文件内容（可含文件的属性）的所有字节进行某种函数运算，这种运算所产生的适当字节长度的结果就叫作校验和。这种校验和在很大程度上表明了原文件的特征，通常文件的任何变化均可以反映在校验和中。好比对于散列函数来讲，原始特征哪怕改变一位，它的散列值都会发生很大变化。

能够采用一些散列函数，如MD5…
CRC校验…

(4) 系统数据
有些病毒可能修改、且相对固定的重要系统数据。

如硬盘主引导扇区、分区引导扇区
内存中断向量表、SSDT、设备驱动程序处理例程等

3.优缺点

校验和检测技术优缺点以下：

优势：

方法简单、
能发现未知病毒，由于只要病毒对目标修改，它就能发现
目标文件的细微变化也能发现。

缺点：

必须预先记录正常文件的校验和［预期］
误报率高
不能识别病毒名称
效率低

四.启发式扫描技术

主要依赖病毒检测的经验和知识，如专业反病毒技术人员使用反汇编、调试或沙箱工具稍加分析，就可能断定出某程序是否染毒，主要经过的就是反病毒技术人员的经验。启发式代码扫描技术（Heuristic Scanning）实际上就是恶意代码检测经验和知识的软件实现。

经验主要是判断可疑的程序代码指令序列，常见的以下：

格式化磁盘类操做：它到底是什么样的代码
搜索和定位各类可执行程序的操做
实现驻留内存的操做
发现很是用的或未公开的系统功能调用的操做、子程序调用中只执行入栈操做、远距离(超过文件长度的三分之二)跳转指令等
敏感系统行为：如调用驱动进行远程注入
敏感API函数（序列）调用功能：虽然正常程序也会出现，但当它们集中出现时多是启发式扫描判断的依据

启发式扫描步骤以下：

定义通用可疑特征（指令序列或行为）；
对上述功能操做将被按照安全和可疑的等级进行排序，授以不一样的权值（甚至用机器学习）；
鉴别特征，若是程序的权值总和超过一个事先定义的阈值，则认为 “发现病毒”。

下图展现反病毒软件的启发式分析过程，包括轻度扫描、中毒扫描、深度扫描。

为了方便用户或研究人员直观地检测被测试程序中可疑功能调用的存在状况，病毒检测程序能够显示地为不一样的可疑功能调用设置标志。例如，早期TbScan这款病毒检测软件就为每一项能够病毒功能调用定义一个标志，如F、R、A等，从而直观地判断被检测程序是否感染病毒。

下图展现了TBScan不一样病毒触发的标志。

启发式扫描优缺点以下：
优势：

可以发现未知病毒

缺点：

误报率高

解决方案：

启发式扫描技术＋传统扫描技术
可提升病毒检测软件的检测率，同时有效下降了总的误报率。

下面展现了相应的安全软件进行“启发式扫描+特征值扫描”的检测率。好比，卡巴斯基能达到99.57%，

2015年AVC测试结果，即启发式／行为检测能力的结果以下图所示。

2011年/2012年测试结果以下，针对未知病毒静态检测能力，其中奇虎对未知病毒检测率最高，而后是GDATA。

当时的结果报告中也给出了另外一个结果——误报率，详见下图。若是你期待得到一个更严格的安全，误报率高一点也是能够承受的，但愿不要有漏掉的，不一样的安全软件存在不一样的策略，固然同时提升检测率，下降误报率也很是考验安全公司的实力。

针对启发式扫描技术，病毒如何博弈？病毒又能采起什么措施呢？

直接对抗
– Disable启发式机制
– Disable反病毒软件
绕行
– 哪些是启发式检测的特征项？
– 是否有其余替代实现方式？

五.虚拟机检测技术

为何须要虚拟机检测技术？主要是由于：

加密、多态、变形病毒的出现：致使传统的特征值检测更加困难。
加壳技术：对病毒体进行包裹，使得病毒代码没有直接反应在二进制中。

其中，加密病毒是指真实代码被压缩或加密，但最终须要在内存中还原。多态性病毒是指对自身二进制文件进行加密，在运行时再自解密，它在每次感染时都会改变其密钥和解密代码，以对抗反病毒软件，这类病毒的表明有 “幽灵病毒”。普通特征值检测技术对其基本失效，由于其对代码实施加密变换，并且每次感染使用不一样密钥和解密代码。

在电脑病毒中有一个特殊群体，它们生活在比Windows系统更早启动的“异度空间”，拥有对整个系统和软件的生杀大权；同时它们又极隐蔽，检测难度远远高于普通病毒，咱们将其统称为“幽灵病毒”。
一台电脑的启动顺序：BIOS（基本输入输出系统）-> MBR（磁盘主引导记录）-> VBR（卷引导记录）-> 系统加载程序（C盘根目录）-> Windows系统。BIOS、MBR和VBR就是幽灵病毒活跃的空间。360全球率先发现了BMW、谍影等BIOS病毒和VBR病毒，以及魅影、鬼影二、暗云Ⅱ、暗云Ⅲ等MBR病毒，并第一时间进行防护查杀。

早在2016年12月份，360安全卫士查杀团队首次发现了暗云的新一个变种，这就是今年兴起的暗云Ⅲ木马。此版本跟以往版本最大的不一样之处，在于暗云Ⅲ加入了对360急救箱查杀对抗，占位了急救箱的驱动全部设备名。下图展现了占坑急救箱设备名，正常为 Device设备，而暗云为Event设备。

而且暗云Ⅲ能经过挂钩磁盘StartIO保护自身，去掉了上一个版本Object钩子，保留了DPC保护，在2016年12月，360安全卫士就已经专门为查杀此顽固木马下发了新驱动，一旦发现自身设备名被占用，即断定为暗云Ⅲ设备并开启查杀修复。

虚拟机检测技术以下：

在反病毒系统中设置的一种程序机制，它能在内存中模拟一个小的封闭程序执行环境，全部待查文件都以解释方式在其中被虚拟执行。一般虚拟执行一小部分代码便可。

最后介绍虚拟机检测技术的优势，具备以下：

有效处理加密类病毒。
虚拟机技术+特征值扫描，准确率更高。
虚拟机技术+启发式扫描，有利于检测未知变形病毒。

六.主动防护技术

1.主动防护技术概念

主动防护检测技术有时也被称为行为监控等技术。

动态监视所运行程序调用各类应用编程接口（API）的动做，自动分析程序动做之间的逻辑关系，自动断定程序行为的合法性。
监控应用程序的敏感行为，并向用户发出提示， 供用户选择。

东方微点公司创始人刘老师最先在国内提出了主动防护技术。下图展现了主动防护的过程，但该技术对于用户自己而言比较困难，由于用户缺少专业知识。因此反病毒公司会根据实际状况制定自身的反病毒软件策略，结合用户需求可能会放松策略。

常见可疑行为包括：

对可执行文件进行写操做
写磁盘引导区
病毒程序与宿主程序的切换
写注册表启动键值
远程线程插入
安装、加载驱动
键盘钩子
自我隐藏
下载并执行等
…

下图是卡巴斯基的主动防护过程。

2.主动防护实现机理

恶意软件包括几个主要的功能，

敏感信息获取
屏幕、文件、录像、键盘击键、帐号和密码、游戏装备等
远控
流量转发和流量代理等

这些功能又细分为文件管理、进程管理、服务管理、注册表管理、屏幕监控、屏幕截取、语音视频截获、键盘记录、窗口管理、远程Shell等。

那么这些功能怎么实现的呢？主要是经过关键API实现。

键盘按键记录的API
SetWindowsHookExA
文件遍历的API
FindFirstFileA
FindNextFileA
进程遍历的API
CreateToolhelp32Snapshot
Process32First
Process32Next
文件操做的API
fopen、fread、fwrite、fclose
截屏的API
GetDC、SelectObject、GetDIBits
录像的API
capCreateCaptureWindow
capGetDriverDescription
capGetVideoFormat

下图展现了录音API从设备准备、缓冲区准备到开始录音的过程。

对这些关键API或API序列监控，但愿获取其逻辑关系，自动判断其合法性，判断行为的可行性。常见检测思路特征包括：

静态文件特征
网络流量特征
系统行为特征
功能行为特征
攻击意图

其中，功能行为特征主要是动态监视所运行程序调用各类应用编程接口（API）的动做，自动分析程序动做之间的逻辑关系，自动断定程序行为的合法性。

这里涉及到一个行为监控技术，它用于捕获拦截关键的API信息，具体包括：

API调用的实参
API调用的返回值
API调用的上下文（栈）

具体的技术实现包括：

Hooking：修改函数指针，如IAT表
InlineHooking：修改函数代码，如函数头的几个字节

(1) Hooking
Hooking包括IAT钩子、IDT钩子、SSDT钩子、过滤驱动程序、驱动程序钩子等，经过下图所示的工具能够查看SSDT表是否被挂了钩子，它会比较当前函数和原始函数的地址。

IAT Hooking显示以下图所示，其中MyMessageBox的地址为00002598位置，若是修改其Data后，它就会跳转到自身设置的位置。

(2) InlineHooking
InlineHooking技术更为复杂一些。以下图所示，左边是部分描述了InlineHooking前的MessageBox，右边是MyMessageBox在内存中的定义体。

首先将MessageBox头部的5个字节Move到准备好的位置，其次把MessageBox的头部5个字节给一个jmp，跳转到自定义的MessageBox上（00401280）。

第三步，在定义好的MyMessageBox区域内给个jmp，跳转到原来的函数位置，即7566FD23处。

最后在MyMessageBox函数体中调用原始的MessageBoxA函数地址，即004012D7地址。

行为监控能够从用户态到核心态文件处理，再到核心态磁盘处理，有一系列的函数进行Hooking和InlineHooking进行总体的行为监控

3.优缺点

主动防护技术的优缺点以下：

优势：可发现未知恶意软件、可准确地发现未知恶意软件的恶意行为。
缺点：可能误报警、不能识别恶意软件名称，以及在实现时有必定难度。

同时给出两个小的思考问题：

对关键API进行监控，正常软件和恶意软件都会调用这些API。当捕获到一个或一组关键API调用时，如何判断这些调用实例的可信性呢？
攻击者了解Hooking技术，会有什么对抗防范呢？反之防护者又有哪些反制技术？

七.总结

写到这里，这篇文章就介绍完毕，但愿对您有所帮助，下一篇文章做者将继续分析机器学习与恶意代码结合的知识，再下一篇会介绍恶意代码检测技术对应的安全软件评测，包括：

如此多的反病毒软件，哪款更适合你？
各个反病毒软件采用了哪些关键技术？
各自有什么特点？

学安全一年，认识了不少安全大佬和朋友，但愿你们一块儿进步。这篇文章中若是存在一些不足，还请海涵。做者做为网络安全初学者的慢慢成长路吧！但愿将来能更透彻撰写相关文章。同时很是感谢参考文献中的安全大佬们的文章分享，感谢师傅、师兄师弟、师姐师妹们的教导，深知本身很菜，得努力前行。

《珈国情》
明月千里两相思，
清风缕缕寄离愁。
燕归珞珈花已谢，
情满景逸映深秋。
最感恩的永远是家人的支持，知道为啥而来，知道要作啥，知道努力才能回去。
夜已深，虽然笨，但还得奋斗。

欢迎你们讨论，是否以为这系列文章帮助到您！任何建议均可以评论告知读者，共勉。

(By:Eastmount 2020-07-16 下午13点写于武汉 http://blog.csdn.net/eastmount/ )

参考资料：
[1] https://mooc.study.163.com/learn/1000003014?share=2&shareId=1000001005 [2] 《软件安全之恶意代码机理与防御》WHU [3] 做者学习和实践经验