随着开源产品的愈来愈盛行,做为一个Linux运维工程师,可以清晰地鉴别异常机器是否已经被入侵了显得相当重要,我的结合本身的工做经历,整理了几种常见的机器被黑状况供参考python
背景信息:如下状况是在CentOS 6.9的系统中查看的,其它Linux发行版相似数据库
1.入侵者可能会删除机器的日志信息,能够查看日志信息是否还存在或者是否被清空,相关命令示例:bash
[root@hlmcen69n3 ~]# ll -h /var/log/*网络 -rw-------. 1 root root 2.6K Jul 7 18:31 /var/log/anaconda.ifcfg.logsession -rw-------. 1 root root 23K Jul 7 18:31 /var/log/anaconda.logapp -rw-------. 1 root root 26K Jul 7 18:31 /var/log/anaconda.program.log运维 -rw-------. 1 root root 63K Jul 7 18:31 /var/log/anaconda.storage.logssh [root@hlmcen69n3 ~]# du -sh /var/log/*tcp 8.0K /var/log/anaconda工具 4.0K /var/log/anaconda.ifcfg.log 24K /var/log/anaconda.log 28K /var/log/anaconda.program.log 64K /var/log/anaconda.storage.log |
2.入侵者可能建立一个新的存放用户名及密码文件,能够查看/etc/passwd及/etc/shadow文件,相关命令示例:
[root@hlmcen69n3 ~]# ll /etc/pass* -rw-r--r--. 1 root root 1373 Sep 15 11:36 /etc/passwd -rw-r--r--. 1 root root 1373 Sep 15 11:36 /etc/passwd- [root@hlmcen69n3 ~]# ll /etc/sha* ----------. 1 root root 816 Sep 15 11:36 /etc/shadow ----------. 1 root root 718 Sep 15 11:36 /etc/shadow- |
3.入侵者可能修改用户名及密码文件,能够查看/etc/passwd及/etc/shadow文件内容进行鉴别,相关命令示例:
[root@hlmcen69n3 ~]# more /etc/passwd root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin [root@hlmcen69n3 ~]# more /etc/shadow root:*LOCK*:14600:::::: bin:*:17246:0:99999:7::: daemon:*:17246:0:99999:7::: |
4.查看机器最近成功登录的事件和最后一次不成功的登录事件,对应日志“/var/log/lastlog”,相关命令示例:
[root@hlmcen69n3 ~]# lastlog Username Port From Latest root **Never logged in** bin **Never logged in** daemon **Never logged in** |
5.查看机器当前登陆的所有用户,对应日志文件“/var/run/utmp”,相关命令示例:
[root@hlmcen69n3 ~]# who
stone pts/0 2017-09-20 16:17 (X.X.X.X)
test01 pts/2 2017-09-20 16:47 (X.X.X.X)
6.查看机器建立以来登录过的用户,对应日志文件“/var/log/wtmp”,相关命令示例:
[root@hlmcen69n3 ~]# last test01 pts/1 X.X.X.X Wed Sep 20 16:50 still logged in test01 pts/2 X.X.X.X Wed Sep 20 16:47 - 16:49 (00:02) stone pts/1 X.X.X.X Wed Sep 20 16:46 - 16:47 (00:01) stone pts/0 X.X.X.X Wed Sep 20 16:17 still logged in |
7.查看机器全部用户的链接时间(小时),对应日志文件“/var/log/wtmp”,相关命令示例:
[root@hlmcen69n3 ~]# ac -dp stone 11.98 Sep 15 total 11.98 stone 67.06 Sep 18 total 67.06 stone 1.27 test01 0.24 Today total 1.50 |
8.若是发现机器产生了异常流量,可使用命令“tcpdump”抓取网络包查看流量状况或者使用工具”iperf”查看流量状况
9.能够查看/var/log/secure日志文件,尝试发现入侵者的信息,相关命令示例:
[root@hlmcen69n3 ~]# cat /var/log/secure | grep -i "accepted password" Sep 20 12:47:20 hlmcen69n3 sshd[37193]: Accepted password for stone from X.X.X.X port 15898 ssh2 Sep 20 16:17:47 hlmcen69n3 sshd[38206]: Accepted password for stone from X.X.X.X port 9140 ssh2 Sep 20 16:46:00 hlmcen69n3 sshd[38511]: Accepted password for stone from X.X.X.X port 2540 ssh2 Sep 20 16:47:16 hlmcen69n3 sshd[38605]: Accepted password for test01 from X.X.X.X port 10790 ssh2 Sep 20 16:50:04 hlmcen69n3 sshd[38652]: Accepted password for test01 from X.X.X.X port 28956 ssh2 |
10.查询异常进程所对应的执行脚本文件
a.top命令查看异常进程对应的PID
b.在虚拟文件系统目录查找该进程的可执行文件
[root@hlmcen69n3 ~]# ll /proc/1850/ | grep -i exe
lrwxrwxrwx. 1 root root 0 Sep 15 12:31 exe -> /usr/bin/python
[root@hlmcen69n3 ~]# ll /usr/bin/python
-rwxr-xr-x. 2 root root 9032 Aug 18 2016 /usr/bin/python
11.若是确认机器已经被入侵,重要文件已经被删除,能够尝试找回被删除的文件
Note:
1>当进程打开了某个文件时,只要该进程保持打开该文件,即便将其删除,它依然存在于磁盘中。这意味着,进程并不知道文件已经被删除,它仍然能够向打开该文件时提供给它的文件描述符进行读取和写入。除了该进程以外,这个文件是不可见的,由于已经删除了其相应的目录索引节点。
2>在/proc 目录下,其中包含了反映内核和进程树的各类文件。/proc目录挂载的是在内存中所映射的一块区域,因此这些文件和目录并不存在于磁盘中,所以当咱们对这些文件进行读取和写入时,其实是在从内存中获取相关信息。大多数与 lsof 相关的信息都存储于以进程的 PID 命名的目录中,即 /proc/1234 中包含的是 PID 为 1234 的进程的信息。每一个进程目录中存在着各类文件,它们可使得应用程序简单地了解进程的内存空间、文件描述符列表、指向磁盘上的文件的符号连接和其余系统信息。lsof 程序使用该信息和其余关于内核内部状态的信息来产生其输出。因此lsof 能够显示进程的文件描述符和相关的文件名等信息。也就是咱们经过访问进程的文件描述符能够找到该文件的相关信息。
3>当系统中的某个文件被意外地删除了,只要这个时候系统中还有进程正在访问该文件,那么咱们就能够经过lsof从/proc目录下恢复该文件的内容。
假设入侵者将/var/log/secure文件删除掉了,尝试将/var/log/secure文件恢复的方法能够参考以下:
a.查看/var/log/secure文件,发现已经没有该文件
[root@hlmcen69n3 ~]# ll /var/log/secure
ls: cannot access /var/log/secure: No such file or directory
b.使用lsof命令查看当前是否有进程打开/var/log/secure,
[root@hlmcen69n3 ~]# lsof | grep /var/log/secure
rsyslogd 1264 root 4w REG 8,1 3173904 263917 /var/log/secure (deleted)
c.从上面的信息能够看到 PID 1264(rsyslogd)打开文件的文件描述符为4。同时还能够看到/var/log/ secure已经标记为被删除了。所以咱们能够在/proc/1264/fd/4(fd下的每一个以数字命名的文件表示进程对应的文件描述符)中查看相应的信息,以下:
[root@hlmcen69n3~]#tail/proc/1264/fd/4 Sep2016:47:21hlmcen69n3sshd[38511]:pam_unix(sshd:session):sessionclosedforuserstone Sep2016:47:21hlmcen69n3su:pam_unix(su-l:session):sessionclosedforuserroot Sep2016:49:30hlmcen69n3sshd[38605]:pam_unix(sshd:session):sessionclosedforusertest01 Sep2016:50:04hlmcen69n3sshd[38652]:reversemappingcheckinggetaddrinfofor190.78.120.106.static.bjtelecom.net[106.120.78.190]failed-POSSIBLEBREAK-INATTEMPT! Sep2016:50:04hlmcen69n3sshd[38652]:Acceptedpasswordfortest01from106.120.78.190port28956ssh2 Sep2016:50:05hlmcen69n3sshd[38652]:pam_unix(sshd:session):sessionopenedforusertest01by(uid=0) Sep2017:18:51hlmcen69n3unix_chkpwd[38793]:passwordcheckfailedforuser(root) Sep2017:18:51hlmcen69n3sshd[38789]:pam_unix(sshd:auth):authenticationfailure;logname=uid=0euid=0tty=sshruser=rhost=51.15.81.90user=root Sep2017:18:52hlmcen69n3sshd[38789]:Failedpasswordforrootfrom51.15.81.90port47014ssh2 Sep2017:18:52hlmcen69n3sshd[38790]:Connectionclosedby51.15.81.90 |
d.从上面的信息能够看出,查看/proc/1264/fd/4就能够获得所要恢复的数据。若是能够经过文件描述符查看相应的数据,那么就可使用I/O重定向将其重定向到文件中,如:
[root@hlmcen69n3 ~]# cat /proc/1264/fd/4 > /var/log/secure
e.再次查看/var/log/secure,发现该文件已经存在。对于许多应用程序,尤为是日志文件和数据库,这种恢复删除文件的方法很是有用。
[root@hlmcen69n3 ~]# ll /var/log/secure
-rw-r--r--. 1 root root 3173904 Sep 20 17:24 /var/log/secure
[root@hlmcen69n3 ~]# head /var/log/secure
Sep 17 03:28:15 hlmcen69n3 sshd[13288]: reverse mapping checking getaddrinfo for 137-64-15-51.rev.cloud.scaleway.com [51.15.64.137] failed - POSSIBLE BREAK-IN ATTEMPT!
Sep 17 03:28:15 hlmcen69n3 unix_chkpwd[13290]: password check failed for user (root)
Sep 17 03:28:15 hlmcen69n3 sshd[13288]: pam_unix(sshd:auth): authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=51.15.64.137 user=root
Sep 17 03:28:17 hlmcen69n3 sshd[13288]: Failed password for root from 51.15.64.137 port 59498 ssh2
Sep 17 03:28:18 hlmcen69n3 sshd[13289]: Received disconnect from 51.15.64.137: 11: Bye Bye
Sep 17 03:28:22 hlmcen69n3 sshd[13291]: reverse mapping checking getaddrinfo for 137-64-15-51.rev.cloud.scaleway.com [51.15.64.137] failed - POSSIBLE BREAK-IN ATTEMPT!
Sep 17 03:28:22 hlmcen69n3 unix_chkpwd[13293]: password check failed for user (root)
Sep 17 03:28:22 hlmcen69n3 sshd[13291]: pam_unix(sshd:auth): authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=51.15.64.137 user=root
Sep 17 03:28:24 hlmcen69n3 sshd[13291]: Failed password for root from 51.15.64.137 port 37722 ssh2
Sep 17 03:28:25 hlmcen69n3 sshd[13292]: Received disconnect from 51.15.64.137: 11: Bye Bye