飞鱼博客
一、需要记住的一些知识点
1、变量类型
运行shell时，会同时存在三种变量：
1) 局部变量
局部变量在脚本或命令中定义，仅在当前shell实例中有效，其他shell启动的程序不能访问局部变量。
2) 环境变量
所有的程序，包括shell启动的程序，都能访问环境变量，有些程序需要环境变量来保证其正常运行。必要的时候shell脚本也可以定义环境变量。
3) shell变量
shell变量是由shell程序设置的特殊变量。shell变量中有一部分是环境变量，有一部分是局部变量，这些变量保证了shell的正常运行
2、shell变量说明
$$
Shell本身的PID（ProcessID）
$!
Shell最后运行的后台Process的PID
$?
最后运行的命令的结束代码（返回值）
$-
使用Set命令设定的Flag一览
$*
所有参数列表。如\”$*\”用「\”」括起来的情况、以\”$1 $2 … $n\”的形式输出所有参数。
$@
所有参数列表。如\”$@\”用「\”」括起来的情况、以\”$1\” \”$2\” … \”$n\” 的形式输出所有参数。
$#
添加到Shell的参数个数
$0
Shell本身的文件名
$1～$n
添加到Shell的各参数值。$1是第1参数、$2是第2参数…。
3、单引号和双引号和反引号的区别
以单引号
\' \'包围变量的值时，单引号里面是什么就输出什么，即使内容中有变量和命令（命令需要反引起来）也会把它们原样输出。
以双引号\” \”包围变量的值时，输出时会先解析里面的变量和命令，而不是把双引号中的变量名和命令原样输出。以反引号` `(在键盘esc下面)，命令替换是指Shell可以先执行命令，将输出结果暂时保存，在适当的地方输出。可以用指定变量指定
4、shell转义字符
\\\\ 反斜杠
\\a 警报，响铃
\\b 退格（删除键）
\\f 换页(FF)，将当前位置移到下页开头
\\n 换行
\\r 回车
\\t 水平制表符（tab键）
\\v 垂直制表符
5、 算术运算符列表
运算符 说明 举例
+ 加法 `expr $a + $b` 结果为 30。
– 减法 `expr $a – $b` 结果为 10。
\\* 乘法 `expr $a \\* $b` 结果为 200。
/ 除法 `expr $b / $a` 结果为 2。
% 取余 `expr $b % $a` 结果为 0。
= 赋值 a=$b 将把变量 b 的值赋给 a。
== 相等。用于比较两个数字，相同则返回 true。 [ $a == $b ] 返回 false。
!= 不相等。用于比较两个数字，不相同则返回 true。 [ $a != $b ] 返回 true。
6、关系运算符
关系运算符只支持数字，不支持字符串，除非字符串的值是数字。
运算符 说明 举例
-eq 检测两个数是否相等，相等返回 true。 [ $a -eq $b ] 返回 true。
-ne 检测两个数是否相等，不相等返回 true。 [ $a -ne $b ] 返回 true。
-gt 检测左边的数是否大于右边的，如果是，则返回 true。 [ $a -gt $b ] 返回 false。
-lt 检测左边的数是否小于右边的，如果是，则返回 true。 [ $a -lt $b ] 返回 true。
-ge 检测左边的数是否大等于右边的，如果是，则返回 true。 [ $a -ge $b ] 返回 false。
-le 检测左边的数是否小于等于右边的，如果是，则返回 true。 [ $a -le $b ] 返回 true。
7、布尔运算符列表
运算符 说明 举例
! 非运算，表达式为 true 则返回 false,否则返回 true。 [ ! false ] 返回 true。
-o 或运算，有一个表达式为 true 则返回 true。 [ $a -lt 20 -o $b -gt 100 ] 返回 true。
-a 与运算，两个表达式都为 true 才返回 true。 [ $a -lt 20 -a $b -gt 100 ] 返回 false。
8、 文件测试运算符列表
操作符 说明 举例
-b file 检测文件是否是块设备文件，如果是，则返回 true。 [ -b $file ] 返回 false。
-c file 检测文件是否是字符设备文件，如果是，则返回 true。 [ -b $file ] 返回 false。
-d file 检测文件是否是目录，如果是，则返回 true。 [ -d $file ] 返回 false。
-f file 检测文件是否是普通文件（既不是目录，也不是设备文件），如果是，则返回 true。 [ -f $file ] 返回 true。
-g file 检测文件是否设置了 SGID 位，如果是，则返回 true。 [ -g $file ] 返回 false。
-k file 检测文件是否设置了粘着位(Sticky Bit)，如果是，则返回 true。 [ -k $file ] 返回 false。
-p file 检测文件是否是具名管道，如果是，则返回 true。 [ -p $file ] 返回 false。
-u file 检测文件是否设置了 SUID 位，如果是，则返回 true。 [ -u $file ] 返回 false。
-r file 检测文件是否可读，如果是，则返回 true。 [ -r $file ] 返回 true。
-w file 检测文件是否可写，如果是，则返回 true。 [ -w $file ] 返回 true。
-x file 检测文件是否可执行，如果是，则返回 true。 [ -x $file ] 返回 true。
-s file 检测文件是否为空（文件大小是否大于0），不为空返回 true。 [ -s $file ] 返回 true。
-e file 检测文件（包括目录）是否存在，如果是，则返回 true。 [ -e $file ] 返回 true。
二、常用脚本命令举例说明
例子太长为了简写，只列举一个
1、nginx的日志我们存储在nginx.log里,统计出2020年4月23号的访问ip次数，并且按照次数降序排序
例：192.168.1.20 – – [21/Apr/2020:14:27:49 +0800] \”GET /1/index.php HTTP/1.1\” 404 490 \”-\” \”Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0\”
cat nginx.log | grep 23/Apr/2020 | awk -F \"-\" \'{print $1}\'|sort|uniq -c | sort -r | awk \'{print $1,$2}\'
2、nginx的日志我们存储在nginx.log里,统计2020年04月23日20-23点的去重IP访问量
例：192.168.1.20 – – [21/Apr/2020:14:27:49 +0800] \”GET /1/index.php HTTP/1.1\” 404 490 \”-\” \”Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0\”
cat nginx.log | grep 23/Apr/2020:2[0-3] | awk \'{print $1}\' | sort | uniq | wc -l
3、nginx的日志我们存储在nginx.log里,写脚本统计访问3次以上的IP
例：192.168.1.20 – – [21/Apr/2020:14:27:49 +0800] \”GET /1/index.php HTTP/1.1\” 404 490 \”-\” \”Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0\”
cat nginx.log | awk \'{print $1}\'| sort | uniq -c | awk \'{if ($1 >3) print $0}\' | sort -r | awk \'{print $1,$2}\'
awk的数据字段变量
$0表示整行文本
$1表示文本中第一个数据字段
$2表示文本中第二个数据字段
$n表示文本中第n个数据字段
4、netstat命令运行的结果放在netstat.txt,查看和本机3306端口建立连接并且状态是established的所有IP，按照连接数降序排序
例：tcp 0 0 172.16.56.200:41856 172.16.34.144:3306 ESTABLISHED
cat netstat.txt | grep ESTABLISHED | grep 3306 | awk \'{print $5}\' | awk -F \":\" \'{print $1}\' | sort | uniq -c | sort -hr | awk \'{print $1,$2}\'
5、统计网段内在用或者未用IP
#!/bin/bash for ip in `seq 0 255` do ping -c 1 -i 0 192.168.2.$ip if [ $? -eq 0 ] then echo \"192.168.2.$ip\" >> /root/up.txt else echo \"192.168.2.$ip\" >> /root/down.txt fi done
6、读取文件行数，一行行的循环读取
例：cat http
www.baidu.com
www.cityhouse.cn
www.cityre.cn
vim htttp.sh
cat /data/script/http | while read line do curl $line done date=`date \"+%Y-%m-%d-%H-%M-%S\"` echo \"sucessful$date\" >> /data/script/http.txt
