Python on Song

Python 小知识

Wed, 31 Aug 2022 00:00:00 +0000

1. Python 程序的扩展名与提示符

扩展名

1
2
3
4
5


扩展名：.py , .pyc , .pyo , .pyd 。

.py 是源文件，.pyc 是源文件编译后的文件，.pyo 是源文件优化编译后的文件，.pyd 是其他语言写的 Python 库。

知道 .py 和 .pyc 应该就够了。

提示符

1

>>>

请记住三个 > 号。

2. 关于 Python 在变量声明、创建、释放等内存管理与其他语言的差别

变量声明与创建
- 变量无需事先声明
- 变量无需指定类型
- 程序员不用关心内存管理
- 变量名会被“回收”
- del 语句能够直接释放资源
- 大多数编译型语言，变量在使用前必须先声明，但在 Python 中变量在第一次被赋值时自动声明。和其他大多数语言一样，变量只有被创建和赋值后才能被使用。
- 变量一旦被赋值，就可以通过变量名来访问。
内存管理（不确定）
- 在 Python 中，一个对象一旦被创建，它在内存中的大小就是不变的。
- 引用计数 + 垃圾回收机制。
- 参考：Python 内存管理
- Java 和 Python 内存管理机制区别

3. Python 语言命名规则

模块（软件包名）
模块尽量使用小写命名，首字母保持小写，尽量不要用下划线（除非多个单词且数量不多的情况）。
例如：import thisname、import this_name
不规范：import Thisname
类名
类名使用驼峰（CamelCase）命名风格，首字母大写，私有类用一个下划线开头。
例如：class Add():、class AddNum():、class _Private():
函数
函数名一律小写，如有多个单词，用下划线隔开。
例如：def run():、def add_num():
变量名
变量名尽量小写，如有多个单词，用下划线隔开。不能使用关键字（Python 本身已经使用的字）或保留字。
例如：number = 1、school_name = "px"
常量
常量使用以下划线分隔的大写命名。
例如：MAX_NUM = 100

4. Python 的多行注释方式

1
2
3
4
5
6
7
8


# 三个单引号 或 三个双引号
'''
这是多行注释
'''

"""
这也是多行注释
"""

5. 浮点数的科学计数法表示

使用字母 e 或 E 作为幂的符号，以 10 为基数。
例如：4.3e-3 即 4.3*10^{-3}，值为 0.0043；9.6E3 即 9600。

6. `pow()` 函数

1

pow(x, y) # 返回 x 的 y 次方

示例：
pow(3, 2) → 9
pow(10, 3) → 1000

7. `round()` 函数

1

round(x, y) # 返回浮点数 x 的四舍五入值，y 为要保留的小数位数

示例：
round(30.12345) → 30
round(-100.123) → -100
round(60.12345, 2) → 60.12
round(100.0002, 3) → 100.0

8. 字符串切片操作（如 `s[3:-3]`）

1
2


str = "hello the world"
str[x:y] # 取 str 中从 x 开始到 y 的字符，x 从 0 开始，y 为负数时从末尾倒数（-1 表示最后一个字符）

示例：
str[0:2] → "he"
str[:3] → "hel"
str[1:] → "ello the world"
str[0:-1] → "hello the worl" str[:-6] → "hello the"

9. Python 代码块以缩进区分

1
2
3
4


def add():
 # 这是函数体内
 pass
# 这是函数体外

10. Lambda 函数：参数、函数体和返回值

当我们想要使用一个简单定义的、或者只需要调用一两次的函数时，取名比较麻烦，使用 lambda 匿名函数可以省去这一步骤。

1
2
3
4
5
6


# x 是传入的参数
a = lambda x: x * 10
print(a(1)) # 10
# 相当于
def a(x):
 return x * 10

11. `print` 格式化：`%` 格式化或 `format` 格式化两种方式

参考：Python 格式化输出的三种方式

`%` 格式化

符号	说明
`%c`	格式化字符及其 ASCII 码
`%s`	格式化字符串
`%d`	格式化整数
`%o`	格式化八进制数（不能带小数点）
`%x`	格式化十六进制数（不能带小数点）
`%f`	格式化浮点数，可控制小数点后位数
`%e`	将数字转化成科学计数法形式

1
2
3


name = "lucy"
age = 18
print("my name is %s, i am %d years old" % (name, age))

`format` 格式化

模板：print('xxx{}x{}x'.format(x,y))

{} 中常用方法：

模板	说明
`{:a<3}`	用 `a` 填充长度为 3，内容靠左（`<` 左对齐，`^` 居中，`>` 右对齐）
`{:f}`	转换为浮点数（默认保留 6 位小数）
`{:.a}`	控制浮点数保留 `a` 位小数
`{:+}`	显示正负号
`{:e}`	科学计数法
`{:%}`	转换为百分数
`{:b}` `{:d}` `{:o}` `{:x}`	二进制、十进制、八进制、十六进制

1
2
3


name = "lucy"
age = 18
print("my name is {}, i am {} years old".format(name, age))

12. IPO（Input Processing Output）模式包含哪些部分

参考：Python 第二课：IPO 模式

I（Input，输入）：程序的输入（文件输入、网络输入、用户手工输入、随机数据输入、程序内部参数输入等）。例如从键盘接收两个数 a 和 b，这个过程就是输入。由于 input 一般接受字符串类型，所以需要使用 eval 函数去掉字符串两边的引号，使其变为整数类型。
P（Process，处理）：算法，程序的主要逻辑。程序对输入进行处理产生结果，处理方法也叫算法。这是程序的灵魂。
O（Output，输出）：程序的输出（屏幕显示输出、文件输出、网络输出、操作系统内部变量输出等）。

13. 复数：`real`、`imag` 各代表哪部分

复数由 实部（real） 和 虚部（imag） 构成，形式为 x + yj，其中 j 或 J 表示虚部后缀。
具体格式：a + bj，a 为实部（real），b 为虚部（imag）。

1
2
3
4
5
6


a1 = 3 + 2j
a2 = 2 + 5j
print(type(a1)) # <class 'complex'>
print(a1 + a2) # (5+7j)
print(a1 * a2) # (-4+19j) 
# 乘法计算过程：(3+2j)*(2+5j) = 6 +15j +4j -10 = -4 +19j

14. 字符串比较规则

1
2
3
4
5
6
7
8
9


# 字符串比较操作：
# 运算符：>, >=, <, <=, ==, !=
# 比较规则：首先比较两个字符串中的第一个字符，如果相等则继续比较下一个字符，直到不等时，其比较结果就是两个字符串的比较结果，后续字符不再比较。
# 比较原理：比较字符的 ordinal value（原始值），内置函数 ord() 获取 ASCII 码，chr() 则相反。

print('apple' > 'app') # True
print('apple' > 'banana') # False（'a' 的 ASCII 97 < 'b' 的 98）
print(ord('a'), ord('b')) # 97 98
print(chr(97), chr(98)) # a b

`is` 与 `==` 的区别

参考：Python 中 is 和 == 的区别

== 比较的是 值（value）。
is 比较的是 内存地址（id）。
只有数值型和字符串型，且在通用对象池中的情况下，a is b 才为 True；否则对于 int、str、tuple、list、dict、set 等，a is b 通常为 False。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


a = [1, 2, 3]
b = [1, 2, 3]
print(a == b) # True
print(a is b) # False
print(id(a), id(b)) # 不同地址

a = b = [1, 2, 3]
print(a == b) # True
print(a is b) # True
print(id(a), id(b)) # 相同地址

15. `while` 循环的使用

参考：Python 中 while 循环讲解【详细】和 Python 教程：while 循环用法讲解

基本形式：

1
2


while 判断条件:
 执行语句

求和示例：

1
2
3
4
5
6


n = 0
sum = 0
while n <= 100:
 sum += n
 n += 1
print(sum) # 5050（1 加到 100）

while 与 else 搭配：当 while 判断条件为 False 时执行 else。

1
2
3
4
5
6
7


n = 0
while n < 3:
 print(n)
 n += 1
else:
 print("else")
# 输出：0 1 2 else

16. 递归调用的终止条件

参考：Python 之函数的递归调用 - 知乎

递归函数停止的条件一般定义在递归函数内部，在递归调用前进行条件判断，根据结果选择继续调用自身还是 return 返回。常见停止条件：

判断递归次数是否达到某一限定值。
判断运算结果是否达到某个范围等，根据设计目的选择。

附：Python 递归超过一定次数后会抛出异常（报错，终止）。

17. 文件的读写，尤其是 CSV 文件的读写

参考：Python open() 函数

普通文件读写：

1
2
3
4
5
6
7
8


# 方法一
f = open("D://123.txt", "w")
f.write("123")
f.close()

# 方法二（推荐，自动关闭）
with open("D://123.txt", "w") as f:
 f.write("123")

CSV 文件：CSV（Comma-Separated Values）是一种逗号分隔值格式的纯文本文件，用于存储数据。每条记录由换行符分隔，字段间用逗号或其他字符分隔。

1
2
3


id,name,age
0,张三,19
1,李四,20

18. Request 请求失败的常用做法

修改请求头中的 User-Agent（客户端软件类型）。

默认请求头（容易被识别为爬虫）：

1
2
3
4
5
6


GET / HTTP/1.1
Host: www.qq.com
User-Agent: python-requests/2.25.1
Accept-Encoding: gzip, deflate
Accept: */*
Connection: close

修改 User-Agent 为浏览器标识：

1
2
3
4
5
6
7


import requests

url = "http://www.qq.com"
heads = {
 "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
}
data = requests.get(url, headers=heads)

修改后的请求头：

1
2
3
4
5
6


GET / HTTP/1.1
Host: www.qq.com
User-Agent: Mozilla/5.0 (...)
Accept-Encoding: gzip, deflate
Accept: */*
Connection: close

19. 集合的操作：`|`、`-`、`&`、`^`

集合是无序且无索引的，用花括号 {} 表示。
集合一旦创建，不能更改元素，但可以添加或删除。
集合中不允许有重复元素。

1
2
3
4
5
6
7
8
9


a = set('abracadabra')
b = set('alacazam')

print(a) # {'a', 'r', 'b', 'c', 'd'}
print(b) # {'a', 'l', 'c', 'z', 'm'}
print(a - b) # 在 a 但不在 b 中：{'r', 'd', 'b'}
print(a | b) # 并集：{'a', 'c', 'r', 'd', 'b', 'm', 'z', 'l'}
print(a & b) # 交集：{'a', 'c'}
print(a ^ b) # 对称差集（不同时包含）：{'r', 'd', 'b', 'm', 'z', 'l'}

20. 循环保留字：`break` 与 `continue` 的差别和作用

break：跳出循环，执行循环之后的语句。
continue：终止本次循环，执行下一次循环。

`break` 示例

1
2
3
4
5
6
7


for a in range(10):
 for b in range(5):
 if a == b:
 print(a, b)
 break
 print("123")
# 当 a == b 时，break 终止内层 for 循环，继续外层下一次迭代

`continue` 示例

1
2
3
4
5
6
7


for a in range(10):
 for b in range(5):
 if a == b:
 print(a, b)
 continue
 print("123")
# 当 a == b 时，continue 跳过本次内层循环的后续代码，继续内层下一次迭代

21. 伪随机数

计算机生成的随机数都是伪随机数。
random 模块提供随机数生成功能，可设置随机数种子 seed() 保证每次运行结果一致。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17


import random

def randomness():
 rum = random.randint(1, 100)
 print(rum)

randomness() # 每次运行结果可能不同

def random_seed(seed=1):
 random.seed(seed)
 rum = random.randint(1, 100)
 print(rum)

random_seed(2) # 8
random_seed(3) # 31
random_seed(2) # 8（相同种子结果相同）
random_seed(3) # 31

22. Python 根据命名空间寻找变量的过程

查找顺序：局部命名空间 → 全局命名空间 → 内置命名空间

命名空间：从名称（变量名）到对象的映射，大部分通过 Python 字典实现。不同命名空间中的同名标识符不会冲突。
作用：避免命名冲突。
参考：Python 命名空间的加载与查找顺序

23. 字典的创建和使用

参考：Python 字典（创建方式、常用操作方式）

字典通过键值对 key: value 存储数据：

key 在同一个字典内不可重复
value 可以重复

创建方法：

1
2
3
4
5
6
7
8
9


# 花括号手动创建
dic = {
 "name": "张三",
 "age": 18,
 18: "123"
}

# 使用 dict() 函数创建
dict(key1=value1, key2=value2)

常用操作：

1
2
3
4


dic.get(key) # 获取 key 对应的 value，不存在则返回 None
dic.get(key, "备用") # 不存在则返回 "备用"
dic.keys() # 返回所有 key
dic.values() # 返回所有 value

24. 用户输入函数

参考：Python 之 input() 函数 - 知乎

1

str = input("请输入: ")

25. 爬取指定 HTML 标签下的内容

re（正则表达式）
bs4（BeautifulSoup4）（老师讲的）
xpath

参考：

Python 爬虫与正则表达式

Fri, 08 Jul 2022 00:00:00 +0000

Python 爬虫与正则表达式

正则表达式基础

正则表达式 – 语法 | 菜鸟教程

常用字符说明

字符	描述
`[ABC]`	匹配字符串中所有的 A、B、C 字母
`[^ABC]`	匹配字符串中所有的非 A、B、C 字母
`[A-Z]`	表示一个区间，匹配所有大写字母；`[a-z]` 表示所有小写字母
`.`	匹配除换行符（`\n`、`\r`）之外的任何单个字符，等价于 `[^\n\r]`
`\s`	匹配任何空白字符（空格、制表符、换页符等）；`\S` 匹配任何非空白字符
`^`	匹配输入字符串的开始位置
`$`	匹配输入字符串的结尾位置
`?`	匹配前面的子表达式零次或一次，或指明非贪婪限定符
`*`	匹配前面的子表达式零次或多次
`+`	匹配前面的子表达式一次或多次
`{n,m}`	m 和 n 均为非负整数，且 n ≤ m。最少匹配 n 次，最多匹配 m 次。例如 `"o{1,3}"` 将匹配 `"fooooood"` 中的前三个 o。`"o{0,1}"` 等价于 `"o?"`。注意逗号和两数之间不能有空格
`( )`	标记一个子表达式的开始和结束位置，子表达式可以获取供以后使用（如 `(?P<函数名>匹配正则)`）
贪婪与非贪婪模式	在正则表达式中，``、`+`、`?` 默认是贪婪的，会尽可能多地匹配内容。例如 `"<.>"` 中的 `` 会匹配到字符串最后的 `>`。若要使用非贪婪模式，在限定符后加 `?`，如 `"<.?>"`

Python 正则表达式

Python 正则表达式 | 菜鸟教程

常用函数

1
2
3
4
5
6


import re

re.match(pattern, string, flags=0)
re.search(pattern, string, flags=0)
# 匹配成功时返回一个匹配对象，否则返回 None。
# 可以使用 group(num) 或 groups() 获取匹配表达式。

re.match 与 re.search 的区别：
re.match 只匹配字符串的开始位置，如果开始位置不符合正则表达式，则匹配失败返回 None；而 re.search 匹配整个字符串，直到找到第一个匹配。

参数说明

参数	描述
`pattern`	匹配的正则表达式
`string`	要匹配的字符串
`flags`	标志位，用于控制匹配方式（如是否区分大小写、多行匹配等）

flags 修饰符

修饰符	描述
`re.I`	使匹配对大小写不敏感
`re.L`	做本地化识别（locale-aware）匹配
`re.M`	多行匹配，影响 `^` 和 `$`
`re.S`	使 `.` 匹配包括换行符在内的所有字符
`re.U`	根据 Unicode 字符集解析字符，影响 `\w`、`\W`、`\b`、`\B`
`re.X`	允许更灵活的格式，使正则表达式更易于理解

`re.compile` 函数

compile 函数用于编译正则表达式，生成一个正则表达式（Pattern）对象，供 match() 和 search() 使用。

1

re.compile(pattern[, flags])

pattern：字符串形式的正则表达式
flags：可选，匹配模式（如忽略大小写、多行模式等）

`re.sub` 函数

1

re.sub(pattern, repl, string, count=0, flags=0)

pattern：正则中的模式字符串
repl：替换的字符串，也可为一个函数
string：要被查找替换的原始字符串
count：模式匹配后替换的最大次数，默认 0 表示替换所有匹配

Python pexpect 库的使用

Tue, 15 Mar 2022 00:00:00 +0000

一、Python pexpect 库的使用

在终端中许多命令都有与用户交互的场景，例如切换用户时需要手动输入密码，安装应用有时要输入默认配置等。这对 shell 自动化脚本十分不便。expect 命令的出现解决了上述问题。下面简单演示 shell 中使用 expect 命令自动输入密码切换用户并用切换后的用户执行命令的流程。

原版 shell 执行 expect 命令演示

在终端按以下步骤执行（其中 123 是 root 用户的密码），可以登录到 root 用户的终端。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


user@host:~$ expect
expect1.1> set timeout 5
5
expect1.2> spawn su
spawn su
3712
expect1.3> expect "Password" "密码"
Password: expect1.4> send "123\n"
expect1.5> interact

root@host:/home/user# 

这样就进入了 root 用户的终端。这时或许会有人说，写这么多，还不如直接执行 su 命令。事实上，真正的 expect 指令不会像这样直接在终端运行，而是作为脚本来运行。下面使用 Python 的 os 库中的 system 函数模拟在终端输入命令，以脚本的方式运行，感受 expect 的强大。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26


from os import system as shell_command

# expect 脚本如下
script = """
#!/usr/bin/expect
set timeout 5
spawn su
expect {
"Password" {send "123\\r"}
"密码" {send "123\\r"}
}
send "whoami > whoami.txt\\r"
send "exit\\r"
expect eof
"""
# print(script)

# 先清理先前测试残留的文件
shell_command("rm -f whoami.txt")

# 用 echo 的方式创建 expect 脚本
shell_command("echo '" + script + "' > /tmp/shell_expect_su_script.sh")
shell_command("chmod +x /tmp/shell_expect_su_script.sh")
shell_command("/tmp/shell_expect_su_script.sh")
print("\ncat whoami.txt = ", end="")
shell_command("cat whoami.txt")

输出结果：

1
2
3
4
5
6
7
8
9


spawn su
Password:
]0;root@Master: /home/hadoop[01;32mroot@Master[00m:[01;34m/home/hadoop[00m# whoami > whoami.txt
]0;root@Master: /home/hadoop[01;32mroot@Master[00m:[01;34m/home/hadoop[00m# exit
exit

cat whoami.txt = root

0

在上面的例子中，无需手动输入 root 用户的密码，即可登录进 root 用户的终端，并将自己的名称（root）写入文件 whoami.txt 中。由此看来，有了 expect 命令，使全自动化脚本成为了可能。

Python 自动化脚本 pexpect 库演示

在 Python 中，提供了 pexpect 库，可以十分方便地使用 Python 代码实现 expect 命令的功能。下面演示使用 pexpect 切换到 root 用户并在 text.txt 中写入一些数据，最后用 os 库的 system 函数执行 cat 命令读取 text.txt 文件内容验证执行结果。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16


import pexpect, os

# 先清理先前残留下的文件
os.system("rm -f text.txt")
os.system("ls -l | grep 'text.txt'")

process = pexpect.spawn("su")
process.timeout = 5
process.expect("Password")
process.sendline("123")
process.sendline("echo export PATH=/home/hadoop > text.txt")
process.sendline("EOF")
process.close()

os.system("ls -l text.txt")
os.system("cat text.txt")

输出结果：

1
2
3
4


-rw-r--r-- 1 root root 25 Mar 10 23:30 text.txt
export PATH=/home/hadoop

0

可见，使用 Python 代码可以更加方便地实现 expect 的功能。

expect 脚本讲解

现在，讲解一下上述例子中 expect 脚本中的内容。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24


#!/usr/bin/expect # 这条语句告诉操作系统用来解释脚本的程序的位置

set timeout 5 # 设置超时时间，单位是秒。超过这个时长，就认为执行失败并退出。
 # 例如在这里，如果密码 '123' 是错误的，那么等待 5 秒后无法登录进去就会退出。
 
spawn su # spawn 是 expect 的内部指令，后面接要在 shell 执行的命令，
 # 这样 expect 会开启一个新的进程来执行这个命令并监听它。
 
expect { # expect 的中文是 '期待' 的意思，顾名思义，expect 会期待出现指定的字符串。

"Password" {send "123\r"} # 双引号（必须写双引号，不能是单引号）中是 expect 指令等待 spawn 生成的程序
 # （这里是 su）出现的字符串。
 #
 # 这里当 su 命令执行后出现 "Password" 时，就发送 send 后面的字符串 "123\r"
 # 给 su 命令。
 #
 # 注意：123 后面的 \r 不能少，它表示我们输入 123 后按下的回车键。

"密码" {send "123\r"} # 与上面一样，只不过这里 expect 期待的是 "密码" 而不是 "Password"。
} 
send "whoami > whoami.txt\r" # 此时不出意外的话已经进入 root 的终端了，这里直接发送终端命令即可执行，同样注意 \r 不能少。
send "exit\r" # 发送命令 exit 退出 root 的终端。

expect eof # 结束整个 expect 命令

参考链接

Python os 模块

Sun, 13 Mar 2022 00:00:00 +0000

OS 模块

os 模块是一个功能强大的模块，主要提供操作系统相关功能接口，例如：文件目录操作、进程相关操作、执行系统命令、解析环境变量等。

使用 os 模块，我们首先要导入：

1

import os

下面我们对这些功能逐一介绍。

1. 目录相关操作

目录相关常用操作如下表：

方法	说明
`os.getcwd()`	获取当前脚本工作的目录路径
`os.getcwdb()`	同上，返回 byte 对象
`os.chdir(path)`	修改当前目录为 `path`
`os.mkdir(path, mode=0o777, *, dir_fd=None)`	创建目录
`os.makedirs(name, mode=0o777, exist_ok=False)`	创建多层目录
`os.rmdir(path, *, dir_fd=None)`	删除目录
`os.removedirs(name)`	删除多级目录
`os.listdir(path='.')`	返回指定目录下所有文件
`scandir(path='.')`	返回迭代器，内容为指定目录下所有文件目录
`os.chmod(path, mode, *, dir_fd=None, follow_symlinks=True)`	修改路径权限
`os.rename(src, dst, ...)`	修改文件名

相关操作示例：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28


# 开发环境 Ubuntu
# 获取当前目录
dirname = 'test'
pwd = os.getcwd()
print('当前工作目录:', pwd)

path = '/home/hyg/tmp'
# 获取指定文件夹下所有文件
listf = os.listdir(path)
print(f'{path} files: {listf}')

# 切换当前工作目录
os.chdir(path)
# 查看当前路径
print('切换工作目录:', os.getcwd())

# 当前目录下创建目录
os.mkdir(dirname)
# 显示当前目录下文件
print(f'{path} files: {os.listdir("./")}')

# 删除目录
os.rmdir(dirname)

# 切回当前目录
os.chdir(pwd)
# 显示当前目录
print('当前工作目录:', pwd)

输出结果：

1
2
3
4
5


当前工作目录: /home/hyg/tmp
/home/hyg/tmp files: ['1.jpg', '2.jpg']
切换工作目录: /home/hyg/tmp
/home/hyg/tmp files: ['test', '1.jpg', '2.jpg']
当前工作目录: /home/hyg/tmp

2. os.path 相关方法

这些方法包括目录判断、路径获取、路径拼接、文件信息获取等。

2.1 文件判断

方法	说明
`os.path.isdir(s)`	判断是否为目录，如果是目录返回 `True`
`os.path.isfile(s)`	判断是否为文件，如果是文件返回 `True`
`os.path.exists(path)`	判断文件或目录是否存在，存在返回 `True`

2.2 文件路径获取

方法	说明
`os.path.dirname(path)`	返回目录所在路径
`os.path.split(p)`	目录切分，返回元组 `(head, tail)`
`os.path.basename(p)`	返回最后一级目录
`os.path.join(a, *p)`	目录拼接
`os.path.abspath(path)`	获取文件绝对路径

注意 basename 和 split 的区别，来看两个例子：

1
2
3
4
5
6
7
8
9


def func(path):
 print(f'split :{path}, result:{os.path.split(path)}')
 print(f'basename:{path}, result:{os.path.basename(path)}')

path = '/home/linux/test/1.txt'
func(path)
path = '/home/linux/test/'
func(path)
func('1.txt')

输出结果：

1
2
3
4
5
6


split :/home/linux/test/1.txt, result:('/home/linux/test', '1.txt')
basename:/home/linux/test/1.txt, result:1.txt
split :/home/linux/test/, result:('/home/linux/test', '')
basename:/home/linux/test/, result:
split :1.txt, result:('', '1.txt')
basename:1.txt, result:1.txt

注意路径及输出格式。

关于目录拼接：很多代码实现如下面这种方式：

1
2
3


path = '/home/linux/test'
fpath = path + '/' + '1.txt'
print(fpath)

输出结果：

1

/home/linux/test/1.txt

这种方式存在的问题：

跨平台问题：Linux 与 Windows 下目录表达方式不一样。
路径拼接时，目录之间分隔符有严格限制，容易出错。

推荐使用 os.path.join：

1
2
3
4
5
6
7


path = '/home/linux/test/'
fpath = os.path.join(path, '1.txt')
print(fpath)

path = '/home/linux/test'
fpath = os.path.join(path, '1.txt')
print(fpath)

输出结果：

1
2


/home/linux/test/1.txt
/home/linux/test/1.txt

path 最后有无反斜杠，join 都可以正确处理，但字符串拼接方式则不行。

2.3 获取文件信息

方法	说明
`os.stat(path, *, dir_fd=None, follow_symlinks=True)`	获取文件或目录信息
`os.path.getatime(filename)`	获取文件最后访问时间
`os.path.getctime(filename)`	获取文件最后改变时间
`os.path.getmtime(filename)`	获取文件最后修改时间
`os.path.getsize(filename)`	获取文件大小

getctime 与 getmtime 的区别：
两者都是获取文件最后修改时间，但区别在于：

文件内容修改：对两个方法获取的时间都有影响。
文件权限、用户修改：只对 getctime 获取的时间有影响。

使用 Python 代码验证：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


import os
path = '/home/linux/test/1.txt'

# 获取文件修改时间
print('ctime:', os.path.getctime(path), 'mtime:', os.path.getmtime(path))

# 修改文件权限
os.chmod(path, 0o777)

# 再次获取文件修改时间
print('ctime:', os.path.getctime(path), 'mtime:', os.path.getmtime(path))

# 获取文件大小
print(os.path.getsize(path))

输出结果：

1
2
3


ctime: 1554518401.870203 mtime: 1554518401.870203
ctime: 1554518438.9467654 mtime: 1554518401.870203
5

3. 其他一些方法

方法	说明
`os.system(command)`	执行命令
`os._exit(status)`	退出当前进程，需要添加退出状态
`os.getenv(key, default=None)`	获取指定环境变量
`os.putenv(name, value, /)`	设置指定环境变量
`os.environ`	环境变量获取与设置

os._exit 可以直接让当前运行程序退出，并能够添加退出状态。

system 的使用示例：在指定目录创建文件（Linux 下创建文件的 shell 命令：touch fname）

1
2
3
4
5
6
7
8
9


path = '/home/linux/test/tmp'
print(os.listdir(path))

fname = os.path.join(path, '1.txt')
print(fname)

# 创建文件
os.system('/usr/bin/touch %s' % fname)
print(os.listdir(path))

输出结果：

1
2
3


[]
/home/linux/test/tmp/1.txt
['1.txt']

环境变量设置：有两种方式获取环境变量：

os.getenv：根据环境变量名称直接获取，如果没有获取到则返回 None。
os.environ：获取系统所有环境变量，可以使用字典方式去获取和设置环境变量。

对应设置环境变量，os.putenv 对于某些平台可能不支持，可以使用 os.environ 设置。

下面我们来具体操作：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


print('HOME=', os.getenv('HOME'))

# 设置环境变量（部分平台可能不支持）
os.putenv('Test', 'testval')
print('Test=', os.getenv('Test'))

# 使用 environ
print('environ[HOME]=', os.environ['HOME'])

# 设置环境变量 Test（推荐）
os.environ['Test'] = 'testval'
print('Test=', os.getenv('Test'))

可以看到，在 Ubuntu 中使用 putenv 不生效，我们可以使用 os.environ 替换。

os 模块还有很多其他常用方法与属性，遇到问题可以查阅官方文档。

Python on Song

Python 小知识

1. Python 程序的扩展名与提示符

扩展名

提示符

2. 关于 Python 在变量声明、创建、释放等内存管理与其他语言的差别

3. Python 语言命名规则

4. Python 的多行注释方式

5. 浮点数的科学计数法表示

6. pow() 函数

7. round() 函数

8. 字符串切片操作（如 s[3:-3]）

9. Python 代码块以缩进区分

10. Lambda 函数：参数、函数体和返回值

11. print 格式化：% 格式化或 format 格式化两种方式

% 格式化

format 格式化

12. IPO（Input Processing Output）模式包含哪些部分

13. 复数：real、imag 各代表哪部分

14. 字符串比较规则

is 与 == 的区别

15. while 循环的使用

16. 递归调用的终止条件

17. 文件的读写，尤其是 CSV 文件的读写

18. Request 请求失败的常用做法

19. 集合的操作：|、-、&、^

20. 循环保留字：break 与 continue 的差别和作用

break 示例

continue 示例

21. 伪随机数

22. Python 根据命名空间寻找变量的过程

23. 字典的创建和使用

24. 用户输入函数

25. 爬取指定 HTML 标签下的内容

Python 爬虫与正则表达式

Python 爬虫与正则表达式

正则表达式基础

常用字符说明

Python 正则表达式

常用函数

参数说明

flags 修饰符

re.compile 函数

re.sub 函数

Python pexpect 库的使用

一、Python pexpect 库的使用

原版 shell 执行 expect 命令演示

Python 自动化脚本 pexpect 库演示

expect 脚本讲解

参考链接

Python os 模块

OS 模块

1. 目录相关操作

2. os.path 相关方法

2.1 文件判断

2.2 文件路径获取

2.3 获取文件信息

3. 其他一些方法

6. `pow()` 函数

7. `round()` 函数

8. 字符串切片操作（如 `s[3:-3]`）

11. `print` 格式化：`%` 格式化或 `format` 格式化两种方式

`%` 格式化

`format` 格式化

13. 复数：`real`、`imag` 各代表哪部分

`is` 与 `==` 的区别

15. `while` 循环的使用

19. 集合的操作：`|`、`-`、`&`、`^`

20. 循环保留字：`break` 与 `continue` 的差别和作用

`break` 示例

`continue` 示例

`re.compile` 函数

`re.sub` 函数