人工智能数学基础（四）：线性代数
线性代数是人工智能领域的核心数学工具之一，广泛应用于数据表示、模型训练和算法优化等多个环节。本文将系统梳理线性代数的关键知识点，并结合 Python 实例，助力读者轻松掌握这一重要学科。资源绑定附上完整资源供读者参考学习！
4.1 行列式
4.1.1 行列式定义
行列式是一个方形矩阵的标量值，反映了矩阵所代表的线性变换对空间体积的缩放比例。对于 n 阶方阵，行列式可递归定义，也可通过全排列展开计算。
4.1.2 行列式的性质
行列式具有以下重要性质：
-
行列式与转置矩阵的行列式相等。
-
交换矩阵的两行，行列式变号。
-
行列式具有乘积性质：det(AB) = det(A)det(B)。
4.1.3 行列式的计算
行列式的计算方法包括：
-
二阶行列式：对角线元素乘积之差。
-
三阶行列式：可采用展开式或萨鲁斯法则。
-
高阶行列式：通常借助行变换化为上三角矩阵后计算。
案例及应用：计算行列式
案例描述 ：计算矩阵 [[3, 1], [2, 4]] 的行列式。
import numpy as np# 定义矩阵
matrix = np.array([[3, 1], [2, 4]])# 计算行列式
det = np.linalg.det(matrix)
print("矩阵的行列式为：", det)
4.2 矩阵
4.2.1 矩阵的概念
矩阵是由 m×n 个数排列成的 m 行 n 列的数表。在人工智能中，数据常以矩阵形式存储，如图像可表示为像素值矩阵。
4.2.2 矩阵的运算
矩阵运算包括加法、减法、数乘、乘法和转置等。矩阵乘法要求左矩阵的列数等于右矩阵的行数。
4.2.3 矩阵的初等变换
初等变换包括行交换、行倍乘和行相加。这些变换在解线性方程组和求矩阵秩时至关重要。
4.2.4 矩阵的秩
矩阵的秩是矩阵中行或列向量组的最大线性无关组所含向量的个数。秩反映了矩阵的有效信息量。
案例及应用：矩阵运算和秩计算
案例描述 ：对矩阵 A = [[1, 2], [3, 4]] 和 B = [[5, 6], [7, 8]] 进行加法、乘法运算，并求矩阵 A 的秩。
import numpy as np# 定义矩阵
A = np.array([[1, 2], [3, 4]])
B = np.array([[5, 6], [7, 8]])# 矩阵加法
addition = A + B# 矩阵乘法
multiplication = np.dot(A, B)# 矩阵的秩
rank_A = np.linalg.matrix_rank(A)print("矩阵 A + B =\n", addition)
print("矩阵 A * B =\n", multiplication)
print("矩阵 A 的秩为：", rank_A)
4.3 向量
4.3.1 n 维向量的定义
n 维向量是 n 个有序实数的集合，通常表示为列向量。在机器学习中，数据样本常表示为高维向量。
4.3.2 n 维向量间的线性关系
向量间的线性关系包括线性相关和线性无关。若存在不全为零的标量使得线性组合为零向量，则向量组线性相关。
4.3.3 向量组的秩
向量组的秩是向量组中最大线性无关组所含向量的个数。秩越大，向量组包含的信息越丰富。
4.3.4 梯度，海森矩阵与雅可比矩阵
-
梯度 ：多元函数在某一点的最快增长方向的向量，由各变量的偏导数组成。
-
海森矩阵 ：多元函数的二阶偏导数构成的方阵，用于描述函数的曲率。
-
雅可比矩阵 ：向量值函数的一阶偏导数构成的矩阵，用于描述函数的局部线性近似。
案例及应用：向量组的线性相关性判断
案例描述 ：判断向量组 [[1, 2, 3], [4, 5, 6], [7, 8, 9]] 是否线性相关。
import numpy as np# 定义向量组
vectors = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]])# 计算矩阵的秩
rank = np.linalg.matrix_rank(vectors)# 判断线性相关性
if rank < vectors.shape[1]:print("向量组vectors线性相关")
else:print("向量组vectors线性无关")
4.4 线性方程组
4.4.1 齐次线性方程组解的结构
齐次线性方程组 Ax=0 的解集构成一个向量空间。若矩阵 A 的秩为 r，则解空间的维数为 n - r。
4.4.2 非齐次线性方程组解的结构
非齐次线性方程组 Ax=b 的解集可能是空集，也可能是一个仿射空间。若 x₀ 是特解，X 是齐次方程的通解，则非齐次方程的通解为 x₀ + X。
案例及应用：求解线性方程组
案例描述 ：求解方程组： x + y = 3 2x + 3y = 8
import numpy as np# 系数矩阵和常数项
A = np.array([[1, 1], [2, 3]])
b = np.array([3, 8])# 求解线性方程组
solution = np.linalg.solve(A, b)
print("方程组的解为：x =", solution[0], ", y =", solution[1])
4.5 二次型
4.5.1 特征值与特征向量
对于方阵 A，若存在非零向量 x 和标量 λ，使得 Ax=λx，则 λ 是特征值，x 是对应的特征向量。特征值分解可将矩阵表示为特征向量和特征值的组合。
4.5.2 相似矩阵
若存在可逆矩阵 P，使得 P⁻¹AP = B，则矩阵 A 和 B 相似。相似矩阵具有相同的特征值。
4.5.3 二次型
二次型是二次齐次多项式，可表示为 xᵀAx，其中 A 是对称矩阵。二次型在优化问题中用于描述目标函数的曲率。
4.5.4 正定二次型
若对于所有非零向量 x，二次型 xᵀAx > 0，则称该二次型为正定的。正定二次型对应的矩阵是正定矩阵。
案例及应用：二次型的矩阵表示和正定性判断
案例描述 ：判断二次型 x₁² + 2x₂² + 3x₃² + 2x₁x₂ 是否正定。
import numpy as np# 二次型对应的矩阵
A = np.array([[1, 1, 0], [1, 2, 0], [0, 0, 3]])# 计算特征值
eigenvalues = np.linalg.eigvals(A)# 判断正定性
is_positive_definite = np.all(eigenvalues > 0)
print("二次型的矩阵特征值为：", eigenvalues)
print("二次型是否正定：", is_positive_definite)
4.6 实验：矩阵运算
4.6.1 实验目的
熟练掌握矩阵的基本运算，包括加法、乘法、转置、行列式计算和求逆等。
4.6.2 实验要求
编写 Python 程序，实现矩阵的加法、乘法、转置、行列式计算和求逆操作，并验证结果的正确性。
4.6.3 实验原理
利用 NumPy 库提供的矩阵运算函数，高效完成矩阵的各种运算。
4.6.4 实验步骤
-
导入 NumPy 库。
-
定义两个示例矩阵。
-
分别实现矩阵的加法、乘法、转置、行列式计算和求逆。
-
输出运算结果。
4.6.5 实验结果
import numpy as np# 定义矩阵
A = np.array([[1, 2], [3, 4]])
B = np.array([[5, 6], [7, 8]])# 矩阵加法
addition = A + B# 矩阵乘法
multiplication = np.dot(A, B)# 矩阵转置
transpose_A = A.T# 行列式计算
det_A = np.linalg.det(A)# 矩阵求逆
inv_A = np.linalg.inv(A)print("矩阵 A + B =\n", addition)
print("矩阵 A * B =\n", multiplication)
print("矩阵 A 的转置 =\n", transpose_A)
print("矩阵 A 的行列式 =", det_A)
print("矩阵 A 的逆矩阵 =\n", inv_A)
4.7线性代数知识点表格总结
| 概念 | 定义与说明 | 常见运算与性质 |
|---|---|---|
| 行列式 | 方阵的标量值，反映线性变换对空间体积的缩放比例 | 交换两行列式变号；det(AB)=det(A)det(B) |
| 矩阵 | m×n 个数排列成的数表 | 加法、减法、数乘、乘法、转置 |
| 向量 | n 个有序实数的集合 | 线性相关/无关；向量组的秩 |
| 线性方程组 | 多个线性方程组成的方程组 | 齐次方程组解集是向量空间；非齐次方程组解集是仿射空间 |
| 二次型 | 二次齐次多项式 | 可表示为 xᵀAx；正定二次型对应的矩阵是正定矩阵 |
通过本文的学习，希望大家对线性代数在人工智能中的应用有了更深入的理解。在实际操作中，多进行代码练习，可以更好地掌握这些数学工具，为人工智能的学习和实践打下坚实的基础。资源绑定附上完整资源供读者参考学习！
