1. 项目概述一次深度复盘的价值2022年“高教社杯”全国大学生数学建模竞赛的C题题目是“古代玻璃制品的成分分析与鉴别”。这个题目当时一出来就引起了不小的讨论。它不像传统的优化或预测题那样有明确的数学模型可以套用而是将我们拉入了考古学和材料科学的交叉领域要求参赛者利用化学成分数据对一批未知的古代玻璃文物进行成分分析、风化判别、亚类划分并探究其关联规律。现在回过头来看这道题其价值远不止于一场比赛。它本质上是一个经典的、多任务驱动的数据挖掘与统计分析实战案例涵盖了从数据预处理、特征工程、统计分析到分类聚类建模的完整流程。对于任何希望提升数据分析能力、理解如何将数学工具应用于实际复杂问题的朋友来说这次讲解都是一次绝佳的“解剖麻雀”的机会。无论你是参加过当年比赛想复盘精进还是正在备战未来的数模竞赛亦或是单纯对数据分析感兴趣通过拆解这道题的完整解决思路你都能获得一套可迁移的方法论和宝贵的实操经验。2. 核心思路与解题框架拆解面对“古代玻璃制品的成分分析与鉴别”这样一个开放性问题首要任务不是急于跑代码而是构建清晰的解题逻辑框架。题目给出的数据是几十个玻璃文物样本的化学成分百分比如SiO2, Na2O, K2O等以及它们是否风化、所属类型高钾或铅钡等标签信息。我们需要解决四个子问题1. 成分分析2. 风化判别3. 亚类划分4. 关联分析。2.1 整体解题策略分而治之环环相扣我的核心策略是“分而治之结果互验”。四个问题并非孤立而是层层递进、相互支撑的。描述性统计与可视化是起点用于直观理解数据分布、发现异常并为后续建模提供依据。风化判别可以看作一个二分类问题但需注意样本不平衡和特征选择。亚类划分是无监督的聚类问题其结果可以与已知的“高钾/铅钡”分类进行交叉验证以评估聚类效果和发现新规律。关联分析则是在前面分析的基础上探究化学成分、类型、风化状态之间的深层关系可能需要用到相关性分析、方差分析(ANOVA)或逻辑回归等手段。这个框架的优势在于每一步的产出都可能成为下一步的输入或验证依据。例如在亚类划分中发现的某个簇可能恰好对应着某种特定的风化模式这就能为关联分析提供强力的证据。2.2 关键难点与应对思路这道题有几个明显的难点数据缺失与成分总和不为100%化学成分数据是百分比但所有成分相加往往不等于100%。这是因为检测手段无法覆盖所有元素如微量元素、结晶水等。直接处理时不能简单地将缺失值填0或删除更合理的做法是将数据视为“成分数据”采用对数比变换或将数据归一化到恒定和来处理以避免“闭合效应”对统计分析的干扰。高维小样本特征化学成分数量多于或接近样本量容易导致过拟合。必须进行特征筛选或降维。主成分分析(PCA)是直观的选择可以观察化学成分的主要变异方向同时也可以结合方差分析或特征重要性排序如基于随机森林或LASSO回归来筛选对分类风化、类型有显著影响的成分。问题间的逻辑关联不能把四个问题当成四个独立实验来做。例如做风化判别时是否应该区分“高钾”和“铅钡”玻璃分别建模因为两者的风化机理可能不同。这需要根据初步的探索性数据分析来决定体现了解题的灵活性。注意很多队伍一开始就陷入“套模型”的误区直接对原始数据用SVM、随机森林去分类忽略了数据本身的特性成分数据和问题的物理背景考古学导致结果解释性差。解题的第一步永远是“读懂数据”和“理解问题”。3. 数据预处理与探索性分析详解这是所有建模工作的基石耗时可能占整个项目的40%但绝对值得。3.1 数据清洗与特征工程给出的数据通常是一个Excel或CSV文件包含“文物编号”、“纹饰”、“颜色”、“风化情况”、“类型”以及十余种化学成分的百分比。处理缺失值与异常值对于化学成分的缺失首先区分是“未检测到”可能是真零值还是“数据缺失”。通常可以结合考古知识若某成分在同类玻璃中普遍存在缺失值可用同类样本的中位数填充若该成分本身含量极低或波动大可考虑用0或一个极小值如0.001填充但后续进行对数变换时需注意log(0)无定义。异常值检测使用箱线图或3σ原则检查每个化学成分。对于明显偏离群体且无法解释的极端值需要谨慎对待可能需要暂时剔除以观察其对模型的影响。处理“成分数据”特性由于各成分百分比之和不为100%且变量间存在依赖关系一个成分增加其他成分的相对比例就会变化直接使用原始百分比进行欧氏距离计算或回归分析是有问题的。核心技巧中心化对数比变换。这是处理成分数据的标准方法之一。假设有D种成分对每个样本计算其所有成分的几何平均值然后用每个成分除以这个几何平均值再取对数。公式为CLR(x_i) ln(x_i / g(x))其中g(x)是成分向量的几何平均。经过CLR变换后的数据消除了“恒定和”约束可以安全地用于大多数多元统计方法。在Python中可以使用sklearn的FunctionTransformer或scipy轻松实现。备选方案将数据归一化至100%。即对每个样本将其所有化学成分百分比相加得到总和S然后将每个成分除以S使其总和为100%。这种方法更直观但不如CLR变换在数学上严谨。3.2 可视化探索发现故事的起点可视化不是为了好看而是为了提出假设。风化 vs. 未风化的成分对比为每种化学成分绘制分组箱线图或小提琴图直观对比风化与未风化样本的分布差异。例如可能会发现风化样本的K2O氧化钾含量显著降低而SiO2二氧化硅相对含量升高这符合风化过程中碱金属离子淋失、硅氧网络相对富集的科学常识。高钾玻璃 vs. 铅钡玻璃的化学成分雷达图将两类玻璃的主要成分均值绘制在雷达图上可以清晰看到铅钡玻璃以PbO和BaO为特征而高钾玻璃以K2O含量高为特征。这验证了分类的合理性也为后续聚类提供了参考轮廓。主成分分析散点图对CLR变换后的数据进行PCA观察前两个主成分的得分图。用不同颜色和形状标记“风化情况”和“类型”观察样本在降维空间中的自然聚集情况。理想情况下我们希望能看到“高钾”和“铅钡”样本能大致分开而“风化”样本可能分布在特定区域。这个图是连接描述性统计与建模的桥梁。4. 核心问题一风化情况的判别这是一个有监督的分类问题。标签是“风化”和“未风化”。4.1 特征选择与模型构建特征工程直接使用所有化学成分作为特征并非最佳。可以先进行方差分析检验每种成分在风化与未风化两组间的均值是否存在显著差异p值0.05或0.01。筛选出显著相关的成分作为初级特征集。处理类别不平衡数据中未风化的样本可能远多于风化样本。直接训练模型会使模型偏向多数类。可以采用SMOTE过采样或随机欠采样来平衡数据集或者在模型中使用class_weightbalanced参数。模型选择与训练逻辑回归解释性强可以给出特征系数判断哪种成分对风化有正/负影响。配合L1正则化(LASSO)还可以自动进行特征选择。支持向量机适用于小样本特别是当特征经过PCA降维后线性可分时。随机森林效果通常不错能给出特征重要性排序且对异常值不敏感。其生成的特征重要性列表可以与ANOVA的结果相互印证。一个高级思路考虑到“高钾”和“铅钡”玻璃的风化机理可能不同可以尝试分组建模。即先根据“类型”将数据分为两组分别在两组内部建立风化判别模型。对比分组模型与全局模型的性能可以深入揭示风化机制的差异。4.2 实操步骤与代码要点# 示例基于随机森林的风化判别Python sklearn import pandas as pd from sklearn.model_selection import train_test_split, cross_val_score from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import classification_report, confusion_matrix from sklearn.preprocessing import StandardScaler from imblearn.over_sampling import SMOTE # 需要安装imbalanced-learn # 1. 加载并预处理数据假设df是经过CLR变换和特征筛选后的DataFrame X df.drop([文物编号, 风化情况], axis1) # 特征 y df[风化情况].map({风化:1, 未风化:0}) # 标签编码 # 2. 处理样本不平衡 smote SMOTE(random_state42) X_resampled, y_resampled smote.fit_resample(X, y) # 3. 划分训练集和测试集 X_train, X_test, y_train, y_test train_test_split(X_resampled, y_resampled, test_size0.2, random_state42) # 4. 标准化对某些模型有益 scaler StandardScaler() X_train_scaled scaler.fit_transform(X_train) X_test_scaled scaler.transform(X_test) # 5. 训练随机森林模型 rf_model RandomForestClassifier(n_estimators100, random_state42, class_weightbalanced) rf_model.fit(X_train_scaled, y_train) # 6. 评估模型 y_pred rf_model.predict(X_test_scaled) print(confusion_matrix(y_test, y_pred)) print(classification_report(y_test, y_pred)) # 7. 输出特征重要性 feature_importance pd.DataFrame({ feature: X.columns, importance: rf_model.feature_importances_ }).sort_values(importance, ascendingFalse) print(feature_importance)实操心得不要只追求测试集准确率。对于数模竞赛模型的可解释性和物理意义的合理性同样重要。如果随机森林告诉你P2O5是预测风化的最重要特征但考古学上并无此说法你就需要回头检查数据或特征工程过程。此外一定要做交叉验证避免因小样本量导致的偶然性结果。5. 核心问题二玻璃文物的亚类划分这是一个无监督的聚类问题目标是探索数据内部是否存在未知的、有意义的子类。5.1 聚类方法的选择与评估聚类前的准备使用经过CLR变换和标准化后的数据。可以先用PCA降维至2-3维以便可视化但聚类操作可以在更高维空间进行。聚类算法选择K-Means最常用但需要指定K值簇数且对异常值敏感。层次聚类不需要预先指定K值可以通过树状图直观地观察样本间的层次关系帮助判断合理的簇数。DBSCAN能发现任意形状的簇并能识别噪声点适用于数据分布不规则的情况。确定最佳簇数肘部法则绘制不同K值下K-Means模型的误差平方和(SSE)曲线选择拐点肘部对应的K。轮廓系数计算每个样本的轮廓系数范围在-1到1之间值越大表示聚类效果越好。计算不同K值下的平均轮廓系数取最大值对应的K。结合先验知识题目中已知有“高钾”和“铅钡”两大类。聚类时可以将K设为2看结果是否与已知分类大体吻合以此验证聚类方法的有效性。也可以尝试K3或4看是否能发现已知大类下的有意义子类例如高钾玻璃中是否还能分出两个亚型。5.2 结果分析与解释聚类完成后关键是将冷冰冰的簇标签转化为有意义的结论。轮廓分析计算最终聚类模型的整体轮廓系数评估聚类质量。特征对比计算每个簇在各个化学成分上的均值或中位数生成一个“簇剖面图”。比较不同簇之间的成分差异。例如你可能发现Cluster 0: 高K2O 低PbO/BaO - 对应“高钾玻璃”。Cluster 1: 高PbO/BaO 低K2O - 对应“铅钡玻璃”。Cluster 2: 中等K2O 含有特殊微量元素 - 可能是一个新的亚类或者对应某种特定的工艺或产地。与已知标签交叉制表将聚类结果与已知的“类型”、“风化情况”制作交叉表观察关联性。这直接为下一个问题“关联分析”提供了素材。# 示例使用K-Means和轮廓系数确定最佳簇数 from sklearn.cluster import KMeans from sklearn.metrics import silhouette_score import matplotlib.pyplot as plt # X_scaled 是预处理后的特征数据 silhouette_scores [] k_range range(2, 8) # 探索2到7个簇 for k in k_range: kmeans KMeans(n_clustersk, random_state42) cluster_labels kmeans.fit_predict(X_scaled) silhouette_avg silhouette_score(X_scaled, cluster_labels) silhouette_scores.append(silhouette_avg) print(fFor n_clusters {k}, the average silhouette_score is : {silhouette_avg:.3f}) # 绘制轮廓系数曲线 plt.plot(k_range, silhouette_scores, bo-) plt.xlabel(Number of clusters (K)) plt.ylabel(Average Silhouette Score) plt.title(Silhouette Score for K-Means Clustering) plt.grid(True) plt.show() # 选择最佳K值进行最终聚类并分析 best_k k_range[silhouette_scores.index(max(silhouette_scores))] final_kmeans KMeans(n_clustersbest_k, random_state42) df[Cluster] final_kmeans.fit_predict(X_scaled) # 分析每个簇的特征 cluster_profile df.groupby(Cluster)[chemical_columns].median() print(cluster_profile)6. 核心问题三与四化学成分、类型、风化的关联分析这是将前面所有发现进行整合和深化用统计语言讲述一个完整故事的部分。6.1 关联分析的多角度切入化学成分与类型的关联这几乎是明摆着的但需要用统计验证。可以对每种化学成分做独立样本t检验或Mann-Whitney U检验比较其在“高钾”和“铅钡”两组间是否有显著差异。结果会以一张包含p值的表格呈现科学地证实视觉观察到的差异。化学成分与风化的关联在问题一中我们已经通过建模如逻辑回归系数、随机森林重要性得到了部分答案。这里可以进一步细化分组相关性分析分别计算“高钾”和“铅钡”玻璃内部各化学成分与风化状态0/1的点二列相关系数。对比两组的相关性模式可能发现在铅钡玻璃中PbO含量与风化强相关而在高钾玻璃中K2O含量与风化强相关。这揭示了不同的风化机制。控制类型变量可以将“类型”作为控制变量进行偏相关分析探究在排除类型影响后哪些成分与风化本身关联更强。类型、风化、亚类三者的关联这是一个多维列联表分析。可以绘制堆叠柱状图或热图来展示三者的关系。例如用聚类得到的亚类作为行用“类型×风化”的组合如“高钾-风化”、“高钾-未风化”等作为列填充每个单元格的样本数。从热图中可以直观看出某个特定的亚类是否完全由某一特定类型和风化状态的样本构成这能有力地支持你的分类和关联结论。6.2 统计检验与可视化呈现# 示例化学成分在两类玻璃间的差异检验t检验 from scipy import stats high_potassium df[df[类型] 高钾][[SiO2, Na2O, K2O]] lead_barium df[df[类型] 铅钡][[SiO2, Na2O, K2O]] results [] for col in [SiO2, Na2O, K2O]: stat, p_value stats.ttest_ind(high_potassium[col].dropna(), lead_barium[col].dropna(), equal_varFalse) # Welchs t-test方差不齐时更稳健 results.append({成分: col, t统计量: stat, p值: p_value}) result_df pd.DataFrame(results) print(result_df) # p值远小于0.01则表明该成分在两类玻璃间有极显著差异。注意事项进行大量统计检验时要注意“多重比较谬误”。简单来说检验次数越多偶然出现显著结果p0.05的概率就越大。一个保守的校正方法是使用邦弗朗尼校正将显著性水平α除以检验次数m即使用 α/m 作为新的阈值。在论文中说明你意识到了这一点并进行了相应处理是严谨性的体现。7. 模型优化、论文写作与常见陷阱7.1 如何提升模型性能与说服力集成思路对于风化判别可以尝试将逻辑回归、SVM、随机森林的结果进行投票集成往往能获得比单一模型更稳定、更优的性能。引入衍生特征除了原始化学成分可以考虑计算一些比率特征如K2O/(Na2OK2O)钾钠比、PbO/BaO等。这些比率在考古学中常有特定指示意义可能成为更强的预测因子。模型的可解释性工具使用SHAP或LIME等工具来解释复杂模型如随机森林的预测。它们能展示对于单个样本每个特征是如何影响最终预测结果的让你的分析从“整体”深入到“个案”极大地增强论文的说服力。7.2 论文写作的核心要点数学建模竞赛“模”是基础“建”出论文才是关键。摘要用精炼的语言概括你的整体思路、所用方法、关键步骤和主要结论。务必包含“针对成分数据特性采用了中心化对数比变换”、“通过方差分析和随机森林进行特征筛选”、“结合轮廓系数与先验知识确定最佳聚类数”、“发现高钾与铅钡玻璃的风化主要分别与K2O和PbO的流失相关”等具体亮点。模型假设与符号说明清晰列出体现严谨性。流程图绘制一张清晰的解题技术路线图让评委一眼看懂你的逻辑。图表结合一图胜千言。箱线图、散点图、热图、聚类剖面图、特征重要性图等要丰富且精致每个图都应有明确的结论性标题。模型检验与灵敏度分析讨论模型的稳定性。例如改变聚类算法从K-Means换成层次聚类结果是否一致改变风化判别模型中训练集的比例准确率波动大吗这展示了你对模型鲁棒性的思考。7.3 常见问题与避坑指南坑忽视数据预处理直接套模型。后果是模型结果难以解释甚至得出违背常识的结论。避坑务必花费足够时间进行数据探索、缺失值处理特别是理解和应用成分数据的处理方法CLR变换。坑追求复杂模型忽视基础分析。一上来就用深度学习但数据量根本不够。避坑小样本问题下简单的模型逻辑回归、线性判别配合良好的特征工程往往比复杂的黑箱模型更可靠、解释性更强。坑四个问题割裂解答。避坑时刻牢记问题间的关联。例如将聚类结果作为新特征加入风化判别模型用关联分析的结果去解释聚类得到的亚类。坑论文罗列代码和结果没有分析。避坑论文的核心是“分析”。每一个图表下面都要有一段文字解释这个图显示了什么现象说明了什么问题支持了什么结论与你的模型假设或考古学背景如何呼应坑结论空洞。避坑结论部分要具体回顾你最重要的发现。例如“本研究通过CLR变换有效处理了成分数据建立了基于随机森林的风化高精度判别模型准确率达XX%。聚类分析在两大类下进一步识别出X个有意义的亚类其中亚类A以高Y成分为特征可能与Z产地相关。关联分析证实风化过程在两类玻璃中表现为不同的主导元素流失模式。”这样的结论才有分量。复盘2022年C题其精髓在于将一个开放的、多领域的实际问题转化为一个结构化的数据分析项目。它考察的不仅仅是几个数学模型更是问题拆解、数据敏感、统计思维和故事讲述的综合能力。掌握这套从数据清洗到关联分析的全流程方法论不仅能应对数学建模竞赛对于你今后从事任何数据分析相关的工作都是一笔宝贵的财富。真正吃透这道题下次再遇到“基于数据的分类、预测与探索”问题你就能从容地搭建起分析框架知道每一步该做什么、为什么做、以及如何解释结果。 
长河君 · 2026/8/28 4:27:55 · 阅读 1.2k 从数学建模到数据挖掘实战：古代玻璃成分分析全流程解析
1. 项目概述一次深度复盘的价值2022年“高教社杯”全国大学生数学建模竞赛的C题题目是“古代玻璃制品的成分分析与鉴别”。这个题目当时一出来就引起了不小的讨论。它不像传统的优化或预测题那样有明确的数学模型可以套用而是将我们拉入了考古学和材料科学的交叉领域要求参赛者利用化学成分数据对一批未知的古代玻璃文物进行成分分析、风化判别、亚类划分并探究其关联规律。现在回过头来看这道题其价值远不止于一场比赛。它本质上是一个经典的、多任务驱动的数据挖掘与统计分析实战案例涵盖了从数据预处理、特征工程、统计分析到分类聚类建模的完整流程。对于任何希望提升数据分析能力、理解如何将数学工具应用于实际复杂问题的朋友来说这次讲解都是一次绝佳的“解剖麻雀”的机会。无论你是参加过当年比赛想复盘精进还是正在备战未来的数模竞赛亦或是单纯对数据分析感兴趣通过拆解这道题的完整解决思路你都能获得一套可迁移的方法论和宝贵的实操经验。2. 核心思路与解题框架拆解面对“古代玻璃制品的成分分析与鉴别”这样一个开放性问题首要任务不是急于跑代码而是构建清晰的解题逻辑框架。题目给出的数据是几十个玻璃文物样本的化学成分百分比如SiO2, Na2O, K2O等以及它们是否风化、所属类型高钾或铅钡等标签信息。我们需要解决四个子问题1. 成分分析2. 风化判别3. 亚类划分4. 关联分析。2.1 整体解题策略分而治之环环相扣我的核心策略是“分而治之结果互验”。四个问题并非孤立而是层层递进、相互支撑的。描述性统计与可视化是起点用于直观理解数据分布、发现异常并为后续建模提供依据。风化判别可以看作一个二分类问题但需注意样本不平衡和特征选择。亚类划分是无监督的聚类问题其结果可以与已知的“高钾/铅钡”分类进行交叉验证以评估聚类效果和发现新规律。关联分析则是在前面分析的基础上探究化学成分、类型、风化状态之间的深层关系可能需要用到相关性分析、方差分析(ANOVA)或逻辑回归等手段。这个框架的优势在于每一步的产出都可能成为下一步的输入或验证依据。例如在亚类划分中发现的某个簇可能恰好对应着某种特定的风化模式这就能为关联分析提供强力的证据。2.2 关键难点与应对思路这道题有几个明显的难点数据缺失与成分总和不为100%化学成分数据是百分比但所有成分相加往往不等于100%。这是因为检测手段无法覆盖所有元素如微量元素、结晶水等。直接处理时不能简单地将缺失值填0或删除更合理的做法是将数据视为“成分数据”采用对数比变换或将数据归一化到恒定和来处理以避免“闭合效应”对统计分析的干扰。高维小样本特征化学成分数量多于或接近样本量容易导致过拟合。必须进行特征筛选或降维。主成分分析(PCA)是直观的选择可以观察化学成分的主要变异方向同时也可以结合方差分析或特征重要性排序如基于随机森林或LASSO回归来筛选对分类风化、类型有显著影响的成分。问题间的逻辑关联不能把四个问题当成四个独立实验来做。例如做风化判别时是否应该区分“高钾”和“铅钡”玻璃分别建模因为两者的风化机理可能不同。这需要根据初步的探索性数据分析来决定体现了解题的灵活性。注意很多队伍一开始就陷入“套模型”的误区直接对原始数据用SVM、随机森林去分类忽略了数据本身的特性成分数据和问题的物理背景考古学导致结果解释性差。解题的第一步永远是“读懂数据”和“理解问题”。3. 数据预处理与探索性分析详解这是所有建模工作的基石耗时可能占整个项目的40%但绝对值得。3.1 数据清洗与特征工程给出的数据通常是一个Excel或CSV文件包含“文物编号”、“纹饰”、“颜色”、“风化情况”、“类型”以及十余种化学成分的百分比。处理缺失值与异常值对于化学成分的缺失首先区分是“未检测到”可能是真零值还是“数据缺失”。通常可以结合考古知识若某成分在同类玻璃中普遍存在缺失值可用同类样本的中位数填充若该成分本身含量极低或波动大可考虑用0或一个极小值如0.001填充但后续进行对数变换时需注意log(0)无定义。异常值检测使用箱线图或3σ原则检查每个化学成分。对于明显偏离群体且无法解释的极端值需要谨慎对待可能需要暂时剔除以观察其对模型的影响。处理“成分数据”特性由于各成分百分比之和不为100%且变量间存在依赖关系一个成分增加其他成分的相对比例就会变化直接使用原始百分比进行欧氏距离计算或回归分析是有问题的。核心技巧中心化对数比变换。这是处理成分数据的标准方法之一。假设有D种成分对每个样本计算其所有成分的几何平均值然后用每个成分除以这个几何平均值再取对数。公式为CLR(x_i) ln(x_i / g(x))其中g(x)是成分向量的几何平均。经过CLR变换后的数据消除了“恒定和”约束可以安全地用于大多数多元统计方法。在Python中可以使用sklearn的FunctionTransformer或scipy轻松实现。备选方案将数据归一化至100%。即对每个样本将其所有化学成分百分比相加得到总和S然后将每个成分除以S使其总和为100%。这种方法更直观但不如CLR变换在数学上严谨。3.2 可视化探索发现故事的起点可视化不是为了好看而是为了提出假设。风化 vs. 未风化的成分对比为每种化学成分绘制分组箱线图或小提琴图直观对比风化与未风化样本的分布差异。例如可能会发现风化样本的K2O氧化钾含量显著降低而SiO2二氧化硅相对含量升高这符合风化过程中碱金属离子淋失、硅氧网络相对富集的科学常识。高钾玻璃 vs. 铅钡玻璃的化学成分雷达图将两类玻璃的主要成分均值绘制在雷达图上可以清晰看到铅钡玻璃以PbO和BaO为特征而高钾玻璃以K2O含量高为特征。这验证了分类的合理性也为后续聚类提供了参考轮廓。主成分分析散点图对CLR变换后的数据进行PCA观察前两个主成分的得分图。用不同颜色和形状标记“风化情况”和“类型”观察样本在降维空间中的自然聚集情况。理想情况下我们希望能看到“高钾”和“铅钡”样本能大致分开而“风化”样本可能分布在特定区域。这个图是连接描述性统计与建模的桥梁。4. 核心问题一风化情况的判别这是一个有监督的分类问题。标签是“风化”和“未风化”。4.1 特征选择与模型构建特征工程直接使用所有化学成分作为特征并非最佳。可以先进行方差分析检验每种成分在风化与未风化两组间的均值是否存在显著差异p值0.05或0.01。筛选出显著相关的成分作为初级特征集。处理类别不平衡数据中未风化的样本可能远多于风化样本。直接训练模型会使模型偏向多数类。可以采用SMOTE过采样或随机欠采样来平衡数据集或者在模型中使用class_weightbalanced参数。模型选择与训练逻辑回归解释性强可以给出特征系数判断哪种成分对风化有正/负影响。配合L1正则化(LASSO)还可以自动进行特征选择。支持向量机适用于小样本特别是当特征经过PCA降维后线性可分时。随机森林效果通常不错能给出特征重要性排序且对异常值不敏感。其生成的特征重要性列表可以与ANOVA的结果相互印证。一个高级思路考虑到“高钾”和“铅钡”玻璃的风化机理可能不同可以尝试分组建模。即先根据“类型”将数据分为两组分别在两组内部建立风化判别模型。对比分组模型与全局模型的性能可以深入揭示风化机制的差异。4.2 实操步骤与代码要点# 示例基于随机森林的风化判别Python sklearn import pandas as pd from sklearn.model_selection import train_test_split, cross_val_score from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import classification_report, confusion_matrix from sklearn.preprocessing import StandardScaler from imblearn.over_sampling import SMOTE # 需要安装imbalanced-learn # 1. 加载并预处理数据假设df是经过CLR变换和特征筛选后的DataFrame X df.drop([文物编号, 风化情况], axis1) # 特征 y df[风化情况].map({风化:1, 未风化:0}) # 标签编码 # 2. 处理样本不平衡 smote SMOTE(random_state42) X_resampled, y_resampled smote.fit_resample(X, y) # 3. 划分训练集和测试集 X_train, X_test, y_train, y_test train_test_split(X_resampled, y_resampled, test_size0.2, random_state42) # 4. 标准化对某些模型有益 scaler StandardScaler() X_train_scaled scaler.fit_transform(X_train) X_test_scaled scaler.transform(X_test) # 5. 训练随机森林模型 rf_model RandomForestClassifier(n_estimators100, random_state42, class_weightbalanced) rf_model.fit(X_train_scaled, y_train) # 6. 评估模型 y_pred rf_model.predict(X_test_scaled) print(confusion_matrix(y_test, y_pred)) print(classification_report(y_test, y_pred)) # 7. 输出特征重要性 feature_importance pd.DataFrame({ feature: X.columns, importance: rf_model.feature_importances_ }).sort_values(importance, ascendingFalse) print(feature_importance)实操心得不要只追求测试集准确率。对于数模竞赛模型的可解释性和物理意义的合理性同样重要。如果随机森林告诉你P2O5是预测风化的最重要特征但考古学上并无此说法你就需要回头检查数据或特征工程过程。此外一定要做交叉验证避免因小样本量导致的偶然性结果。5. 核心问题二玻璃文物的亚类划分这是一个无监督的聚类问题目标是探索数据内部是否存在未知的、有意义的子类。5.1 聚类方法的选择与评估聚类前的准备使用经过CLR变换和标准化后的数据。可以先用PCA降维至2-3维以便可视化但聚类操作可以在更高维空间进行。聚类算法选择K-Means最常用但需要指定K值簇数且对异常值敏感。层次聚类不需要预先指定K值可以通过树状图直观地观察样本间的层次关系帮助判断合理的簇数。DBSCAN能发现任意形状的簇并能识别噪声点适用于数据分布不规则的情况。确定最佳簇数肘部法则绘制不同K值下K-Means模型的误差平方和(SSE)曲线选择拐点肘部对应的K。轮廓系数计算每个样本的轮廓系数范围在-1到1之间值越大表示聚类效果越好。计算不同K值下的平均轮廓系数取最大值对应的K。结合先验知识题目中已知有“高钾”和“铅钡”两大类。聚类时可以将K设为2看结果是否与已知分类大体吻合以此验证聚类方法的有效性。也可以尝试K3或4看是否能发现已知大类下的有意义子类例如高钾玻璃中是否还能分出两个亚型。5.2 结果分析与解释聚类完成后关键是将冷冰冰的簇标签转化为有意义的结论。轮廓分析计算最终聚类模型的整体轮廓系数评估聚类质量。特征对比计算每个簇在各个化学成分上的均值或中位数生成一个“簇剖面图”。比较不同簇之间的成分差异。例如你可能发现Cluster 0: 高K2O 低PbO/BaO - 对应“高钾玻璃”。Cluster 1: 高PbO/BaO 低K2O - 对应“铅钡玻璃”。Cluster 2: 中等K2O 含有特殊微量元素 - 可能是一个新的亚类或者对应某种特定的工艺或产地。与已知标签交叉制表将聚类结果与已知的“类型”、“风化情况”制作交叉表观察关联性。这直接为下一个问题“关联分析”提供了素材。# 示例使用K-Means和轮廓系数确定最佳簇数 from sklearn.cluster import KMeans from sklearn.metrics import silhouette_score import matplotlib.pyplot as plt # X_scaled 是预处理后的特征数据 silhouette_scores [] k_range range(2, 8) # 探索2到7个簇 for k in k_range: kmeans KMeans(n_clustersk, random_state42) cluster_labels kmeans.fit_predict(X_scaled) silhouette_avg silhouette_score(X_scaled, cluster_labels) silhouette_scores.append(silhouette_avg) print(fFor n_clusters {k}, the average silhouette_score is : {silhouette_avg:.3f}) # 绘制轮廓系数曲线 plt.plot(k_range, silhouette_scores, bo-) plt.xlabel(Number of clusters (K)) plt.ylabel(Average Silhouette Score) plt.title(Silhouette Score for K-Means Clustering) plt.grid(True) plt.show() # 选择最佳K值进行最终聚类并分析 best_k k_range[silhouette_scores.index(max(silhouette_scores))] final_kmeans KMeans(n_clustersbest_k, random_state42) df[Cluster] final_kmeans.fit_predict(X_scaled) # 分析每个簇的特征 cluster_profile df.groupby(Cluster)[chemical_columns].median() print(cluster_profile)6. 核心问题三与四化学成分、类型、风化的关联分析这是将前面所有发现进行整合和深化用统计语言讲述一个完整故事的部分。6.1 关联分析的多角度切入化学成分与类型的关联这几乎是明摆着的但需要用统计验证。可以对每种化学成分做独立样本t检验或Mann-Whitney U检验比较其在“高钾”和“铅钡”两组间是否有显著差异。结果会以一张包含p值的表格呈现科学地证实视觉观察到的差异。化学成分与风化的关联在问题一中我们已经通过建模如逻辑回归系数、随机森林重要性得到了部分答案。这里可以进一步细化分组相关性分析分别计算“高钾”和“铅钡”玻璃内部各化学成分与风化状态0/1的点二列相关系数。对比两组的相关性模式可能发现在铅钡玻璃中PbO含量与风化强相关而在高钾玻璃中K2O含量与风化强相关。这揭示了不同的风化机制。控制类型变量可以将“类型”作为控制变量进行偏相关分析探究在排除类型影响后哪些成分与风化本身关联更强。类型、风化、亚类三者的关联这是一个多维列联表分析。可以绘制堆叠柱状图或热图来展示三者的关系。例如用聚类得到的亚类作为行用“类型×风化”的组合如“高钾-风化”、“高钾-未风化”等作为列填充每个单元格的样本数。从热图中可以直观看出某个特定的亚类是否完全由某一特定类型和风化状态的样本构成这能有力地支持你的分类和关联结论。6.2 统计检验与可视化呈现# 示例化学成分在两类玻璃间的差异检验t检验 from scipy import stats high_potassium df[df[类型] 高钾][[SiO2, Na2O, K2O]] lead_barium df[df[类型] 铅钡][[SiO2, Na2O, K2O]] results [] for col in [SiO2, Na2O, K2O]: stat, p_value stats.ttest_ind(high_potassium[col].dropna(), lead_barium[col].dropna(), equal_varFalse) # Welchs t-test方差不齐时更稳健 results.append({成分: col, t统计量: stat, p值: p_value}) result_df pd.DataFrame(results) print(result_df) # p值远小于0.01则表明该成分在两类玻璃间有极显著差异。注意事项进行大量统计检验时要注意“多重比较谬误”。简单来说检验次数越多偶然出现显著结果p0.05的概率就越大。一个保守的校正方法是使用邦弗朗尼校正将显著性水平α除以检验次数m即使用 α/m 作为新的阈值。在论文中说明你意识到了这一点并进行了相应处理是严谨性的体现。7. 模型优化、论文写作与常见陷阱7.1 如何提升模型性能与说服力集成思路对于风化判别可以尝试将逻辑回归、SVM、随机森林的结果进行投票集成往往能获得比单一模型更稳定、更优的性能。引入衍生特征除了原始化学成分可以考虑计算一些比率特征如K2O/(Na2OK2O)钾钠比、PbO/BaO等。这些比率在考古学中常有特定指示意义可能成为更强的预测因子。模型的可解释性工具使用SHAP或LIME等工具来解释复杂模型如随机森林的预测。它们能展示对于单个样本每个特征是如何影响最终预测结果的让你的分析从“整体”深入到“个案”极大地增强论文的说服力。7.2 论文写作的核心要点数学建模竞赛“模”是基础“建”出论文才是关键。摘要用精炼的语言概括你的整体思路、所用方法、关键步骤和主要结论。务必包含“针对成分数据特性采用了中心化对数比变换”、“通过方差分析和随机森林进行特征筛选”、“结合轮廓系数与先验知识确定最佳聚类数”、“发现高钾与铅钡玻璃的风化主要分别与K2O和PbO的流失相关”等具体亮点。模型假设与符号说明清晰列出体现严谨性。流程图绘制一张清晰的解题技术路线图让评委一眼看懂你的逻辑。图表结合一图胜千言。箱线图、散点图、热图、聚类剖面图、特征重要性图等要丰富且精致每个图都应有明确的结论性标题。模型检验与灵敏度分析讨论模型的稳定性。例如改变聚类算法从K-Means换成层次聚类结果是否一致改变风化判别模型中训练集的比例准确率波动大吗这展示了你对模型鲁棒性的思考。7.3 常见问题与避坑指南坑忽视数据预处理直接套模型。后果是模型结果难以解释甚至得出违背常识的结论。避坑务必花费足够时间进行数据探索、缺失值处理特别是理解和应用成分数据的处理方法CLR变换。坑追求复杂模型忽视基础分析。一上来就用深度学习但数据量根本不够。避坑小样本问题下简单的模型逻辑回归、线性判别配合良好的特征工程往往比复杂的黑箱模型更可靠、解释性更强。坑四个问题割裂解答。避坑时刻牢记问题间的关联。例如将聚类结果作为新特征加入风化判别模型用关联分析的结果去解释聚类得到的亚类。坑论文罗列代码和结果没有分析。避坑论文的核心是“分析”。每一个图表下面都要有一段文字解释这个图显示了什么现象说明了什么问题支持了什么结论与你的模型假设或考古学背景如何呼应坑结论空洞。避坑结论部分要具体回顾你最重要的发现。例如“本研究通过CLR变换有效处理了成分数据建立了基于随机森林的风化高精度判别模型准确率达XX%。聚类分析在两大类下进一步识别出X个有意义的亚类其中亚类A以高Y成分为特征可能与Z产地相关。关联分析证实风化过程在两类玻璃中表现为不同的主导元素流失模式。”这样的结论才有分量。复盘2022年C题其精髓在于将一个开放的、多领域的实际问题转化为一个结构化的数据分析项目。它考察的不仅仅是几个数学模型更是问题拆解、数据敏感、统计思维和故事讲述的综合能力。掌握这套从数据清洗到关联分析的全流程方法论不仅能应对数学建模竞赛对于你今后从事任何数据分析相关的工作都是一笔宝贵的财富。真正吃透这道题下次再遇到“基于数据的分类、预测与探索”问题你就能从容地搭建起分析框架知道每一步该做什么、为什么做、以及如何解释结果。