简介《一种具备良好泛化能力的神经网络MOSFET模型》是一篇面向半导体器件建模与电路设计领域的学术论文PDF适合集成电路设计、器件物理及机器学习应用方向的研究者和工程师阅读。资源共1个PDF文件大小约1.02MB内容完整收录了论文正文、图表与参考文献。论文针对传统集约模型难以兼顾精度与效率的问题提出采用神经网络对MOSFET超阈值区域和亚阈值区域分段建模并引入自适应遗传算法优化网络泛化能力使模型对训练样本边界外的数据仍保持较高计算精度同时准确描述直流与温度特性。该模型以Verilog-A平台整合后可直接用于SPICE电路设计与分析对理解神经网络在器件建模中的落地路径具有较高参考价值。已有140人浏览学习适合需要了解器件智能建模方法或开展相关仿真研究的专业人员。1. 神经网络MOSFET模型从参数提取到泛化能力优化的一次完整实践用BSIM3v3做MOSFET电路仿真是常态但当你拿到一颗新工艺器件、没有现成集约模型时参数提取的繁琐会让人崩溃。神经网络MOSFET模型是第三条路但它有个致命伤对训练样本集边界外的数据预测经常崩。这篇2014年发表于《固体电子学研究与进展》的论文要解决的就是这个泛化问题。作者用分段建模的思路把超阈值区和亚阈值区拆成两个子网络再引入自适应遗传算法把BP网络的初始权值和阈值进化一遍最终在训练集里最小尺寸L0.2μm、W0.4μm之外直接外推到L0.18μm、W0.3μm依然保持精度并落到Verilog-A平台上供SPICE直接调用。适合做器件建模、半导体工艺仿真以及机器学习与EDA交叉方向的从业者和研究生。2. 数据提取与预处理22576 组训练样本是怎么来的2.1 数据来源用 HSPICE 调 BSIM3v3 生成而不是流片实测论文建模对象是TSMC 0.18μm CMOS工艺下的典型NMOS器件。训练数据不是来自实测而是用HSPICE调用BSIM3v3模型提取的。这个选择很实际在拿不到流片测试数据、或者想快速评估神经网络建模这条路能不能走通时用已验证的BSIM3v3生成数据是最稳定的起点。实测数据里包含噪声、晶圆内不均和测量误差会让网络训练时把噪声也学进去仿真数据干净方便你专心验证模型结构和算法本身。等这套流程跑通了再换实测数据做迁移就行。数据规模是22576组。这个量级对6输入单输出的BP网络来说是够用的但不算多。论文特意在每个子网络内将提取的数据随机排列这一步看着不起眼实际很关键——如果数据按Vgs从小到大整齐排序你切训练集和验证集时只要切的位置不对就相当于让网络只见过半边数据泛化测试必然翻车。2.2 输入输出变量6 个输入 1 个输出模型的输入变量是栅源电压Vgs、漏源电压Vds、衬源偏压Vbs、沟道宽度W、沟道长度L和工作温度T输出变量是漏源电流Ids。这里有两个点值得注意。第一把Vbs放进输入意味着模型要同时学会衬偏效应。这不是简单地把BSIM的参数拟合出来而是让网络自己去学习Vbs对Ids的调制关系。第二温度T作为输入变量是这篇论文相对早期神经网络器件建模工作的一个增量点。之前卡尔顿大学QiJun Zhang团队、Mohsen Hayati等人的工作都没有把温度特性纳入网络输入导致模型只能在单一温度下使用。一旦T进输入网络结构就是6维输入到1维输出中间层是黑匣子——你得接受这个黑匣子同时也要靠训练策略控制它不乱来。2.3 归一化到 [-1, 1]为什么不是 [0, 1]数据预处理环节论文对全部22576组数据做了归一化公式是z 2 * (z - z_min) / (z_max - z_min) - 1把所有输入输出变量都映射到[-1, 1]区间。常见误用是归一化到[0, 1]但这里用了[-1, 1]是有讲究的——后面网络的隐含层传递函数用的是TANSIG也就是双曲正切tanh它的输出范围正好是[-1, 1]。输入归一化到[-1, 1]可以让数据分布落在激活函数的线性响应区间附近梯度更稳定。输出归一化到[-1, 1]同样是为了匹配输出层之前的梯度回传。代码实现import numpy as np def normalize(z, z_min, z_max): 将原始数据映射到 [-1, 1] z: 标量或 ndarray return 2.0 * (z - z_min) / (z_max - z_min) - 1.0 # 假设 Vgs 的物理扫描范围是 0 ~ 1.8V vgs_raw np.array([0.0, 0.4, 0.8, 1.2, 1.8]) vgs_norm normalize(vgs_raw, 0.0, 1.8) print(vgs_norm) # [-1. -0.5556 -0.1111 0.3333 1. ]z_min和z_max必须是每个变量在全部22576组数据上的全局最小值和最大值而不是在训练子集上单独统计。这一点踩坑率极高如果按训练集算归一化参数、再把验证集用同一套参数归一化只要训练集没覆盖到某个变量的边界验证集数据就会超出[-1, 1]区间网络输出直接失真。反归一化对应的是输出端Ids网络输出的是[-1, 1]的归一化电流要用于电路仿真时得先算回实际电流值def denormalize(z_norm, z_min, z_max): 从 [-1, 1] 还原到物理值 return (z_norm 1.0) * (z_max - z_min) / 2.0 z_min提示归一化参数要在全数据集上统计并且保存下来。后面把网络翻译成Verilog-A时这些z_min、z_max值要写进模型文件里做输入归一化和输出反归一化。2.4 分段建模把超阈值和亚阈值区拆成两个子网络数据准备完之后面临一个选择一个6输入到1输出的网络直接拟合全部22576组数据还是拆开训练论文选的是后者。原因是超阈值区Ids与Vgs之间近似平方律关系而亚阈值区Ids与Vgs呈指数关系两种函数形态差异太大单一BP网络同时拟合两种规律时梯度更新的方向会互相拉扯最后的结果通常是两边都不够准。论文把全部数据按栅源电压Vgs与阈值电压的关系分成两份超阈值区9896组数据亚阈值区12680组数据两个区域分别训练独立的网络。拆开之后每个网络只学一种函数形态内部规律更一致网络的参数规模也不需要盲目加大。这个思路放到今天依然适用——不要指望一个万能网络解决所有工作区器件建模这种场景里先分域再建模往往比堆网络深度更有效。3. BP 网络分段建模6-17-7-1 与 6-19-9-1 的结构与训练参数3.1 超阈值网络四层结构、TANSIG 与 PURELIN 的搭配超阈值子网络的拓扑是四层一个输入层、两个隐含层、一个输出层。输入维度是6输出是1最终结构为6-17-7-1。第一隐含层17个神经元第二隐含层7个神经元。两个隐含层的传递函数用TANSIG双曲正切输出层用PURELIN纯线性。这里的设计逻辑是隐含层用非线性激活函数去逼近超阈值区的平方律/线性特性输出层必须用线性函数因为输出是连续电流值如果输出层也用tanh输出会被压缩在[-1, 1]区间内而Ids的动态范围跨了好几个数量级线性输出层才能正常表达。用Python训练时对应配置如下from sklearn.neural_network import MLPRegressor from sklearn.model_selection import train_test_split # X: 6维输入已归一化到[-1,1] # y: 归一化后的 Ids X_supra, X_test, y_supra, y_test train_test_split( X, y, test_size0.35, random_state42 ) mlp MLPRegressor( hidden_layer_sizes(17, 7), activationtanh, # 对应 TANSIG solverlbfgs, # 拟牛顿法收敛行为接近 LM max_iter1000, tol1e-8, validation_fraction0.1, # 对应论文 10% 验证样本 early_stoppingTrue, n_iter_no_change12, # 连续 12 次验证误差不降停止 random_state42 ) mlp.fit(X_supra, y_supra)sklearn里没有直接的Levenberg-Marquardt实现用lbfgs替代是因为两者同属二阶优化思路在中小规模网络上收敛速度和精度都接近。论文原版用MATLAB的LM算法你复现时不必纠结具体求解器关注收敛曲线是否平坦。hidden_layer_sizes(17, 7)直接对应论文中的17和7这两个数不是胡乱定的而是扫描出来的——先固定单隐含层从少到多扫神经元数再加第二层微调。6输入单输出这个规模17个第一层神经元是合理量级太少欠拟合、太多过拟合且训练时间暴涨。3.2 亚阈值网络结构差异与精度瓶颈亚阈值子网络结构定为6-19-9-1。相比超阈值网络两个隐含层分别多了2个神经元。原因是亚阈值区的数据分布更复杂——电流在指数区变化剧烈同样的网络容量学不动需要更多参数去描述指数斜率的变化。12680组数据里取4300组做测试其余作为训练样本但测试时只用3190组非零数据进行评估。这个细节说明原始数据中包含大量电流接近零的样本那些样本会拉低整体误差指标论文选择剔掉再评测。这一路复现时你会发现亚阈值模型天然比超阈值难训。原因在于梯度尺度不平衡亚阈值区电流量级是nA到μA超阈值区是μA到mA。如果直接归一化到[-1,1]亚阈值区的小电流在归一化后分辨力不够。论文给出的测试结果是优化前errorsum1.5716e-006mse4.1754e-019精度比超阈值网络差不少也是这个原因造成的。3.3 训练配置LM 算法、验证检查值 12、训练目标 0论文训练算法选用Levenberg-Marquardt综合衡量收敛速度和准确度。LM在中小规模网络上收敛快代价是内存占用随网络规模增长——6-17-7-1这个规模完全在LM的舒适区内如果用更大的网络LM会慢到无法接受。防止过拟合的关键是三个参数的配合。论文设定了验证检查值为12如果验证样本的误差曲线连续12次迭代不再下降训练就提前终止。这个机制和early stopping本质相同。网络的训练目标设为0意思是目标误差直接拉到0而不是常见的0.001或0.01靠验证集来判断何时停。配合lm训练算法模型最终的mse能达到e-012量级。训练目标和验证检查值的组合比单纯调低目标更能压制过拟合因为验证集误差一旦拐头训练立刻停止不会给网络继续拟合训练集噪声的机会。超阈值测试结果给出两组指标errorsum0.0043mse3.0649e-01290%以上的测试数据误差小于5%。这个误差是相对误差对电路设计的电流预测来说90%样本在5%以内已经是可以接受的建模精度。4. 自适应遗传算法优化把 BP 的初始权重和阈值进化一遍4.1 为什么 BP 自己训不动泛化能力BP网络靠梯度下降更新权重这个机制有两个先天缺陷一是容易陷入局部极小值二是全局搜索能力弱。直观来说BP是从一个随机初始点出发沿着梯度方向一步一步往下走走到哪个凹坑就停在哪个凹坑。如果初始权重选得不好最后收敛到的凹坑可能是局部最优对训练集内数据拟合尚可但对训练集边界外的数据预测能力很差。论文里亚阈值网络优化前精度不足根源就在这。解决思路是引入遗传算法做全局搜索。把网络的权值和阈值看作一个个体一组完整的权值阈值就是种群里的一个个体。遗传算法通过选择、交叉、变异不断迭代找到全局范围内适应度最高的那组初始权重再交还给BP网络做精细训练。这样做的本质是给BP找一个好的起点而不是替代BP的局部搜索能力。遗传算法负责粗搜BP负责细调两者互补。4.2 Nguyen-Widrow 初始化与实数编码遗传算法有一个效率问题如果种群随机初始化个体分散在搜索空间里收敛到最优解需要很多代。论文采用Nguyen-Widrow方法初始化权值和阈值这个方法通过按神经元数量缩放初始权重让每个隐含层神经元的激活值落在非线性区域的合理位置使网络训练初期就能快速降低误差。相比纯随机初始化Nguyen-Widrow让遗传算法的起点普遍更好搜索速度肉眼可见地加快。编码方式上论文选择实数编码而不是二进制编码。二进制编码把权重转成01串精度受编码长度限制还会在交叉变异时引入额外误差。实数编码直接操作浮点数精度无损适合这里权重范围连续的情况。泛化能力对初始权值敏感任何编码精度损失都可能传导到最终模型上。4.3 适应度函数误差绝对值和的倒数遗传算法的核心是适应度函数它决定每个个体能不能活下来、繁衍多少后代。论文的适应度函数定义如下f 1 / (Σ|Yi - Oi|)其中Yi是期望输出Oi是预测输出N是样本总数。对所有样本的误差绝对值求和再取倒数作为适应度值。误差和越小、适应度越高个体被选中的概率越大。这里有个关键点适应度函数计算计入的是所有样本的误差包括训练集、验证集和测试集。这样做的目的是防止模型只在训练集上优秀、在其他数据上崩掉。如果适应度只按训练集误差计算遗传算法会选出过拟合的个体。把所有样本的误差都纳入计算适应度高的个体天然具备更好的泛化基础。4.4 自适应交叉与变异概率公式与直觉交叉概率Pc和变异概率Pm随个体适应度值自适应调整这是论文里自适应遗传算法的核心。公式如下Pc 计算当 f f_avg 时Pc K1 * (f_max - f) / (f_max - f_avg)当 f f_avg 时Pc K2Pm 计算当 f f_avg 时Pm K3 * (f_max - f) / (f_max - f_avg)当 f f_avg 时Pm K4其中f是交叉两个体中适应度值较大的那个f是变异个体的适应度值f_max和f_avg分别是种群的最大适应度和平均适应度。公式的直觉是适应度高的个体给它较小的交叉和变异概率让优秀基因尽量保留适应度低的个体加大交叉和变异概率加速劣质个体被淘汰。当f_max - f_avg变小时说明种群趋于收敛所有个体的Pc和Pm都会增大通过引入新个体来跳出可能存在的局部最优。代码实现如下def adaptive_params(fit, fit_avg, fit_max, k11.0, k20.5, k31.0, k40.5): 自适应交叉/变异概率 fit: 当前个体适应度变异时或交叉两体中较大的适应度交叉时 if fit_max - fit_avg 1e-10: # 种群已完全收敛加大概率产生新个体 return k2, k4 if fit fit_avg: pc k1 * (fit_max - fit) / (fit_max - fit_avg) pm k3 * (fit_max - fit) / (fit_max - fit_avg) else: pc k2 pm k4 return pc, pm注意分母要加保护当种群所有个体适应度相同、f_max等于f_avg时直接返回预设概率否则除零。K1到K4是小于1的常数论文没给具体取值常见做法是K1K31.0、K2K40.5起步再根据收敛曲线调整。K2/K4如果偏大低适应度个体被拆得太碎种群容易发散偏小则淘汰速度不够收敛变慢。这个参数对结果的影响比想象中大值得扫几组对比。4.5 优化前后对比数据说明问题优化后效果显著两组数据放一起看指标超阈值优化前超阈值优化后亚阈值优化前亚阈值优化后errorsum0.00430.00261.5716e-0064.5221e-008mse3.0649e-0121.3992e-0124.1754e-0194.6261e-022误差 5% 占比大于90%96%以上——误差 10% 占比———99.97%超阈值网络优化后errorsum从0.0043降到0.0026mse从e-012量级降到更低的e-012量级96%以上测试数据误差小于5%仅有4组数据相对误差超过20%分析发现这4组数据的输出电流量级在10的负多次方量级绝对值误差很小不影响使用。亚阈值网络提升更明显errorsum从1.5716e-006降到4.5221e-00899.97%数据相对误差在10%以下。5. 避坑与常见问题神经网络模型上电后预测不准的五个排查方向5.1 训练集内表现很好、边界外崩掉泛化优化的锅现象训练集和测试集上的精度都能到5%以内但换个没见过的尺寸或温度预测值偏离目标值20%以上。原因BP网络本身没有外推能力它只是在训练样本分布范围内做插值。如果训练数据的W、L范围只覆盖到一定尺寸网络对边界外的响应就是随意的。解决这是论文的核心动机。用遗传算法把初始权值和阈值优化一遍适应度函数计入所有样本误差让网络在训练之前就站在一个更有利于泛化的起点上。如果GA后仍不够第二个手段是在训练集里刻意加入边界外数据哪怕数量少也能帮网络建立外推趋势。5.2 亚阈值网络误差降不下去先查数据分布再怪网络现象亚阈值区模型mse一直在e-019量级下不来相对误差分布很散。原因亚阈值区电流量级小原始数据里包含大量Ids接近0的样本。这些样本实际是仿真器在Vgs远低于阈值时给出的数值接近0的电流量级在10的负十几次方把它们和正常工作区的电流样本混在一起训练梯度被小电流样本主导大电流区反而学不好。解决参考论文做法评测时只用非零数据。训练时可以把零值样本直接剔除或者对输出取对数后再归一化把亚阈值区的指数特性拉成近似线性网络会好训很多。5.3 归一化区间选错输出层激活函数不匹配现象网络输出永远到不了目标值训练损失卡在一个固定值附近。原因如果输出归一化到[0,1]区间而输出层激活函数输出范围是[-1,1]或者相反网络的输出空间和目标空间不重合误差永远收敛不到0。论文归一化到[-1,1]正是为了匹配TANSIG的激活范围。解决先确认输出层的激活函数再决定归一化区间。输出层用PURELIN时归一化到任意区间都行输出层用tanh时目标值必须落在[-1,1]内。更保险的做法是输出层永远用线性激活归一化区间选[-1,1]这样梯度不会在输出层被压缩。5.4 权值搬到 Verilog-A 时精度丢失模型直接翻车现象Python里mse在e-012量级翻译成Verilog-A后在SPICE里仿真电流误差变成1%甚至5%。原因权值从训练环境导出时如果直接print到文本文件默认格式只保留6位有效数字。权重矩阵里有大量数值在0.001~0.1之间的系数6位精度一舍入误差就被放大几个数量级。解决导出时强制用高精度格式Python里用np.savetxt配合fmt%.12gMATLAB里用fprintf配合%.12g。翻译成Verilog-A后做一个权重回读脚本把模型里的常数重新加载进Python对比一遍确认每个权重的相对误差小于1e-10再进SPICE。这个坑我踩过不止一次后来形成了固定检查流程。5.5 温度特性曲线抖动验证样本划分没做随机排列现象25℃、30℃、70℃下模型误差分布不均匀某个温度段误差明显偏大。原因数据提取时温度是循环扫描的数据在文件里的排列顺序天然按温度分组。如果不做随机打乱就切训练/验证集验证集可能只覆盖部分温度区间网络训练时对没见过的温度段没有约束。解决论文在每个子网络内都做了随机排列这一步不能省。划分前用固定随机种子shuffle保证训练/验证/测试三份数据在温度、Vgs、Vds各维度上分布均匀。复现时建议把shuffle的随机种子固定下来方便结果复现和后续调参。6. Verilog-A 实现与 SPICE 集成从训练好的网络到可仿真的器件模型6.1 把权值、阈值和传递函数翻译成 Verilog-A模型最终要能被SPICE调用论文选择了Verilog-A平台。做法是把优化后的网络各层权值、阈值和传递函数用Verilog-A语言表达并把超阈值和亚阈值两个子网络整合成一个完整的器件模型。翻译过程本质上是把神经网络的前向计算展开成Verilog-A的analog块里的数学运算。结构如下include constants.vams include disciplines.vams module nmos_nn(d, g, s, b); inout d, g, s, b; electrical d, g, s, b; // 输入归一化参数从训练环境导出 real vgs, vds, vbs, w, l, temp; real h1_0, h1_1; // 第一隐含层神经元输出 real ids_norm; analog begin // 1. 输入归一化 vgs 2.0 * (V(g, s) - VGS_MIN) / (VGS_MAX - VGS_MIN) - 1.0; // vds、vbs、w、l、temp 同理 // 2. 第一隐含层tanh(w * x b)17 个神经元展开 h1_0 tanh(0.123456789 * vgs - 0.034567890 * vds /* ... */ 0.001234567); // h1_1 ~ h1_16 展开省略 // 3. 第二隐含层和输出层展开得到归一化电流 ids_norm // 4. 输出反归一化 I(d, s) ids_norm * (IDS_MAX - IDS_MIN) / 2.0 (IDS_MAX IDS_MIN) / 2.0; end endmoduleVerilog-A里写神经网络最烦的是展开17个神经元的乘加运算手写容易错。我一般会在Python里写一个脚本直接读训练好的权重CSV自动生成Verilog-A源码把每个权重用%.12g格式写进文件避免手抄带来的精度丢失。阈值电压的判断逻辑也在这一步处理——根据Vgs与阈值电压的关系决定当前时刻走超阈值子网络还是亚阈值子网络两个子网络的输出在边界处做过渡衔接。论文没有展开边界衔接的细节但分段模型最常见的翻车点就在边界处电流跳变建议在边界附近多取几个样本点做平滑。6.2 共源极放大电路验证25℃ 与 70℃ 下的对比论文搭了一个典型NMOS共源极放大电路来验证Verilog-A模型的准确性把25℃和70℃下的输出特性与BSIM模型对比相对误差在1%左右。这一步验证的不只是神经网络对器件单点特性的拟合而是整个模型在电路级仿真里的行为。SPICE里跑瞬态仿真时模型会被反复调用每一时刻的Vgs、Vds都在变化神经网络模型必须保证在整个动态范围内输出连续且合理。电路级验证比单纯看测试集误差更能说明模型实用性。6.3 我的一个固定习惯先输出权值检查脚本再写模型每次训练完我会先跑一遍权重回读脚本把导出的权值文件重新加载回Python手动前向计算一遍网络输出跟训练时的预测值对比确认误差在1e-10量级然后再生成Verilog-A源码。生成完之后再把Verilog-A里的常数提取出来重新计算一遍前向输出做二次比对。两次对比都通过才进SPICE跑电路仿真。这套流程看着多花十分钟实际能省掉SPICE里定位模型问题的数小时。从那以后我每次把神经网络翻译成Verilog-A都强制走一遍这个流程希望帮到你。本文还有配套的精品资源点击获取 
长河君 · 2026/10/30 0:08:05 · 阅读 1.2k 神经网络MOSFET建模：自适应遗传算法优化BP泛化能力与Verilog-A实现
简介《一种具备良好泛化能力的神经网络MOSFET模型》是一篇面向半导体器件建模与电路设计领域的学术论文PDF适合集成电路设计、器件物理及机器学习应用方向的研究者和工程师阅读。资源共1个PDF文件大小约1.02MB内容完整收录了论文正文、图表与参考文献。论文针对传统集约模型难以兼顾精度与效率的问题提出采用神经网络对MOSFET超阈值区域和亚阈值区域分段建模并引入自适应遗传算法优化网络泛化能力使模型对训练样本边界外的数据仍保持较高计算精度同时准确描述直流与温度特性。该模型以Verilog-A平台整合后可直接用于SPICE电路设计与分析对理解神经网络在器件建模中的落地路径具有较高参考价值。已有140人浏览学习适合需要了解器件智能建模方法或开展相关仿真研究的专业人员。1. 神经网络MOSFET模型从参数提取到泛化能力优化的一次完整实践用BSIM3v3做MOSFET电路仿真是常态但当你拿到一颗新工艺器件、没有现成集约模型时参数提取的繁琐会让人崩溃。神经网络MOSFET模型是第三条路但它有个致命伤对训练样本集边界外的数据预测经常崩。这篇2014年发表于《固体电子学研究与进展》的论文要解决的就是这个泛化问题。作者用分段建模的思路把超阈值区和亚阈值区拆成两个子网络再引入自适应遗传算法把BP网络的初始权值和阈值进化一遍最终在训练集里最小尺寸L0.2μm、W0.4μm之外直接外推到L0.18μm、W0.3μm依然保持精度并落到Verilog-A平台上供SPICE直接调用。适合做器件建模、半导体工艺仿真以及机器学习与EDA交叉方向的从业者和研究生。2. 数据提取与预处理22576 组训练样本是怎么来的2.1 数据来源用 HSPICE 调 BSIM3v3 生成而不是流片实测论文建模对象是TSMC 0.18μm CMOS工艺下的典型NMOS器件。训练数据不是来自实测而是用HSPICE调用BSIM3v3模型提取的。这个选择很实际在拿不到流片测试数据、或者想快速评估神经网络建模这条路能不能走通时用已验证的BSIM3v3生成数据是最稳定的起点。实测数据里包含噪声、晶圆内不均和测量误差会让网络训练时把噪声也学进去仿真数据干净方便你专心验证模型结构和算法本身。等这套流程跑通了再换实测数据做迁移就行。数据规模是22576组。这个量级对6输入单输出的BP网络来说是够用的但不算多。论文特意在每个子网络内将提取的数据随机排列这一步看着不起眼实际很关键——如果数据按Vgs从小到大整齐排序你切训练集和验证集时只要切的位置不对就相当于让网络只见过半边数据泛化测试必然翻车。2.2 输入输出变量6 个输入 1 个输出模型的输入变量是栅源电压Vgs、漏源电压Vds、衬源偏压Vbs、沟道宽度W、沟道长度L和工作温度T输出变量是漏源电流Ids。这里有两个点值得注意。第一把Vbs放进输入意味着模型要同时学会衬偏效应。这不是简单地把BSIM的参数拟合出来而是让网络自己去学习Vbs对Ids的调制关系。第二温度T作为输入变量是这篇论文相对早期神经网络器件建模工作的一个增量点。之前卡尔顿大学QiJun Zhang团队、Mohsen Hayati等人的工作都没有把温度特性纳入网络输入导致模型只能在单一温度下使用。一旦T进输入网络结构就是6维输入到1维输出中间层是黑匣子——你得接受这个黑匣子同时也要靠训练策略控制它不乱来。2.3 归一化到 [-1, 1]为什么不是 [0, 1]数据预处理环节论文对全部22576组数据做了归一化公式是z 2 * (z - z_min) / (z_max - z_min) - 1把所有输入输出变量都映射到[-1, 1]区间。常见误用是归一化到[0, 1]但这里用了[-1, 1]是有讲究的——后面网络的隐含层传递函数用的是TANSIG也就是双曲正切tanh它的输出范围正好是[-1, 1]。输入归一化到[-1, 1]可以让数据分布落在激活函数的线性响应区间附近梯度更稳定。输出归一化到[-1, 1]同样是为了匹配输出层之前的梯度回传。代码实现import numpy as np def normalize(z, z_min, z_max): 将原始数据映射到 [-1, 1] z: 标量或 ndarray return 2.0 * (z - z_min) / (z_max - z_min) - 1.0 # 假设 Vgs 的物理扫描范围是 0 ~ 1.8V vgs_raw np.array([0.0, 0.4, 0.8, 1.2, 1.8]) vgs_norm normalize(vgs_raw, 0.0, 1.8) print(vgs_norm) # [-1. -0.5556 -0.1111 0.3333 1. ]z_min和z_max必须是每个变量在全部22576组数据上的全局最小值和最大值而不是在训练子集上单独统计。这一点踩坑率极高如果按训练集算归一化参数、再把验证集用同一套参数归一化只要训练集没覆盖到某个变量的边界验证集数据就会超出[-1, 1]区间网络输出直接失真。反归一化对应的是输出端Ids网络输出的是[-1, 1]的归一化电流要用于电路仿真时得先算回实际电流值def denormalize(z_norm, z_min, z_max): 从 [-1, 1] 还原到物理值 return (z_norm 1.0) * (z_max - z_min) / 2.0 z_min提示归一化参数要在全数据集上统计并且保存下来。后面把网络翻译成Verilog-A时这些z_min、z_max值要写进模型文件里做输入归一化和输出反归一化。2.4 分段建模把超阈值和亚阈值区拆成两个子网络数据准备完之后面临一个选择一个6输入到1输出的网络直接拟合全部22576组数据还是拆开训练论文选的是后者。原因是超阈值区Ids与Vgs之间近似平方律关系而亚阈值区Ids与Vgs呈指数关系两种函数形态差异太大单一BP网络同时拟合两种规律时梯度更新的方向会互相拉扯最后的结果通常是两边都不够准。论文把全部数据按栅源电压Vgs与阈值电压的关系分成两份超阈值区9896组数据亚阈值区12680组数据两个区域分别训练独立的网络。拆开之后每个网络只学一种函数形态内部规律更一致网络的参数规模也不需要盲目加大。这个思路放到今天依然适用——不要指望一个万能网络解决所有工作区器件建模这种场景里先分域再建模往往比堆网络深度更有效。3. BP 网络分段建模6-17-7-1 与 6-19-9-1 的结构与训练参数3.1 超阈值网络四层结构、TANSIG 与 PURELIN 的搭配超阈值子网络的拓扑是四层一个输入层、两个隐含层、一个输出层。输入维度是6输出是1最终结构为6-17-7-1。第一隐含层17个神经元第二隐含层7个神经元。两个隐含层的传递函数用TANSIG双曲正切输出层用PURELIN纯线性。这里的设计逻辑是隐含层用非线性激活函数去逼近超阈值区的平方律/线性特性输出层必须用线性函数因为输出是连续电流值如果输出层也用tanh输出会被压缩在[-1, 1]区间内而Ids的动态范围跨了好几个数量级线性输出层才能正常表达。用Python训练时对应配置如下from sklearn.neural_network import MLPRegressor from sklearn.model_selection import train_test_split # X: 6维输入已归一化到[-1,1] # y: 归一化后的 Ids X_supra, X_test, y_supra, y_test train_test_split( X, y, test_size0.35, random_state42 ) mlp MLPRegressor( hidden_layer_sizes(17, 7), activationtanh, # 对应 TANSIG solverlbfgs, # 拟牛顿法收敛行为接近 LM max_iter1000, tol1e-8, validation_fraction0.1, # 对应论文 10% 验证样本 early_stoppingTrue, n_iter_no_change12, # 连续 12 次验证误差不降停止 random_state42 ) mlp.fit(X_supra, y_supra)sklearn里没有直接的Levenberg-Marquardt实现用lbfgs替代是因为两者同属二阶优化思路在中小规模网络上收敛速度和精度都接近。论文原版用MATLAB的LM算法你复现时不必纠结具体求解器关注收敛曲线是否平坦。hidden_layer_sizes(17, 7)直接对应论文中的17和7这两个数不是胡乱定的而是扫描出来的——先固定单隐含层从少到多扫神经元数再加第二层微调。6输入单输出这个规模17个第一层神经元是合理量级太少欠拟合、太多过拟合且训练时间暴涨。3.2 亚阈值网络结构差异与精度瓶颈亚阈值子网络结构定为6-19-9-1。相比超阈值网络两个隐含层分别多了2个神经元。原因是亚阈值区的数据分布更复杂——电流在指数区变化剧烈同样的网络容量学不动需要更多参数去描述指数斜率的变化。12680组数据里取4300组做测试其余作为训练样本但测试时只用3190组非零数据进行评估。这个细节说明原始数据中包含大量电流接近零的样本那些样本会拉低整体误差指标论文选择剔掉再评测。这一路复现时你会发现亚阈值模型天然比超阈值难训。原因在于梯度尺度不平衡亚阈值区电流量级是nA到μA超阈值区是μA到mA。如果直接归一化到[-1,1]亚阈值区的小电流在归一化后分辨力不够。论文给出的测试结果是优化前errorsum1.5716e-006mse4.1754e-019精度比超阈值网络差不少也是这个原因造成的。3.3 训练配置LM 算法、验证检查值 12、训练目标 0论文训练算法选用Levenberg-Marquardt综合衡量收敛速度和准确度。LM在中小规模网络上收敛快代价是内存占用随网络规模增长——6-17-7-1这个规模完全在LM的舒适区内如果用更大的网络LM会慢到无法接受。防止过拟合的关键是三个参数的配合。论文设定了验证检查值为12如果验证样本的误差曲线连续12次迭代不再下降训练就提前终止。这个机制和early stopping本质相同。网络的训练目标设为0意思是目标误差直接拉到0而不是常见的0.001或0.01靠验证集来判断何时停。配合lm训练算法模型最终的mse能达到e-012量级。训练目标和验证检查值的组合比单纯调低目标更能压制过拟合因为验证集误差一旦拐头训练立刻停止不会给网络继续拟合训练集噪声的机会。超阈值测试结果给出两组指标errorsum0.0043mse3.0649e-01290%以上的测试数据误差小于5%。这个误差是相对误差对电路设计的电流预测来说90%样本在5%以内已经是可以接受的建模精度。4. 自适应遗传算法优化把 BP 的初始权重和阈值进化一遍4.1 为什么 BP 自己训不动泛化能力BP网络靠梯度下降更新权重这个机制有两个先天缺陷一是容易陷入局部极小值二是全局搜索能力弱。直观来说BP是从一个随机初始点出发沿着梯度方向一步一步往下走走到哪个凹坑就停在哪个凹坑。如果初始权重选得不好最后收敛到的凹坑可能是局部最优对训练集内数据拟合尚可但对训练集边界外的数据预测能力很差。论文里亚阈值网络优化前精度不足根源就在这。解决思路是引入遗传算法做全局搜索。把网络的权值和阈值看作一个个体一组完整的权值阈值就是种群里的一个个体。遗传算法通过选择、交叉、变异不断迭代找到全局范围内适应度最高的那组初始权重再交还给BP网络做精细训练。这样做的本质是给BP找一个好的起点而不是替代BP的局部搜索能力。遗传算法负责粗搜BP负责细调两者互补。4.2 Nguyen-Widrow 初始化与实数编码遗传算法有一个效率问题如果种群随机初始化个体分散在搜索空间里收敛到最优解需要很多代。论文采用Nguyen-Widrow方法初始化权值和阈值这个方法通过按神经元数量缩放初始权重让每个隐含层神经元的激活值落在非线性区域的合理位置使网络训练初期就能快速降低误差。相比纯随机初始化Nguyen-Widrow让遗传算法的起点普遍更好搜索速度肉眼可见地加快。编码方式上论文选择实数编码而不是二进制编码。二进制编码把权重转成01串精度受编码长度限制还会在交叉变异时引入额外误差。实数编码直接操作浮点数精度无损适合这里权重范围连续的情况。泛化能力对初始权值敏感任何编码精度损失都可能传导到最终模型上。4.3 适应度函数误差绝对值和的倒数遗传算法的核心是适应度函数它决定每个个体能不能活下来、繁衍多少后代。论文的适应度函数定义如下f 1 / (Σ|Yi - Oi|)其中Yi是期望输出Oi是预测输出N是样本总数。对所有样本的误差绝对值求和再取倒数作为适应度值。误差和越小、适应度越高个体被选中的概率越大。这里有个关键点适应度函数计算计入的是所有样本的误差包括训练集、验证集和测试集。这样做的目的是防止模型只在训练集上优秀、在其他数据上崩掉。如果适应度只按训练集误差计算遗传算法会选出过拟合的个体。把所有样本的误差都纳入计算适应度高的个体天然具备更好的泛化基础。4.4 自适应交叉与变异概率公式与直觉交叉概率Pc和变异概率Pm随个体适应度值自适应调整这是论文里自适应遗传算法的核心。公式如下Pc 计算当 f f_avg 时Pc K1 * (f_max - f) / (f_max - f_avg)当 f f_avg 时Pc K2Pm 计算当 f f_avg 时Pm K3 * (f_max - f) / (f_max - f_avg)当 f f_avg 时Pm K4其中f是交叉两个体中适应度值较大的那个f是变异个体的适应度值f_max和f_avg分别是种群的最大适应度和平均适应度。公式的直觉是适应度高的个体给它较小的交叉和变异概率让优秀基因尽量保留适应度低的个体加大交叉和变异概率加速劣质个体被淘汰。当f_max - f_avg变小时说明种群趋于收敛所有个体的Pc和Pm都会增大通过引入新个体来跳出可能存在的局部最优。代码实现如下def adaptive_params(fit, fit_avg, fit_max, k11.0, k20.5, k31.0, k40.5): 自适应交叉/变异概率 fit: 当前个体适应度变异时或交叉两体中较大的适应度交叉时 if fit_max - fit_avg 1e-10: # 种群已完全收敛加大概率产生新个体 return k2, k4 if fit fit_avg: pc k1 * (fit_max - fit) / (fit_max - fit_avg) pm k3 * (fit_max - fit) / (fit_max - fit_avg) else: pc k2 pm k4 return pc, pm注意分母要加保护当种群所有个体适应度相同、f_max等于f_avg时直接返回预设概率否则除零。K1到K4是小于1的常数论文没给具体取值常见做法是K1K31.0、K2K40.5起步再根据收敛曲线调整。K2/K4如果偏大低适应度个体被拆得太碎种群容易发散偏小则淘汰速度不够收敛变慢。这个参数对结果的影响比想象中大值得扫几组对比。4.5 优化前后对比数据说明问题优化后效果显著两组数据放一起看指标超阈值优化前超阈值优化后亚阈值优化前亚阈值优化后errorsum0.00430.00261.5716e-0064.5221e-008mse3.0649e-0121.3992e-0124.1754e-0194.6261e-022误差 5% 占比大于90%96%以上——误差 10% 占比———99.97%超阈值网络优化后errorsum从0.0043降到0.0026mse从e-012量级降到更低的e-012量级96%以上测试数据误差小于5%仅有4组数据相对误差超过20%分析发现这4组数据的输出电流量级在10的负多次方量级绝对值误差很小不影响使用。亚阈值网络提升更明显errorsum从1.5716e-006降到4.5221e-00899.97%数据相对误差在10%以下。5. 避坑与常见问题神经网络模型上电后预测不准的五个排查方向5.1 训练集内表现很好、边界外崩掉泛化优化的锅现象训练集和测试集上的精度都能到5%以内但换个没见过的尺寸或温度预测值偏离目标值20%以上。原因BP网络本身没有外推能力它只是在训练样本分布范围内做插值。如果训练数据的W、L范围只覆盖到一定尺寸网络对边界外的响应就是随意的。解决这是论文的核心动机。用遗传算法把初始权值和阈值优化一遍适应度函数计入所有样本误差让网络在训练之前就站在一个更有利于泛化的起点上。如果GA后仍不够第二个手段是在训练集里刻意加入边界外数据哪怕数量少也能帮网络建立外推趋势。5.2 亚阈值网络误差降不下去先查数据分布再怪网络现象亚阈值区模型mse一直在e-019量级下不来相对误差分布很散。原因亚阈值区电流量级小原始数据里包含大量Ids接近0的样本。这些样本实际是仿真器在Vgs远低于阈值时给出的数值接近0的电流量级在10的负十几次方把它们和正常工作区的电流样本混在一起训练梯度被小电流样本主导大电流区反而学不好。解决参考论文做法评测时只用非零数据。训练时可以把零值样本直接剔除或者对输出取对数后再归一化把亚阈值区的指数特性拉成近似线性网络会好训很多。5.3 归一化区间选错输出层激活函数不匹配现象网络输出永远到不了目标值训练损失卡在一个固定值附近。原因如果输出归一化到[0,1]区间而输出层激活函数输出范围是[-1,1]或者相反网络的输出空间和目标空间不重合误差永远收敛不到0。论文归一化到[-1,1]正是为了匹配TANSIG的激活范围。解决先确认输出层的激活函数再决定归一化区间。输出层用PURELIN时归一化到任意区间都行输出层用tanh时目标值必须落在[-1,1]内。更保险的做法是输出层永远用线性激活归一化区间选[-1,1]这样梯度不会在输出层被压缩。5.4 权值搬到 Verilog-A 时精度丢失模型直接翻车现象Python里mse在e-012量级翻译成Verilog-A后在SPICE里仿真电流误差变成1%甚至5%。原因权值从训练环境导出时如果直接print到文本文件默认格式只保留6位有效数字。权重矩阵里有大量数值在0.001~0.1之间的系数6位精度一舍入误差就被放大几个数量级。解决导出时强制用高精度格式Python里用np.savetxt配合fmt%.12gMATLAB里用fprintf配合%.12g。翻译成Verilog-A后做一个权重回读脚本把模型里的常数重新加载进Python对比一遍确认每个权重的相对误差小于1e-10再进SPICE。这个坑我踩过不止一次后来形成了固定检查流程。5.5 温度特性曲线抖动验证样本划分没做随机排列现象25℃、30℃、70℃下模型误差分布不均匀某个温度段误差明显偏大。原因数据提取时温度是循环扫描的数据在文件里的排列顺序天然按温度分组。如果不做随机打乱就切训练/验证集验证集可能只覆盖部分温度区间网络训练时对没见过的温度段没有约束。解决论文在每个子网络内都做了随机排列这一步不能省。划分前用固定随机种子shuffle保证训练/验证/测试三份数据在温度、Vgs、Vds各维度上分布均匀。复现时建议把shuffle的随机种子固定下来方便结果复现和后续调参。6. Verilog-A 实现与 SPICE 集成从训练好的网络到可仿真的器件模型6.1 把权值、阈值和传递函数翻译成 Verilog-A模型最终要能被SPICE调用论文选择了Verilog-A平台。做法是把优化后的网络各层权值、阈值和传递函数用Verilog-A语言表达并把超阈值和亚阈值两个子网络整合成一个完整的器件模型。翻译过程本质上是把神经网络的前向计算展开成Verilog-A的analog块里的数学运算。结构如下include constants.vams include disciplines.vams module nmos_nn(d, g, s, b); inout d, g, s, b; electrical d, g, s, b; // 输入归一化参数从训练环境导出 real vgs, vds, vbs, w, l, temp; real h1_0, h1_1; // 第一隐含层神经元输出 real ids_norm; analog begin // 1. 输入归一化 vgs 2.0 * (V(g, s) - VGS_MIN) / (VGS_MAX - VGS_MIN) - 1.0; // vds、vbs、w、l、temp 同理 // 2. 第一隐含层tanh(w * x b)17 个神经元展开 h1_0 tanh(0.123456789 * vgs - 0.034567890 * vds /* ... */ 0.001234567); // h1_1 ~ h1_16 展开省略 // 3. 第二隐含层和输出层展开得到归一化电流 ids_norm // 4. 输出反归一化 I(d, s) ids_norm * (IDS_MAX - IDS_MIN) / 2.0 (IDS_MAX IDS_MIN) / 2.0; end endmoduleVerilog-A里写神经网络最烦的是展开17个神经元的乘加运算手写容易错。我一般会在Python里写一个脚本直接读训练好的权重CSV自动生成Verilog-A源码把每个权重用%.12g格式写进文件避免手抄带来的精度丢失。阈值电压的判断逻辑也在这一步处理——根据Vgs与阈值电压的关系决定当前时刻走超阈值子网络还是亚阈值子网络两个子网络的输出在边界处做过渡衔接。论文没有展开边界衔接的细节但分段模型最常见的翻车点就在边界处电流跳变建议在边界附近多取几个样本点做平滑。6.2 共源极放大电路验证25℃ 与 70℃ 下的对比论文搭了一个典型NMOS共源极放大电路来验证Verilog-A模型的准确性把25℃和70℃下的输出特性与BSIM模型对比相对误差在1%左右。这一步验证的不只是神经网络对器件单点特性的拟合而是整个模型在电路级仿真里的行为。SPICE里跑瞬态仿真时模型会被反复调用每一时刻的Vgs、Vds都在变化神经网络模型必须保证在整个动态范围内输出连续且合理。电路级验证比单纯看测试集误差更能说明模型实用性。6.3 我的一个固定习惯先输出权值检查脚本再写模型每次训练完我会先跑一遍权重回读脚本把导出的权值文件重新加载回Python手动前向计算一遍网络输出跟训练时的预测值对比确认误差在1e-10量级然后再生成Verilog-A源码。生成完之后再把Verilog-A里的常数提取出来重新计算一遍前向输出做二次比对。两次对比都通过才进SPICE跑电路仿真。这套流程看着多花十分钟实际能省掉SPICE里定位模型问题的数小时。从那以后我每次把神经网络翻译成Verilog-A都强制走一遍这个流程希望帮到你。本文还有配套的精品资源点击获取