2027届的计算机毕业设计别再死磕传统管理系统了。大模型和多模态这两个词已经从论文摘要里走到你电脑能跑的代码里了而且恰好是未来两年扩招和产业落地最猛的方向。这篇东西不堆概念就讲清楚一个问题如果你现在开始准备毕设选哪个AI方向最划算、怎么选、怎么落地、踩坑怎么样全给你拆成能直接抄作业的建议。先说个大前提2027届意味着你开题时间大概率在2026年年中答辩在2027年5月左右。这个时间窗口非常微妙——开源大模型的能力已经覆盖了绝大多数本科毕设能做的深度多模态的技术栈也成熟到用Python调几个库就能搭出demo。你不需要造轮子只需要选对方向、做对集成、证明你懂原理就能拿一个很体面的成绩。我见过太多学生一上来就想“训练自己的大模型”结果看了半个月显卡价格就放弃了。正确的思路是把大模型当零件把多模态当场景把毕设当系统集成工程来做。剩下的文章全是这个思路的展开。1. 为什么2027届最该冲大模型和多模态方向1.1 大模型的“私有化门槛”已经降到了本科生的膝盖高度2024年的时候跑一个7B模型还需要24GB显存很多学生只能申请云端算力排队排到毕业。到了2025年量化技术、推理框架、小显存优化方案一波接一波4GB显存都能跑量化后的对话模型16GB显存跑13B模型已经是很常规的操作。2026年你甚至可以用CPU加内存跑一个能用的RAG问答系统速度慢一点但完全能演示。这意味着什么意味着“基于大模型的应用系统”已经不再依赖昂贵的实验环境而是依赖你的工程能力和对业务场景的理解。这正是本科毕设最看重的你不需要提出新的模型结构但你需要回答清楚一个问题——这个模型怎么用在真实场景里效果如何有哪些坑。而且开源生态给足了弹药。HuggingFace上的模型权重、各种微调框架、向量数据库、Agent框架全部是开箱即用。你只要花一周时间把环境配通剩下的时间都能花在业务逻辑和实验分析上。相比以前那些“写个网站”的毕设AI方向的复现成本和新鲜度完全不是一个层级。1.2 多模态是接下来最容易出“创新点”的富矿单一文本的大模型项目2025年毕业时已经有点烂大街了。十个人里八个人做“某某领域智能问答”评阅老师一看标题就想睡觉。但多模态不一样它天然带有“跨模态对齐”“信息融合”“时空特征”这些容易包装成研究点的词汇而且每个模态都有自己的处理管线组合起来有无数种玩法。别被“多模态”三个字吓到。说白了就是让系统能同时看懂图片、听懂语音、读懂文字然后把它们融合成一个结果。比如一张事故现场图片、一段目击者语音、一条文字描述系统最终输出事故严重程度和责任人判断——这就是一个非常典型的多模态毕设。你不需要训练一个全新的多模态模型直接用现成的视觉模型提取特征用语音模型转文字再把特征丢给大模型做理解最后用规则或分类器做决策。这一套组合拳下来工作量饱满、创新点明确、落地场景跟实际生活挂钩答辩老师很难挑出硬伤。1.3 从评阅老师的视角倒推选题逻辑毕设评分大抵看三块工作量、技术难度、成果质量。但很多学生理解歪了以为“难度越高分越高”。实际上本科生论文的隐藏规则是“完整性优于先进性”。你拿一个部署不出来的SOTA模型跑了一次实验远不如一个端到端能演示、能测试、能分析失败案例的完整系统得分高。所以选题最优解是技术栈里有1-2个“有点深度的现成模型”周围包一圈“自己写的工程逻辑”最后有一个“可以量化的评测结果”。大模型多模态正好满足这个结构。模型本身是别人的但你怎么组织数据、怎么设计融合策略、怎么评测、怎么优化全是你的活儿。这些活儿写进论文里每一章都有实打实的内容。2. 最值得冲的六大AI选题方向拆解2.1 基于RAG的垂直领域智能问答系统这是最经典、也最稳妥的方向但别再做通用医疗问答、法律问答了。要做就做“有门槛数据”的垂直领域比如高校教务制度问答、设备维修手册问答、地方政策解读问答。核心逻辑是用向量数据库存私有文档用户提问时先检索相关片段再让大模型基于片段生成答案也就是检索增强生成。适合谁你对NLP有一定了解想尽快出成果且不想碰训练。工作量集中在数据清洗、文档切分、召回优化和Prompt调优。这个方向几乎不会翻车因为技术路线非常成熟但要注意别做成简单的“文档搜索”必须体现“生成引用”的闭环。2.2 低成本大模型微调LoRA与指令数据实战如果你不满足于“调用现成模型”想深入模型内部那就做微调。但千万别全量微调用LoRA、Q-LoRA这类参数高效微调方法。选一个7B或13B的开源基座找两三千条指令数据调整任务相关的模块比如“将口语化问题改写为结构化查询”或“生成具批评语”。对算力要求不高一张消费级显卡就能跑。为什么这个方向值得冲因为微调是应届生简历里的硬通货尤其是LLM岗位面试必问。毕设里把LoRA的原理、配置、实验结果、和基座模型的对比写清楚既能证明你有动手能力也为后续找实习留了素材。风险点是容易陷入“跑完一个训练脚本却不知道改什么”的状态需要自己准备数据、设计评估集而不是拿着公开数据集一把梭。2.3 多模态统一理解图文联合分析系统这个方向适合想做点“新鲜”但不想走纯学术路线的同学。选题可以很具体电商商品图片评论的联合情感分析、社交媒体图文谣言识别、医疗影像病历的辅助诊断仅做概念验证。核心是让视觉模型提取图片特征文本模型处理文字再用一个融合层把两个模态的信息整合为最终预测。技术上不需要自己设计融合层可以直接用跨模态注意力或者简单地把特征拼接后接一个分类器。但你要把“为什么拼接比平均好用”“两个模态冲突时怎么办”这些细节写清楚就是创新点。这个方向论文好写图表好画答辩演示非常直观。2.4 多模态商品检索与智能导购系统本质上是“以图搜图文本语义匹配大模型解释”的组合。用户上传一件衣服的图片系统能识别品类、颜色、风格再结合用户输入“适合通勤”这个文本条件从商品库中返回最匹配的几件并用大模型生成推荐理由。这个方向非常适合电商场景也和“商品多模态支持”这个热门词对应。工作量分成三块商品数据预处理、多模态特征抽取、排序与生成。前三块都有现成工具最后一块是真正的设计和分析空间。比起普通的目标检测项目它多了“跨模态匹配”这个层次显得更有前瞻性。2.5 多模态情感分析语音文本面部表情联合识别人的情感表达是多通道的一句话的文字内容、说话的语气、面部微表情各自传递不同信息。毕设可以做一个“客服对话情感分析系统”输入一段客服录音系统分离出音频、转成文本、抽取语气特征再结合用户的耐心程度、语速变化输出情感标签和情绪趋势。这个方向技术组合非常丰富涉及语音转写、声学特征提取、文本情感分类、表情识别如果有视频头融合策略可以从决策级投票做到特征级融合。适合对语音有一定兴趣的同学。常见陷阱是模态之间数据不同步需要花时间做对齐但这本身也是可以写进论文的内容。2.6 多Agent协作框架让多个大模型分工干活2025年以后“AI Agent”相关的概念已经普及本科毕设完全可以做一个“多智能体协作系统”比如“论文审稿助理Agent”——一个Agent负责查重一个Agent负责逻辑漏洞检测一个Agent负责格式审校最后有个调度Agent汇总意见。每个Agent可以基于同一个大模型也可以调用不同的工具。这个方向的亮点是“工作流设计”和“任务编排”不需要训练任何模型。核心难点在于编写清晰的Prompt模板和设计Agent之间的通信协议。同时需要评估“多Agent协作比单个Agent强多少”需要设计对比实验。这个方向适合有系统设计能力、代码功底较好的同学做出demo后观感很像产品原型答辩时容易吸睛。3. 实操过程与核心环节实现以“RAG图像描述”的多模态问答为例3.1 技术选型别贪新选熟很多初学者一开始纠结“用哪个大模型”其实这个问题放在最后想。正确顺序是先定场景、再定数据、再定基座。以我建议的“多模态设备维修问答系统”为例场景是维修手册设备照片用户上传故障照片系统结合手册回答问题。基座模型我推荐用支持中文的通用对话模型比如Qwen系列或InternLM系列参数量7B左右。原因有三一是显存要求适中RTX 3060 12GB能跑二是中文能力强三是社区生态完善找文档容易。图像理解部分可以直接用现成的视觉语言模型比如Qwen-VL这样能同时输入图片和文本的模型不需要单独接一个视觉编码器。如果你觉得两个模型加起来太占资源就换一个思路先用一个轻量的CLIP模型对图片做特征提取转成文本标签再把文本标签合并到Prompt里扔给纯文本大模型。这个方法虽然“土”但控制变量做实验反而好写论文。你可以在论文里对比“用CLIP提特征的问答”和“直接用VL模型问答”的优劣。3.2 数据准备与知识库索引一切效果的基础数据质量决定了RAG效果上限。以设备维修手册为例你需要收集PDF或者Word文档解析成纯文本。解析这一步经常被忽视我见过太多人直接用pypdf提取结果表格全部乱掉。建议优先用专门文档解析库或者先用LibreOffice转成txt再对表格部分单独处理。文档切分是第二个关键。不要无脑按字符切500字。要结合文档结构先按章节划分再按段落切分每个切片控制在300-500字保证语义完整。同时保留章节标题作为切片元数据检索时可以用来过滤。向量化阶段强烈建议别用大模型做嵌入。找一个开源的Embedding模型比如bge-m3或类似的维度适中中文效果好。向量库可以用轻量的FAISS部署简单够用。如果学校要求展示技术含量可以升级成Milvus但本科毕设没必要。3.3 检索与生成的整合如何让模型“看”到图片先说图片怎么进来。用户上传照片后调用视觉模型得到一段图片描述或一组关键词。比如一张电路板图片可以描述为“绿色电路板右上角有两个电容鼓包表面有黑色烧灼痕迹”。然后把这段描述和图片的原始路径一起存到知识库的元数据里。检索时不只要检索文本手册也要检索图片描述。检索策略用“混合检索”效果最好先用关键词匹配召回一批再用向量召回一批然后用Reranker重排取Top-K个片段。重排模型可以选择bge-reranker也可以在Prompt里让大模型自己判断哪些片段和问题相关。不过后者不稳定还是建议用现成重排模型。生成阶段给大模型的Prompt里最少包含三个结构系统角色、检索到的资料片段、用户问题。我常用的模板长这样你是设备维修专家。请根据下面的资料回答用户问题。 资料 {检索结果} 用户问题{用户问题} 要求 1. 只依据资料回答问题 2. 如果资料不足明确说“资料中未找到” 3. 引用资料时标注来源章节多模态的部分就体现在“资料”里你可以把图片描述当成一条资料。如果用了VL模型也可以让模型直接“看图”但这样Prompt会复杂一些而且推理时间变长不适合答辩现场演示。3.4 效果评测与论文数据让得分点长在硬指标上很多学生做完系统就收工了这是最亏的。一个AI方向的毕设没有评测和数据分析等于白做。你需要至少完成三个层面的评测检索效果、生成质量、系统可用性。检索效果用RecallK和MRR指标构造二十个问题然后人工标注每个问题的相关文档片段。生成质量可以选择三档打分正确、部分正确、错误。另外一定要记录失败案例比如“模型明明检索到正确片段却答错了”分析原因多半是Prompt引导不到位或者检索片段顺序不对。我建议准备一张对比表至少包含三个版本纯靠大模型瞎答、单路文本RAG、多模态RAG文本图片描述。这组对照实验能直观地证明你的多模态改造是有用的。答辩老师问“你的创新点在哪”你直接指着表格说加了图像描述后回答准确率从XX提升到XX比任何空话都有力。4. 常见问题与排查技巧实录4.1 显存不足和推理速度慢怎么破跑7B模型至少需要14GB显存但多数学生只有8GB或12GB。解决思路有三个第一个是买二手卡或者用云GPU按小时租别硬扛第二个是量化用GPTQ或AWQ量化到4bit显存需求直接砍半第三个是换更小的模型比如1.5B或3B放在纯CPU上跑也能接受。做毕设不需要跑飞快答辩演示时等十几秒完全没问题但你得提前把“性能瓶颈与优化方案”写在论文里表示你知道问题在哪。如果还不行可以用API。注意用API做毕设并不是作弊关键是你要在论文里说清楚“API版本用于初步验证本地模型用于最终系统”并把API调用的错误处理和成本记录写清楚。但不要完全依赖API至少留一个本地可跑的版本否则万一答辩现场网络有问题就直接崩了。4.2 RAG召回效果差答非所问先别急着换模型按这个顺序查看看切分长度是否合理太长会混入噪声太短会丢失上下文看看Embedding模型是否匹配你的语言如果是英文模型处理中文会非常差看看查询改写是否需要用户提问经常口语化比如“电路板烧了怎么办”和手册里的“故障现象板面烧蚀”表达完全不同需要先让大模型把问题改写成专业描述。还有一招比较隐蔽检索的Top-K值不要设太大。K太大容易把不相关的片段也塞进Prompt大模型会“被迫”引用错误信息。一般K取3到5。另外重排这一步非常重要很多场景下加了Reranker准确率能提升十个百分点。4.3 微调之后模型变傻了原来的通用能力丢了这是典型的灾难性遗忘。你用几千条指令微调后模型可能在专业问题上表现变好但常识问答变差了。解决办法是混合训练数据在指令数据中加入20%-30%的通用数据比如公开的对话语料。同时学习率不要调太高LoRA的rank值不要大于32训练轮数控制在2到3轮。如果你不知道怎么调学习率就用一个“拍脑袋但有效”的公式学习率设置为2e-4到4e-4之间batch size设成4或8先跑一轮看loss曲线。如果loss下降异常快说明学习率太大调小十倍重跑。4.4 答辩前一周才发现的“演示事故”套路提前把演示环境冻住。不要答辩前一天还在改代码更不要依赖在线服务。把所有模型权重下载到本地把向量库也导出做一个离线演示包。同时准备一个“错误处理演示”故意问一个知识库外的问题展示系统如何回答“资料中未找到”。评阅老师反而会觉得你这个系统具备诚实机制比硬凹答案更讨喜。还有代码仓库一定要有README写清环境搭建步骤。很多老师评阅时会看代码结构如果你连requirements.txt都没有印象分会很惨。4.5 选错方向的沉没成本怎么避免所有方向说到底都是在赌时间最怕中途换题。我提一个“三个一”原则给你自检选方向前先花一周搭出最小demo如果你的技术方案能在7天内跑通主流程就继续如果一周后还卡在环境问题立刻换方向。这一点尤其重要因为AI方向的环境坑多到你怀疑人生。另外提前跟导师对齐预期。导师不一定懂多模态但你要用图表和流程把方案讲清楚。毕设分数很大程度取决于导师对你的“技术信任感”如果你能每周给他看一个阶段性截图后续任何问题都好商量。5. 延伸把毕设变成简历上的项目亮点5.1 项目结构的“包装”技巧别在简历上只写“基于大模型的问答系统”太宽泛。要写出你做了什么、效果如何。比如“基于RAG和多模态的特征级融合实现了面向设备维修场景的图文问答系统回答准确率从51.2%提升至78.6%并设计了一套离线评测方案”。这句话有三个加分项有具体场景、有量化数据、有评测意识。同时把项目拆成三个模块写数据侧文档解析、切分、向量化、模型侧Embedding、Reranker、LLM调用、工程侧API封装、前端交互、性能优化。面试官看到这种结构化描述会觉得你真正做过项目而不是照着教程敲了个demo。5.2 开源与论文小投入大回报做毕设的过程中顺手把代码开源到GitHub把踩坑记录写成README再配一个简单的demo视频。这不需要额外很多时间但对面试、保研、评奖都有帮助。如果效果不错可以整理成一篇技术博客。注意别为了发论文硬写本科毕设达到“技术报告”的深度已经是中上水平。多模态方向还有一个隐性优势开源的漂亮可视化结果很多。你可以画一张系统架构图、画几张特征融合的heatmap、画一组对比实验结果柱状图这些图挂到博客或个人网站上比简历里写一百个字都有效。我在实际带毕设的时候发现最能拉开差距的永远不是模型选得多新而是“你有没有把一个系统跑完并把失败过程聊明白”。大模型和多模态方向的容错率其实很高因为你总能找到比自己更笨的基座来凸显你优化的价值。只要别贪大、别追新、把每层技术都落到代码和实验里这个题目方向就是2027届最稳的牌。 
长河君 · 2026/10/28 23:30:27 · 阅读 1.2k 2027届计算机毕设选AI：大模型与多模态落地全指南
2027届的计算机毕业设计别再死磕传统管理系统了。大模型和多模态这两个词已经从论文摘要里走到你电脑能跑的代码里了而且恰好是未来两年扩招和产业落地最猛的方向。这篇东西不堆概念就讲清楚一个问题如果你现在开始准备毕设选哪个AI方向最划算、怎么选、怎么落地、踩坑怎么样全给你拆成能直接抄作业的建议。先说个大前提2027届意味着你开题时间大概率在2026年年中答辩在2027年5月左右。这个时间窗口非常微妙——开源大模型的能力已经覆盖了绝大多数本科毕设能做的深度多模态的技术栈也成熟到用Python调几个库就能搭出demo。你不需要造轮子只需要选对方向、做对集成、证明你懂原理就能拿一个很体面的成绩。我见过太多学生一上来就想“训练自己的大模型”结果看了半个月显卡价格就放弃了。正确的思路是把大模型当零件把多模态当场景把毕设当系统集成工程来做。剩下的文章全是这个思路的展开。1. 为什么2027届最该冲大模型和多模态方向1.1 大模型的“私有化门槛”已经降到了本科生的膝盖高度2024年的时候跑一个7B模型还需要24GB显存很多学生只能申请云端算力排队排到毕业。到了2025年量化技术、推理框架、小显存优化方案一波接一波4GB显存都能跑量化后的对话模型16GB显存跑13B模型已经是很常规的操作。2026年你甚至可以用CPU加内存跑一个能用的RAG问答系统速度慢一点但完全能演示。这意味着什么意味着“基于大模型的应用系统”已经不再依赖昂贵的实验环境而是依赖你的工程能力和对业务场景的理解。这正是本科毕设最看重的你不需要提出新的模型结构但你需要回答清楚一个问题——这个模型怎么用在真实场景里效果如何有哪些坑。而且开源生态给足了弹药。HuggingFace上的模型权重、各种微调框架、向量数据库、Agent框架全部是开箱即用。你只要花一周时间把环境配通剩下的时间都能花在业务逻辑和实验分析上。相比以前那些“写个网站”的毕设AI方向的复现成本和新鲜度完全不是一个层级。1.2 多模态是接下来最容易出“创新点”的富矿单一文本的大模型项目2025年毕业时已经有点烂大街了。十个人里八个人做“某某领域智能问答”评阅老师一看标题就想睡觉。但多模态不一样它天然带有“跨模态对齐”“信息融合”“时空特征”这些容易包装成研究点的词汇而且每个模态都有自己的处理管线组合起来有无数种玩法。别被“多模态”三个字吓到。说白了就是让系统能同时看懂图片、听懂语音、读懂文字然后把它们融合成一个结果。比如一张事故现场图片、一段目击者语音、一条文字描述系统最终输出事故严重程度和责任人判断——这就是一个非常典型的多模态毕设。你不需要训练一个全新的多模态模型直接用现成的视觉模型提取特征用语音模型转文字再把特征丢给大模型做理解最后用规则或分类器做决策。这一套组合拳下来工作量饱满、创新点明确、落地场景跟实际生活挂钩答辩老师很难挑出硬伤。1.3 从评阅老师的视角倒推选题逻辑毕设评分大抵看三块工作量、技术难度、成果质量。但很多学生理解歪了以为“难度越高分越高”。实际上本科生论文的隐藏规则是“完整性优于先进性”。你拿一个部署不出来的SOTA模型跑了一次实验远不如一个端到端能演示、能测试、能分析失败案例的完整系统得分高。所以选题最优解是技术栈里有1-2个“有点深度的现成模型”周围包一圈“自己写的工程逻辑”最后有一个“可以量化的评测结果”。大模型多模态正好满足这个结构。模型本身是别人的但你怎么组织数据、怎么设计融合策略、怎么评测、怎么优化全是你的活儿。这些活儿写进论文里每一章都有实打实的内容。2. 最值得冲的六大AI选题方向拆解2.1 基于RAG的垂直领域智能问答系统这是最经典、也最稳妥的方向但别再做通用医疗问答、法律问答了。要做就做“有门槛数据”的垂直领域比如高校教务制度问答、设备维修手册问答、地方政策解读问答。核心逻辑是用向量数据库存私有文档用户提问时先检索相关片段再让大模型基于片段生成答案也就是检索增强生成。适合谁你对NLP有一定了解想尽快出成果且不想碰训练。工作量集中在数据清洗、文档切分、召回优化和Prompt调优。这个方向几乎不会翻车因为技术路线非常成熟但要注意别做成简单的“文档搜索”必须体现“生成引用”的闭环。2.2 低成本大模型微调LoRA与指令数据实战如果你不满足于“调用现成模型”想深入模型内部那就做微调。但千万别全量微调用LoRA、Q-LoRA这类参数高效微调方法。选一个7B或13B的开源基座找两三千条指令数据调整任务相关的模块比如“将口语化问题改写为结构化查询”或“生成具批评语”。对算力要求不高一张消费级显卡就能跑。为什么这个方向值得冲因为微调是应届生简历里的硬通货尤其是LLM岗位面试必问。毕设里把LoRA的原理、配置、实验结果、和基座模型的对比写清楚既能证明你有动手能力也为后续找实习留了素材。风险点是容易陷入“跑完一个训练脚本却不知道改什么”的状态需要自己准备数据、设计评估集而不是拿着公开数据集一把梭。2.3 多模态统一理解图文联合分析系统这个方向适合想做点“新鲜”但不想走纯学术路线的同学。选题可以很具体电商商品图片评论的联合情感分析、社交媒体图文谣言识别、医疗影像病历的辅助诊断仅做概念验证。核心是让视觉模型提取图片特征文本模型处理文字再用一个融合层把两个模态的信息整合为最终预测。技术上不需要自己设计融合层可以直接用跨模态注意力或者简单地把特征拼接后接一个分类器。但你要把“为什么拼接比平均好用”“两个模态冲突时怎么办”这些细节写清楚就是创新点。这个方向论文好写图表好画答辩演示非常直观。2.4 多模态商品检索与智能导购系统本质上是“以图搜图文本语义匹配大模型解释”的组合。用户上传一件衣服的图片系统能识别品类、颜色、风格再结合用户输入“适合通勤”这个文本条件从商品库中返回最匹配的几件并用大模型生成推荐理由。这个方向非常适合电商场景也和“商品多模态支持”这个热门词对应。工作量分成三块商品数据预处理、多模态特征抽取、排序与生成。前三块都有现成工具最后一块是真正的设计和分析空间。比起普通的目标检测项目它多了“跨模态匹配”这个层次显得更有前瞻性。2.5 多模态情感分析语音文本面部表情联合识别人的情感表达是多通道的一句话的文字内容、说话的语气、面部微表情各自传递不同信息。毕设可以做一个“客服对话情感分析系统”输入一段客服录音系统分离出音频、转成文本、抽取语气特征再结合用户的耐心程度、语速变化输出情感标签和情绪趋势。这个方向技术组合非常丰富涉及语音转写、声学特征提取、文本情感分类、表情识别如果有视频头融合策略可以从决策级投票做到特征级融合。适合对语音有一定兴趣的同学。常见陷阱是模态之间数据不同步需要花时间做对齐但这本身也是可以写进论文的内容。2.6 多Agent协作框架让多个大模型分工干活2025年以后“AI Agent”相关的概念已经普及本科毕设完全可以做一个“多智能体协作系统”比如“论文审稿助理Agent”——一个Agent负责查重一个Agent负责逻辑漏洞检测一个Agent负责格式审校最后有个调度Agent汇总意见。每个Agent可以基于同一个大模型也可以调用不同的工具。这个方向的亮点是“工作流设计”和“任务编排”不需要训练任何模型。核心难点在于编写清晰的Prompt模板和设计Agent之间的通信协议。同时需要评估“多Agent协作比单个Agent强多少”需要设计对比实验。这个方向适合有系统设计能力、代码功底较好的同学做出demo后观感很像产品原型答辩时容易吸睛。3. 实操过程与核心环节实现以“RAG图像描述”的多模态问答为例3.1 技术选型别贪新选熟很多初学者一开始纠结“用哪个大模型”其实这个问题放在最后想。正确顺序是先定场景、再定数据、再定基座。以我建议的“多模态设备维修问答系统”为例场景是维修手册设备照片用户上传故障照片系统结合手册回答问题。基座模型我推荐用支持中文的通用对话模型比如Qwen系列或InternLM系列参数量7B左右。原因有三一是显存要求适中RTX 3060 12GB能跑二是中文能力强三是社区生态完善找文档容易。图像理解部分可以直接用现成的视觉语言模型比如Qwen-VL这样能同时输入图片和文本的模型不需要单独接一个视觉编码器。如果你觉得两个模型加起来太占资源就换一个思路先用一个轻量的CLIP模型对图片做特征提取转成文本标签再把文本标签合并到Prompt里扔给纯文本大模型。这个方法虽然“土”但控制变量做实验反而好写论文。你可以在论文里对比“用CLIP提特征的问答”和“直接用VL模型问答”的优劣。3.2 数据准备与知识库索引一切效果的基础数据质量决定了RAG效果上限。以设备维修手册为例你需要收集PDF或者Word文档解析成纯文本。解析这一步经常被忽视我见过太多人直接用pypdf提取结果表格全部乱掉。建议优先用专门文档解析库或者先用LibreOffice转成txt再对表格部分单独处理。文档切分是第二个关键。不要无脑按字符切500字。要结合文档结构先按章节划分再按段落切分每个切片控制在300-500字保证语义完整。同时保留章节标题作为切片元数据检索时可以用来过滤。向量化阶段强烈建议别用大模型做嵌入。找一个开源的Embedding模型比如bge-m3或类似的维度适中中文效果好。向量库可以用轻量的FAISS部署简单够用。如果学校要求展示技术含量可以升级成Milvus但本科毕设没必要。3.3 检索与生成的整合如何让模型“看”到图片先说图片怎么进来。用户上传照片后调用视觉模型得到一段图片描述或一组关键词。比如一张电路板图片可以描述为“绿色电路板右上角有两个电容鼓包表面有黑色烧灼痕迹”。然后把这段描述和图片的原始路径一起存到知识库的元数据里。检索时不只要检索文本手册也要检索图片描述。检索策略用“混合检索”效果最好先用关键词匹配召回一批再用向量召回一批然后用Reranker重排取Top-K个片段。重排模型可以选择bge-reranker也可以在Prompt里让大模型自己判断哪些片段和问题相关。不过后者不稳定还是建议用现成重排模型。生成阶段给大模型的Prompt里最少包含三个结构系统角色、检索到的资料片段、用户问题。我常用的模板长这样你是设备维修专家。请根据下面的资料回答用户问题。 资料 {检索结果} 用户问题{用户问题} 要求 1. 只依据资料回答问题 2. 如果资料不足明确说“资料中未找到” 3. 引用资料时标注来源章节多模态的部分就体现在“资料”里你可以把图片描述当成一条资料。如果用了VL模型也可以让模型直接“看图”但这样Prompt会复杂一些而且推理时间变长不适合答辩现场演示。3.4 效果评测与论文数据让得分点长在硬指标上很多学生做完系统就收工了这是最亏的。一个AI方向的毕设没有评测和数据分析等于白做。你需要至少完成三个层面的评测检索效果、生成质量、系统可用性。检索效果用RecallK和MRR指标构造二十个问题然后人工标注每个问题的相关文档片段。生成质量可以选择三档打分正确、部分正确、错误。另外一定要记录失败案例比如“模型明明检索到正确片段却答错了”分析原因多半是Prompt引导不到位或者检索片段顺序不对。我建议准备一张对比表至少包含三个版本纯靠大模型瞎答、单路文本RAG、多模态RAG文本图片描述。这组对照实验能直观地证明你的多模态改造是有用的。答辩老师问“你的创新点在哪”你直接指着表格说加了图像描述后回答准确率从XX提升到XX比任何空话都有力。4. 常见问题与排查技巧实录4.1 显存不足和推理速度慢怎么破跑7B模型至少需要14GB显存但多数学生只有8GB或12GB。解决思路有三个第一个是买二手卡或者用云GPU按小时租别硬扛第二个是量化用GPTQ或AWQ量化到4bit显存需求直接砍半第三个是换更小的模型比如1.5B或3B放在纯CPU上跑也能接受。做毕设不需要跑飞快答辩演示时等十几秒完全没问题但你得提前把“性能瓶颈与优化方案”写在论文里表示你知道问题在哪。如果还不行可以用API。注意用API做毕设并不是作弊关键是你要在论文里说清楚“API版本用于初步验证本地模型用于最终系统”并把API调用的错误处理和成本记录写清楚。但不要完全依赖API至少留一个本地可跑的版本否则万一答辩现场网络有问题就直接崩了。4.2 RAG召回效果差答非所问先别急着换模型按这个顺序查看看切分长度是否合理太长会混入噪声太短会丢失上下文看看Embedding模型是否匹配你的语言如果是英文模型处理中文会非常差看看查询改写是否需要用户提问经常口语化比如“电路板烧了怎么办”和手册里的“故障现象板面烧蚀”表达完全不同需要先让大模型把问题改写成专业描述。还有一招比较隐蔽检索的Top-K值不要设太大。K太大容易把不相关的片段也塞进Prompt大模型会“被迫”引用错误信息。一般K取3到5。另外重排这一步非常重要很多场景下加了Reranker准确率能提升十个百分点。4.3 微调之后模型变傻了原来的通用能力丢了这是典型的灾难性遗忘。你用几千条指令微调后模型可能在专业问题上表现变好但常识问答变差了。解决办法是混合训练数据在指令数据中加入20%-30%的通用数据比如公开的对话语料。同时学习率不要调太高LoRA的rank值不要大于32训练轮数控制在2到3轮。如果你不知道怎么调学习率就用一个“拍脑袋但有效”的公式学习率设置为2e-4到4e-4之间batch size设成4或8先跑一轮看loss曲线。如果loss下降异常快说明学习率太大调小十倍重跑。4.4 答辩前一周才发现的“演示事故”套路提前把演示环境冻住。不要答辩前一天还在改代码更不要依赖在线服务。把所有模型权重下载到本地把向量库也导出做一个离线演示包。同时准备一个“错误处理演示”故意问一个知识库外的问题展示系统如何回答“资料中未找到”。评阅老师反而会觉得你这个系统具备诚实机制比硬凹答案更讨喜。还有代码仓库一定要有README写清环境搭建步骤。很多老师评阅时会看代码结构如果你连requirements.txt都没有印象分会很惨。4.5 选错方向的沉没成本怎么避免所有方向说到底都是在赌时间最怕中途换题。我提一个“三个一”原则给你自检选方向前先花一周搭出最小demo如果你的技术方案能在7天内跑通主流程就继续如果一周后还卡在环境问题立刻换方向。这一点尤其重要因为AI方向的环境坑多到你怀疑人生。另外提前跟导师对齐预期。导师不一定懂多模态但你要用图表和流程把方案讲清楚。毕设分数很大程度取决于导师对你的“技术信任感”如果你能每周给他看一个阶段性截图后续任何问题都好商量。5. 延伸把毕设变成简历上的项目亮点5.1 项目结构的“包装”技巧别在简历上只写“基于大模型的问答系统”太宽泛。要写出你做了什么、效果如何。比如“基于RAG和多模态的特征级融合实现了面向设备维修场景的图文问答系统回答准确率从51.2%提升至78.6%并设计了一套离线评测方案”。这句话有三个加分项有具体场景、有量化数据、有评测意识。同时把项目拆成三个模块写数据侧文档解析、切分、向量化、模型侧Embedding、Reranker、LLM调用、工程侧API封装、前端交互、性能优化。面试官看到这种结构化描述会觉得你真正做过项目而不是照着教程敲了个demo。5.2 开源与论文小投入大回报做毕设的过程中顺手把代码开源到GitHub把踩坑记录写成README再配一个简单的demo视频。这不需要额外很多时间但对面试、保研、评奖都有帮助。如果效果不错可以整理成一篇技术博客。注意别为了发论文硬写本科毕设达到“技术报告”的深度已经是中上水平。多模态方向还有一个隐性优势开源的漂亮可视化结果很多。你可以画一张系统架构图、画几张特征融合的heatmap、画一组对比实验结果柱状图这些图挂到博客或个人网站上比简历里写一百个字都有效。我在实际带毕设的时候发现最能拉开差距的永远不是模型选得多新而是“你有没有把一个系统跑完并把失败过程聊明白”。大模型和多模态方向的容错率其实很高因为你总能找到比自己更笨的基座来凸显你优化的价值。只要别贪大、别追新、把每层技术都落到代码和实验里这个题目方向就是2027届最稳的牌。