做医学影像方向的毕业设计最头疼的往往是“算法有了但不像一个完整的系统”。单纯训练一个YOLO骨折检测模型导师会觉得工作量单薄只做一个普通Web端上传图片的小项目又体现不出“AI 医疗”的亮点。如果把 YOLO 目标检测和大模型多模态分析结合起来做一个“检测 自动生成诊断辅助报告”的系统从技术栈到呈现效果都会完整很多。本文围绕这个思路完整拆解一套可用于计算机毕业设计的医学骨折检测分析系统基于 YOLO 实现骨折区域的定位与分类基于 LLM 多模态大模型对 X 光影像做二次分析和自然语言报告生成再通过前后端分离架构把能力封装成可演示的 Web 系统。文章覆盖可行性分析、环境搭建、模型训练、接口封装、前后端联调和常见问题排查适合作为系统设计、论文框架和实战编码的参考。1. 项目背景与核心概念1.1 为什么选择“骨折检测 大模型分析”作为毕设方向医学影像AI是智慧医疗里落地最广的方向之一尤其是骨折检测这类任务具有明确的目标区域、清晰的业务语义和可评估的算法指标非常适合做毕业设计。相比纯图像分类项目目标检测能输出骨折位置而不是只给一个概率值演示效果更有说服力。但单纯的目标检测也存在不足模型只会输出类别、坐标和置信度不会解释“为什么判断为骨折”“骨折属于什么类型”“建议进一步做什么检查”。这也是临床场景里医生不会只依赖检测框的原因。引入LLM多模态大模型后系统可以把图像特征转化为结构化的自然语言描述形成完整的辅助分析报告。本项目定位是一个教学与研究用途的辅助分析系统不是医疗器械不参与临床诊断决策。这一点在论文的“系统边界”和“伦理与安全”部分一定要写清楚这也是答辩时导师非常关注的点。1.2 YOLO与LLM多模态大模型分别承担什么职责整个系统采用“小模型做感知、大模型做认知”的分工方式。YOLOYou Only Look Once是端到端的目标检测模型它的核心优势是速度快、结构简洁、部署方便。在骨折检测任务中YOLO 负责从 X 光影像中定位疑似骨折区域输出类似“肘关节骨折置信度 0.87坐标 (x_min, y_min, x_max, y_max)”的结构化结果。LLM 多模态大模型则负责更高层次的语义理解。把 YOLO 裁剪出的骨折区域图像送入多模态大模型模型可以描述骨质边缘是否连续、是否有错位、骨折类型属于横断、斜行还是粉碎性并结合区域位置给出可读的辅助分析建议。最终输出的是医生能看得懂的自然语言段落而不是一组冰冷的坐标。两者的关系可以概括为模块输入输出擅长能力不足YOLO 检测模型完整 X 光影像骨折目标框 类别 置信度速度快、定位准、可本地部署缺乏语义解释能力LLM 多模态分析裁剪后的骨折区域图像结构化自然语言诊断描述理解复杂影像语义、生成报告推理成本高、不能单独定位1.3 这种组合架构的优势和适用场景把两者串联起来能互相弥补短板。YOLO 先做目标筛选避免了把整张大图直接丢给大模型造成的计算浪费也让“定位”这件事变得可评估、可量化。大模型在目标区域上做细粒度分析又让系统的输出从“检测框”升级为“辅助分析报告”。这种架构适合以下场景高校毕业设计能同时体现深度学习目标检测、大模型应用、前后端开发、数据库设计技术覆盖广。研究演示系统作为医学影像AI辅助分析的原理验证原型。教学实训项目帮助学生理解模型分工、接口设计、系统集成。需要特别提醒真实医疗场景中模型的可解释性、临床验证、伦理审批、设备认证要求极其严格本项目的定位应明确为教学演示与科研原型。2. 系统总体架构与技术选型2.1 系统模块划分按功能拆分系统可以分为四个核心模块影像管理模块负责 X 光影像的上传、存储、预览。影像文件保存到本地磁盘或云存储数据库只存储路径索引和业务信息。该模块还包括患者信息的建档与查询支持按患者ID、检查时间等条件检索历史记录。YOLO 检测模块服务端集成 YOLO 推理接口接收影像后完成骨折目标的检测。检测过程在服务端完成前端不直接依赖深度学习框架。输出结果为结构化JSON包含检测框坐标、类别和置信度。大模型分析模块接收 YOLO 输出的裁剪图像和原始图像调用多模态大模型生成文本分析。系统会把检测结果、需要重点观察的区域坐标一起组装为Prompt让大模型的分析有依据。前端展示与报告模块Vue前端负责影像展示、检测框可视化、大模型分析报告渲染。检测框使用 Canvas 或 SVG 覆盖在原图上报告区域展示模型生成的结构化文本。2.2 技术栈选型建议层次技术选型选型理由深度学习框架PyTorch生态成熟YOLOv5/v8 等模型均基于 PyTorch调试方便目标检测模型YOLOv8或 v5/v11工业应用广、文档丰富、训练推理API简洁后端框架Spring Boot 2.7.x / 3.x与前端JSON交互方便适合做系统类毕设数据库MySQL 8.x满足影像元数据和报告数据存储文档多部署简单前端Vue 3 Element Plus ECharts组件丰富表格、表单、上传组件开箱即用大模型接入大模型API 或本地部署开源多模态模型根据预算和服务器配置灵活选择版本选择需要结合自己电脑或服务器的实际情况。如果显卡是消费级6GB/8GB显存建议使用YOLOv8s或YOLOv8n本文章节中的示例重点演示工程设计思路模型参数和接口以实际环境为准。2.3 系统处理流程整个业务流程可以概括为下面几条链路用户在Web端上传X光影像系统保存原始图片并创建检查记录。后端调用YOLO推理服务返回检测目标列表。后端根据检测框坐标从原图裁剪出局部区域图像。后端把裁剪图像和结构化检测信息组装成Prompt调用多模态大模型。大模型返回分析报告文本后端将报告与检测结果保存到数据库。前端刷新结果页展示原图、检测框、置信度和分析报告。这个流程把“感知 认知”分工体现得很直观。论文中的业务流程图可以使用Visio或draw.io绘制图例和数据流描述可以参考上述流程。3. 环境准备与项目初始化3.1 环境版本说明本文示例以常见开发环境为例读者需要根据自己机器的实际情况调整版本重点是理解配置思路。环境版本建议说明操作系统Windows 10/11 或 Ubuntu 20.04/22.04建议本机开发用Windows训练服务器用UbuntuPython3.8 - 3.10YOLOv8 对Python版本兼容性最好CUDA11.8 或 12.1根据显卡驱动版本选择PyTorch2.x安装时选择对应CUDA版本JDKJDK 8 或 JDK 17Spring Boot 2.x 配 JDK83.x 配 JDK17Node.js16.x 或 18.xVue 3 项目构建所需MySQL8.x存储用户、影像记录、检测结果和报告3.2 Python 虚拟环境与依赖安装先创建Python虚拟环境避免 YOLO、OpenCV、Flask 等包污染系统Python环境。conda create -n fracture_yolo python3.9 conda activate fracture_yolo pip install ultralytics pip install opencv-python pip install flask flask-cors pip install requests pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118这里把目标检测推理封装为独立的Flask微服务是为了让 Java Web 后端与Python模型解耦。YOLO 模型在 Python 环境中加载和推理最方便Spring Boot 通过 HTTP 调用 Python 服务架构清晰也方便以后单独替换检测模型。3.3 项目目录结构整个项目建议分为三个子工程目录结构如下fracture-analysis-system/ ├── fracture-web/ # Vue3 前端工程 │ ├── src/ │ │ ├── api/ # 封装后端接口请求 │ │ ├── views/ │ │ │ ├── UploadView.vue # 影像上传页 │ │ │ └── ResultView.vue # 检测结果页 │ │ └── router/index.js │ └── package.json ├── fracture-server/ # Spring Boot 后端工程 │ ├── src/main/java/com/example/fracture/ │ │ ├── controller/ │ │ ├── service/ │ │ ├── mapper/ │ │ └── entity/ │ └── pom.xml ├── fracture-ai-service/ # Python AI 服务 │ ├── models/ # 存放训练好的YOLO权重 │ ├── app.py # Flask 推理接口 │ ├── detector.py # YOLO检测封装 │ └── llm_analyzer.py # 多模态大模型分析封装 └── docs/ # 论文相关文档与SQL脚本这种物理隔离的组织方式在写论文时也能作为“系统架构图”的直接素材模块边界一眼就能看清楚。4. 基于YOLO的骨折检测模型4.1 数据集选择与预处理骨折检测属于医学影像目标检测任务数据集的来源和质量直接决定模型效果。毕设场景下常见的数据来源有公开数据集如 RSNA 骨骼X光数据集、几所高校和医疗机构开源的手腕/肘关节骨折数据集。导师或合作医院提供的脱敏数据只用于学术研究需要签订数据使用协议并完成脱敏。自行整理的数据从公开渠道收集并人工标注数量有限适合做演示原型。由于骨裂、骨皮质不连续、轻微错位等视觉特征比较细微建议优先采用 YOLOv8 的预训练权重进行微调而不是从零训练。公开的COCO预训练模型已经具备丰富的视觉特征提取能力只需要在骨折数据集上做少量迭代即可收敛。数据集目录建议遵循 YOLO 格式datasets/fracture/ ├── images/ │ ├── train/ │ └── val/ ├── labels/ │ ├── train/ │ └── val/ └── data.yamldata.yaml 中要正确指向图片路径并列出类别。如果项目只检测“骨折”一个类别可以定义两个类别便于区分骨折类型例如train: datasets/fracture/images/train val: datasets/fracture/images/val nc: 2 names: [fracture, dislocation]4.2 模型训练以 YOLOv8 为例训练脚本非常简洁。实际训练参数要根据GPU显存调整以下只是结构示例from ultralytics import YOLO # 加载预训练权重 model YOLO(yolov8s.pt) # 训练 model.train( datadatasets/fracture/data.yaml, epochs100, imgsz640, batch16, device0, patience20, projectruns/train, namefracture_yolov8s, seed42 ) # 验证 model.val() # 导出为ONNX便于后续部署优化 model.export(formatonnx, dynamicTrue)几个关键参数的作用epochs100如果数据量小且使用了预训练50到100轮足够观察收敛情况。imgsz640YOLOv8默认输入尺寸显存不足时可以降到 512。patience2020轮指标不提升就提前停止能节省训练时间。device0使用第一张GPU没有GPU时改为devicecpu。训练完成后runs/train/fracture_yolov8s/weights/best.pt就是效果最好的权重文件之后推理服务加载这份权重。4.3 模型评估与验证模型不能只看训练集效果。YOLO 训练结束后要在验证集上关注以下指标指标说明合理参考mAP0.5IoU阈值为0.5时的平均精度均值0.6以上即可演示0.8以上较好mAP0.5:0.95更严格的综合评价指标论文中建议同时汇报Precision预测为骨折的结果中真实骨折比例与Recall结合看Recall所有真实骨折中被检出的比例医疗场景希望Recall相对更高F1-Score精度与召回的综合平衡理想值越高越好医疗检测场景中漏检的代价比误检更严重所以调参时可以适当降低置信度阈值让模型优先保证召回率再通过大模型分析过滤部分误检。这种“检测召回高 语言模型二次判断”的思路也可以写进论文创新点。4.4 将 YOLO 封装为 Flask 推理服务在后端集成中Spring Boot 不直接加载 PyTorch 模型而是调用 Python 推理服务。这个 Flask 服务提供两个核心接口POST /detect传入图片路径或图片URL返回 YOLO 检测结果。GET /health健康检查方便 Spring Boot 判断AI服务是否存活。创建detector.pyfrom ultralytics import YOLO import cv2 import numpy as np class FractureDetector: def __init__(self, model_path): self.model YOLO(model_path) def predict(self, image_path, conf_threshold0.35): results self.model.predict( sourceimage_path, confconf_threshold, saveFalse, verboseFalse ) boxes [] for r in results: for box in r.boxes: x1, y1, x2, y2 box.xyxy[0].cpu().numpy().tolist() conf float(box.conf[0].cpu().numpy()) cls_id int(box.cls[0].cpu().numpy()) class_name self.model.names[cls_id] boxes.append({ class: class_name, confidence: round(conf, 4), bbox: [round(x1, 2), round(y1, 2), round(x2, 2), round(y2, 2)] }) return boxes创建app.pyfrom flask import Flask, request, jsonify from detector import FractureDetector import os app Flask(__name__) detector FractureDetector(models/best.pt) app.route(/detect, methods[POST]) def detect(): data request.get_json() image_path data.get(image_path) if not image_path or not os.path.exists(image_path): return jsonify({code: 400, msg: 图片路径不存在}), 400 boxes detector.predict(image_path) return jsonify({code: 0, boxes: boxes}) app.route(/health, methods[GET]) def health(): return jsonify({status: ok}) if __name__ __main__: app.run(host0.0.0.0, port5000, debugFalse)启动服务python app.py4.5 用 Python 把检测框可视化调试阶段建议保存可视化图片看检测框是否贴住真实的骨折区域。这个环节能快速暴露标注不准确、训练不充分等问题。import cv2 def draw_boxes(image_path, boxes, output_path): img cv2.imread(image_path) for item in boxes: x1, y1, x2, y2 [int(v) for v in item[bbox]] cv2.rectangle(img, (x1, y1), (x2, y2), (0, 0, 255), 2) label f{item[class]} {item[confidence]:.2f} cv2.putText(img, label, (x1, y1 - 10), cv2.FONT_HERSHEY_SIMPLEX, 0.6, (0, 0, 255), 2) cv2.imwrite(output_path, img)注意OpenCV读取图片时通道顺序是 BGR保存和显示前如果涉及和前端交互需要统一图片格式与通道顺序防止颜色偏蓝或偏红。5. 基于 LLM 多模态大模型的骨折分析报告5.1 为什么检测之后还需要大模型分析YOLO 输出的是 “框 类别 置信度”它回答的是“哪里异常像不像骨折”但不能回答“骨质边缘是否光滑”“骨折断端有无移位”“建议保守治疗还是手术干预”。这些判断需要更高级的语义推理能力。多模态大模型可以直接输入图像和文本Prompt返回自然语言描述。把 YOLO 裁剪出的局部区域交给大模型让它聚焦重点区域分析效果和Token消耗都比直接丢整张原图更可控。需要明确一点大模型的输出只是辅助参考不能作为诊断依据。系统展示报告时必须备注“该报告由AI生成仅供参考请以专业医生诊断为准”。5.2 Prompt 设计决定分析质量的关键同样的模型Prompt 写得不同分析结果质量差很多。针对骨折检测辅助分析场景推荐使用结构化 Prompt把检测结果作为额外上下文注入。参考Prompt模板你是一名骨科影像分析助手。请基于以下X光影像的检测结果对骨折区域进行客观描述。 检测结果 - 检测到的疑似骨折区域数量{count} - 每个区域的类别和置信度{boxes} 请按以下结构输出中文分析报告 1. 影像所见描述骨皮质连续性、骨折断端对位对线情况。 2. 骨折类型推测根据影像特征推断横断、斜行、螺旋或粉碎性骨折。 3. 风险提示指出可能存在的并发损伤或难以判断的区域。 4. 建议给出进一步影像检查或随访建议。 注意 - 仅基于提供的影像特征做出判断不要虚构患者病史。 - 如果影像质量不佳明确说明分析结果存在不确定性。 - 输出内容应克制、客观不使用绝对化诊断结论。Prompt 里加入“仅基于影像特征”“说明不确定性”“克制客观”这几个约束能显著降低大模型的幻觉概率让输出更像一份合理的辅助分析而不是一本正经地编造诊断。5.3 大模型接入封装调用大模型API时需要用统一的封装将检测结果、裁剪图像和Prompt组装在一起。为了便于替换不同服务商建议抽象为独立模块。import base64 import requests class LLMAnalyzer: def __init__(self, api_url, api_key, model_name): self.api_url api_url self.api_key api_key self.model_name model_name def analyze(self, image_path, detection_info): with open(image_path, rb) as f: image_base64 base64.b64encode(f.read()).decode(utf-8) prompt self._build_prompt(detection_info) payload { model: self.model_name, messages: [ { role: user, content: [ {type: text, text: prompt}, {type: image_url, image_url: {url: fdata:image/jpeg;base64,{image_base64}}} ] } ], temperature: 0.2 } headers { Content-Type: application/json, Authorization: fBearer {self.api_key} } resp requests.post(self.api_url, jsonpayload, headersheaders, timeout60) resp.raise_for_status() return resp.json()[choices][0][message][content] def _build_prompt(self, detection_info): return f你是一名骨科影像分析助手。请基于以下检测结果对骨折区域进行分析 检测结果{detection_info} 请按影像所见、骨折类型推测、风险提示、建议四个部分输出。temperature0.2是医学场景的合理选择。温度越低输出越稳定保守减少编造的可能温度太高会让描述变得发散。5.4 Python AI 服务中合并检测与分析能力把检测和大模型分析放在同一个 Python 服务里Spring Boot 只需要调用一个接口就能拿到完整结果减少网络交互次数。app.route(/analyze, methods[POST]) def analyze(): data request.get_json() image_path data.get(image_path) if not image_path or not os.path.exists(image_path): return jsonify({code: 400, msg: 图片路径不存在}), 400 boxes detector.predict(image_path) if not boxes: return jsonify({ code: 0, boxes: [], report: 未检测到明显的骨折区域。该结论基于AI自动分析请结合临床资料判断。, cropped_images: [] }) # 裁剪出骨折区域用于多模态分析 crop_paths [] img cv2.imread(image_path) for i, item in enumerate(boxes): x1, y1, x2, y2 [int(v) for v in item[bbox]] crop img[y1:y2, x1:x2] crop_path fcrops/crop_{i}_{int(time.time())}.jpg os.makedirs(crops, exist_okTrue) cv2.imwrite(crop_path, crop) crop_paths.append(crop_path) # 将第一个骨折区域送入大模型分析也可拼接多区域 report llm_analyzer.analyze(crop_paths[0], boxes) return jsonify({ code: 0, boxes: boxes, crop_paths: crop_paths, report: report })裁剪图像时建议在检测框基础上向外扩展 10% 到 20% 的边距让大模型能看到骨折区域与周围组织的相对关系分析结果更可靠。6. Spring Boot 后端与 Vue 前端集成6.1 Spring Boot 后端核心接口后端需要提供影像上传、检测分析和历史记录查询三类接口。这里推荐一个RESTful接口设计方法路径功能POST/api/record/upload上传X光影像并创建检查记录GET/api/record/{id}查询检查记录详情GET/api/record/list分页查询历史记录POST/api/record/{id}/analyze对影像执行检测与大模型分析GET/api/record/{id}/report获取分析报告pom.xml中需要引入Web、MyBatis-Plus、MySQL驱动等依赖。示例关键依赖如下版本号请以实际项目为准dependencies dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-web/artifactId /dependency dependency groupIdcom.baomidou/groupId artifactIdmybatis-plus-boot-starter/artifactId version3.5.3.1/version /dependency dependency groupIdcom.mysql/groupId artifactIdmysql-connector-j/artifactId scoperuntime/scope /dependency /dependencies在application.yml中除了配置数据库连接还要配置AI服务的地址server: port: 8080 spring: datasource: url: jdbc:mysql://localhost:3306/fracture_db?useUnicodetruecharacterEncodingutf8serverTimezoneAsia/Shanghai username: root password: your_password driver-class-name: com.mysql.cj.jdbc.Driver ai: service: url: http://localhost:50006.2 服务层调用链Controller 层代码保持简洁核心逻辑放到 Service 层。下面是一个分析接口的示例Service public class RecordService { Value(${ai.service.url}) private String aiServiceUrl; Autowired private RecordMapper recordMapper; public AnalyzeResult analyze(Integer recordId) { // 1. 查询影像记录 MedicalRecord record recordMapper.selectById(recordId); if (record null) { throw new BusinessException(记录不存在); } // 2. 调用 Python AI 服务 RestTemplate restTemplate new RestTemplate(); MapString, String requestBody new HashMap(); requestBody.put(image_path, record.getImagePath()); ResponseEntityMap response restTemplate.postForEntity( aiServiceUrl /analyze, requestBody, Map.class); Map data response.getBody(); ListMapString, Object boxes (ListMapString, Object) data.get(boxes); String report (String) data.get(report); // 3. 保存检测结果和报告到数据库 AnalysisResult result new AnalysisResult(); result.setRecordId(recordId); result.setBoxesJson(JSONObject.toJSONString(boxes)); result.setReportText(report); analysisResultMapper.insert(result); return new AnalyzeResult(result); } }这里的image_path字段存储的是服务器本地绝对路径。为了让前端展示图片还需要提供一个静态资源映射接口把本地上传目录暴露为URL。6.3 前端上传页与结果页前端使用 Vue 3 Element Plus 实现。上传页的核心逻辑是把图片上传到 Spring Boot并跳转到结果页。UploadView.vue的核心片段template el-card el-upload drag action/api/record/upload :on-successhandleUploadSuccess acceptimage/jpeg,image/png el-iconUploadFilled //el-icon div将 X 光影像拖到此处或点击上传/div /el-upload /el-card /template script setup import { useRouter } from vue-router import { ElMessage } from element-plus const router useRouter() function handleUploadSuccess(response) { if (response.code 0) { ElMessage.success(上传成功正在跳转分析页...) router.push({ path: /result/${response.data.recordId} }) } else { ElMessage.error(response.msg || 上传失败) } } /scriptResultView.vue页面负责三件事调用后端/api/record/{id}/analyze触发分析。获取分析结果后使用 Canvas 在原图上绘制检测框。展示大模型生成的分析报告文本。Canvas 绘制检测框的简化逻辑script setup import { ref, onMounted } from vue import axios from axios const canvasRef ref(null) const imgRef ref(null) const report ref() async function loadResult(id) { const { data } await axios.get(/api/record/${id}) const img new Image() img.src data.imageUrl img.onload () { const ctx canvasRef.value.getContext(2d) canvasRef.value.width img.width canvasRef.value.height img.height ctx.drawImage(img, 0, 0) data.boxes.forEach(box { const [x1, y1, x2, y2] box.bbox ctx.strokeStyle #FF0000 ctx.lineWidth 3 ctx.strokeRect(x1, y1, x2 - x1, y2 - y1) ctx.fillStyle #FF0000 ctx.font 16px sans-serif ctx.fillText(${box.class} ${box.confidence}, x1, y1 - 10) }) } if (data.analyzeResult) { report.value data.analyzeResult.reportText } } onMounted(() loadResult(route.params.id)) /script注意后端返回的图片URL如果跨域Canvas 读取像素和绘制不会立即报错但后续如果要做“导出带检测框的图片”功能需要后端配置允许跨域或使用同源图片URL。6.4 前端调用链整体说明从点击“开始分析”到看到完整的报告前端实际上经历了两次请求。第一次请求创建或获取检查记录第二次请求执行分析并刷新结果。有的同学把分析和查询合并成一个长耗时接口前端要等很久才能显示图片占位体验不好。推荐先返回检测框结果再异步加载报告文本也就是主动轮询或WebSocket推送。毕设项目使用轮询即可每3秒查询一次分析状态。7. 常见问题与排查思路问题现象常见原因解决思路训练时显存溢出batch_size过大或输入分辨率过高降低 batch降低 imgsz切换到小模型如 YOLOv8nmAP 一直很低数据集标注不一致、正负样本不均衡重新检查标签框统一标注标准增加数据增强检测框偏移严重训练时图片尺寸与推理时不一致固定 imgsz注意推理脚本中的原始尺寸恢复逻辑Flask 接口返回超时大模型API响应慢或推理线程阻塞设置超时重试异步任务限制并发调用数量大模型报告出现幻觉Prompt 约束不够或者图像内容不清晰强化 Prompt 中的客观性约束增加异常声明规则temperature 调低前端跨域无法访问后端Spring Boot 未开启 CORS配置 CorsFilter或用 Nginx 反向代理统一入口MySQL 中文乱码JDBC URL 缺少编码参数、数据库字符集不对JDBC URL 加characterEncodingutf8建库时指定 utf8mb4YOLO 推理偶发崩溃GPU 显存碎片化或线程不安全使用单例模型实例多个线程推理时加锁7.1 大模型调用失败或超时怎么办生产环境的模型调用必须考虑失败情况。推荐在 Spring Boot 里做一层缓存如果大模型分析失败只展示 YOLO 检测结果和“AI分析暂不可用”提示不影响主要流程。这样答辩演示时即使断网也能用本地缓存数据完成展示。7.2 没有GPU如何完成毕设不是所有同学都有显卡。以下几种替代方案同样能完成毕设使用云GPU训练Colab 免费版和Kaggle Notebook都可以训练 YOLO每次会话有限时但对小数据集足够了。直接使用预训练权重如果没有自己的数据集可以下载开源的骨折检测权重做推理演示论文中注明模型来源和局限性。以小数据集微调哪怕是80-100张图用预训练权重微调也能得到一个可演示的模型但论文需要诚实说明数据规模。CPU 训练但调低参数CPU训练很慢可以只训练10个epoch验证代码正确性再把完整训练放到云端。8. 最佳实践与工程建议8.1 安全与合规边界涉及医疗数据的项目安全是最重要的。系统必须在数据层面和业务层面同时做好控制数据脱敏医学影像存储前清除患者姓名、病案号等敏感信息统一使用内部ID编号。权限控制不同角色区分访问范围。管理员可以查看所有记录普通用户只能查看自己创建的记录。合法授权论文中要注明数据来源和授权情况公开数据集需要遵循其License要求。免责声明前端页面底部和报告末尾都展示“AI辅助分析结果仅供参考不构成医学诊断依据”等提示。8.2 模型可解释性与评估意识医学影像AI的一个重要评价维度是可解释性。论文如果只从指标角度夸模型效果答辩很容易被问住。建议在系统里加入以下能力可视化检测框的同时展示置信度数值。大模型报告中注明“本次分析的不确定性”和“建议进一步检查项目”。如果用 Grad-CAM 等热力图方法分析模型关注区域可以单独做一个“模型可解释性”页面展示热力图叠加效果。8.3 后端接口设计与日志记录Spring Boot 后端需要注意以下几点所有接口统一返回{ code, message, data }结构方便前端统一处理异常。使用Slf4j记录关键操作日志上传、分析开始、分析完成、AI服务调用失败。对异常情况做兜底AI服务不可用时接口返回降级结果而不是直接抛异常。数据库表字段建议包含create_time、update_time、status、report_status为报告生成状态流转留出空间。8.4 图片存储方式建议毕设系统不需要引入复杂的对象存储。推荐先保存到本地目录使用UUID重命名图片避免中文文件名和重复文件名带来的问题。如果需要提交到服务器部署再考虑替换为MinIO或OSS。存储路径上要注意不能直接拼接用户输入防止路径穿越等安全问题。8.5 论文写法与答辩准备建议系统做出来只是第一步毕业设计论文和答辩同样重要。建议论文中的“系统实现”章节和本文结构保持一致先介绍整体架构再分别从 YOLO 检测模块、大模型分析模块、数据库设计、前端展示四部分展开。答辩时重点准备以下问题为什么选择 YOLO 而不是 Faster R-CNN、SSD检测框坐标如何处理图像尺寸变化后坐标是否还能对齐大模型分析结果如何评估有没有做过人工评测如果遇到误检和漏检系统怎么规避系统离临床应用还有哪些差距这些问题在系统实现的过程中如果能提前思考并记录答案答辩时会从容很多。9. 总结与后续学习路线到这里一套“YOLO 目标检测 LLM 多模态分析”的骨折检测系统已经完整搭建起来。核心收获可以概括成四点第一理解了目标检测模型和大模型在医疗影像分析中的分工边界第二掌握了把 Python 深度学习模型封装为微服务并集成到 Java Web 系统的标准流程第三学会了用结构化 Prompt 约束大模型输出降低幻觉第四完整走过了一个毕设项目从数据、训练、模型评估到前后端联调的生命周期。如果后续想继续深入可以从以下几个方向入手用更精细的骨折分割模型如 SA-Net、U-Net 变体替换目标检测框输出像素级骨折区域。引入注意力机制和 Grad-CAM 热力图增强论文中的可解释性分析。在 Prompt 中加入医学知识库让大模型生成结论时引用权威知识依据。把系统从单体部署升级为 Docker Compose 多容器部署写进论文“系统部署”章节会更有工程感。医学影像 AI 这个方向的门槛不在于单一算法而在于把算法、数据和业务场景串联成闭环。本文这套系统虽然定位是毕业设计但架构思路已经是小型科研原型的标准形态。建议读者不要只停留在复现代码把每个模块拆开研究“为什么这么设计”收获会比一份“能运行的作业”大得多。项目源码和详细部署文档整理好后会同步发布到资源仓库需要的同学可以收藏这篇文章后续会继续更新胸部X光肺炎检测、眼底图像病灶分析等类似项目教程也可以留言沟通具体需求。 
长河君 · 2026/10/21 11:53:55 · 阅读 1.2k YOLO目标检测与多模态大模型结合的医学骨折辅助分析系统设计与实现
做医学影像方向的毕业设计最头疼的往往是“算法有了但不像一个完整的系统”。单纯训练一个YOLO骨折检测模型导师会觉得工作量单薄只做一个普通Web端上传图片的小项目又体现不出“AI 医疗”的亮点。如果把 YOLO 目标检测和大模型多模态分析结合起来做一个“检测 自动生成诊断辅助报告”的系统从技术栈到呈现效果都会完整很多。本文围绕这个思路完整拆解一套可用于计算机毕业设计的医学骨折检测分析系统基于 YOLO 实现骨折区域的定位与分类基于 LLM 多模态大模型对 X 光影像做二次分析和自然语言报告生成再通过前后端分离架构把能力封装成可演示的 Web 系统。文章覆盖可行性分析、环境搭建、模型训练、接口封装、前后端联调和常见问题排查适合作为系统设计、论文框架和实战编码的参考。1. 项目背景与核心概念1.1 为什么选择“骨折检测 大模型分析”作为毕设方向医学影像AI是智慧医疗里落地最广的方向之一尤其是骨折检测这类任务具有明确的目标区域、清晰的业务语义和可评估的算法指标非常适合做毕业设计。相比纯图像分类项目目标检测能输出骨折位置而不是只给一个概率值演示效果更有说服力。但单纯的目标检测也存在不足模型只会输出类别、坐标和置信度不会解释“为什么判断为骨折”“骨折属于什么类型”“建议进一步做什么检查”。这也是临床场景里医生不会只依赖检测框的原因。引入LLM多模态大模型后系统可以把图像特征转化为结构化的自然语言描述形成完整的辅助分析报告。本项目定位是一个教学与研究用途的辅助分析系统不是医疗器械不参与临床诊断决策。这一点在论文的“系统边界”和“伦理与安全”部分一定要写清楚这也是答辩时导师非常关注的点。1.2 YOLO与LLM多模态大模型分别承担什么职责整个系统采用“小模型做感知、大模型做认知”的分工方式。YOLOYou Only Look Once是端到端的目标检测模型它的核心优势是速度快、结构简洁、部署方便。在骨折检测任务中YOLO 负责从 X 光影像中定位疑似骨折区域输出类似“肘关节骨折置信度 0.87坐标 (x_min, y_min, x_max, y_max)”的结构化结果。LLM 多模态大模型则负责更高层次的语义理解。把 YOLO 裁剪出的骨折区域图像送入多模态大模型模型可以描述骨质边缘是否连续、是否有错位、骨折类型属于横断、斜行还是粉碎性并结合区域位置给出可读的辅助分析建议。最终输出的是医生能看得懂的自然语言段落而不是一组冰冷的坐标。两者的关系可以概括为模块输入输出擅长能力不足YOLO 检测模型完整 X 光影像骨折目标框 类别 置信度速度快、定位准、可本地部署缺乏语义解释能力LLM 多模态分析裁剪后的骨折区域图像结构化自然语言诊断描述理解复杂影像语义、生成报告推理成本高、不能单独定位1.3 这种组合架构的优势和适用场景把两者串联起来能互相弥补短板。YOLO 先做目标筛选避免了把整张大图直接丢给大模型造成的计算浪费也让“定位”这件事变得可评估、可量化。大模型在目标区域上做细粒度分析又让系统的输出从“检测框”升级为“辅助分析报告”。这种架构适合以下场景高校毕业设计能同时体现深度学习目标检测、大模型应用、前后端开发、数据库设计技术覆盖广。研究演示系统作为医学影像AI辅助分析的原理验证原型。教学实训项目帮助学生理解模型分工、接口设计、系统集成。需要特别提醒真实医疗场景中模型的可解释性、临床验证、伦理审批、设备认证要求极其严格本项目的定位应明确为教学演示与科研原型。2. 系统总体架构与技术选型2.1 系统模块划分按功能拆分系统可以分为四个核心模块影像管理模块负责 X 光影像的上传、存储、预览。影像文件保存到本地磁盘或云存储数据库只存储路径索引和业务信息。该模块还包括患者信息的建档与查询支持按患者ID、检查时间等条件检索历史记录。YOLO 检测模块服务端集成 YOLO 推理接口接收影像后完成骨折目标的检测。检测过程在服务端完成前端不直接依赖深度学习框架。输出结果为结构化JSON包含检测框坐标、类别和置信度。大模型分析模块接收 YOLO 输出的裁剪图像和原始图像调用多模态大模型生成文本分析。系统会把检测结果、需要重点观察的区域坐标一起组装为Prompt让大模型的分析有依据。前端展示与报告模块Vue前端负责影像展示、检测框可视化、大模型分析报告渲染。检测框使用 Canvas 或 SVG 覆盖在原图上报告区域展示模型生成的结构化文本。2.2 技术栈选型建议层次技术选型选型理由深度学习框架PyTorch生态成熟YOLOv5/v8 等模型均基于 PyTorch调试方便目标检测模型YOLOv8或 v5/v11工业应用广、文档丰富、训练推理API简洁后端框架Spring Boot 2.7.x / 3.x与前端JSON交互方便适合做系统类毕设数据库MySQL 8.x满足影像元数据和报告数据存储文档多部署简单前端Vue 3 Element Plus ECharts组件丰富表格、表单、上传组件开箱即用大模型接入大模型API 或本地部署开源多模态模型根据预算和服务器配置灵活选择版本选择需要结合自己电脑或服务器的实际情况。如果显卡是消费级6GB/8GB显存建议使用YOLOv8s或YOLOv8n本文章节中的示例重点演示工程设计思路模型参数和接口以实际环境为准。2.3 系统处理流程整个业务流程可以概括为下面几条链路用户在Web端上传X光影像系统保存原始图片并创建检查记录。后端调用YOLO推理服务返回检测目标列表。后端根据检测框坐标从原图裁剪出局部区域图像。后端把裁剪图像和结构化检测信息组装成Prompt调用多模态大模型。大模型返回分析报告文本后端将报告与检测结果保存到数据库。前端刷新结果页展示原图、检测框、置信度和分析报告。这个流程把“感知 认知”分工体现得很直观。论文中的业务流程图可以使用Visio或draw.io绘制图例和数据流描述可以参考上述流程。3. 环境准备与项目初始化3.1 环境版本说明本文示例以常见开发环境为例读者需要根据自己机器的实际情况调整版本重点是理解配置思路。环境版本建议说明操作系统Windows 10/11 或 Ubuntu 20.04/22.04建议本机开发用Windows训练服务器用UbuntuPython3.8 - 3.10YOLOv8 对Python版本兼容性最好CUDA11.8 或 12.1根据显卡驱动版本选择PyTorch2.x安装时选择对应CUDA版本JDKJDK 8 或 JDK 17Spring Boot 2.x 配 JDK83.x 配 JDK17Node.js16.x 或 18.xVue 3 项目构建所需MySQL8.x存储用户、影像记录、检测结果和报告3.2 Python 虚拟环境与依赖安装先创建Python虚拟环境避免 YOLO、OpenCV、Flask 等包污染系统Python环境。conda create -n fracture_yolo python3.9 conda activate fracture_yolo pip install ultralytics pip install opencv-python pip install flask flask-cors pip install requests pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118这里把目标检测推理封装为独立的Flask微服务是为了让 Java Web 后端与Python模型解耦。YOLO 模型在 Python 环境中加载和推理最方便Spring Boot 通过 HTTP 调用 Python 服务架构清晰也方便以后单独替换检测模型。3.3 项目目录结构整个项目建议分为三个子工程目录结构如下fracture-analysis-system/ ├── fracture-web/ # Vue3 前端工程 │ ├── src/ │ │ ├── api/ # 封装后端接口请求 │ │ ├── views/ │ │ │ ├── UploadView.vue # 影像上传页 │ │ │ └── ResultView.vue # 检测结果页 │ │ └── router/index.js │ └── package.json ├── fracture-server/ # Spring Boot 后端工程 │ ├── src/main/java/com/example/fracture/ │ │ ├── controller/ │ │ ├── service/ │ │ ├── mapper/ │ │ └── entity/ │ └── pom.xml ├── fracture-ai-service/ # Python AI 服务 │ ├── models/ # 存放训练好的YOLO权重 │ ├── app.py # Flask 推理接口 │ ├── detector.py # YOLO检测封装 │ └── llm_analyzer.py # 多模态大模型分析封装 └── docs/ # 论文相关文档与SQL脚本这种物理隔离的组织方式在写论文时也能作为“系统架构图”的直接素材模块边界一眼就能看清楚。4. 基于YOLO的骨折检测模型4.1 数据集选择与预处理骨折检测属于医学影像目标检测任务数据集的来源和质量直接决定模型效果。毕设场景下常见的数据来源有公开数据集如 RSNA 骨骼X光数据集、几所高校和医疗机构开源的手腕/肘关节骨折数据集。导师或合作医院提供的脱敏数据只用于学术研究需要签订数据使用协议并完成脱敏。自行整理的数据从公开渠道收集并人工标注数量有限适合做演示原型。由于骨裂、骨皮质不连续、轻微错位等视觉特征比较细微建议优先采用 YOLOv8 的预训练权重进行微调而不是从零训练。公开的COCO预训练模型已经具备丰富的视觉特征提取能力只需要在骨折数据集上做少量迭代即可收敛。数据集目录建议遵循 YOLO 格式datasets/fracture/ ├── images/ │ ├── train/ │ └── val/ ├── labels/ │ ├── train/ │ └── val/ └── data.yamldata.yaml 中要正确指向图片路径并列出类别。如果项目只检测“骨折”一个类别可以定义两个类别便于区分骨折类型例如train: datasets/fracture/images/train val: datasets/fracture/images/val nc: 2 names: [fracture, dislocation]4.2 模型训练以 YOLOv8 为例训练脚本非常简洁。实际训练参数要根据GPU显存调整以下只是结构示例from ultralytics import YOLO # 加载预训练权重 model YOLO(yolov8s.pt) # 训练 model.train( datadatasets/fracture/data.yaml, epochs100, imgsz640, batch16, device0, patience20, projectruns/train, namefracture_yolov8s, seed42 ) # 验证 model.val() # 导出为ONNX便于后续部署优化 model.export(formatonnx, dynamicTrue)几个关键参数的作用epochs100如果数据量小且使用了预训练50到100轮足够观察收敛情况。imgsz640YOLOv8默认输入尺寸显存不足时可以降到 512。patience2020轮指标不提升就提前停止能节省训练时间。device0使用第一张GPU没有GPU时改为devicecpu。训练完成后runs/train/fracture_yolov8s/weights/best.pt就是效果最好的权重文件之后推理服务加载这份权重。4.3 模型评估与验证模型不能只看训练集效果。YOLO 训练结束后要在验证集上关注以下指标指标说明合理参考mAP0.5IoU阈值为0.5时的平均精度均值0.6以上即可演示0.8以上较好mAP0.5:0.95更严格的综合评价指标论文中建议同时汇报Precision预测为骨折的结果中真实骨折比例与Recall结合看Recall所有真实骨折中被检出的比例医疗场景希望Recall相对更高F1-Score精度与召回的综合平衡理想值越高越好医疗检测场景中漏检的代价比误检更严重所以调参时可以适当降低置信度阈值让模型优先保证召回率再通过大模型分析过滤部分误检。这种“检测召回高 语言模型二次判断”的思路也可以写进论文创新点。4.4 将 YOLO 封装为 Flask 推理服务在后端集成中Spring Boot 不直接加载 PyTorch 模型而是调用 Python 推理服务。这个 Flask 服务提供两个核心接口POST /detect传入图片路径或图片URL返回 YOLO 检测结果。GET /health健康检查方便 Spring Boot 判断AI服务是否存活。创建detector.pyfrom ultralytics import YOLO import cv2 import numpy as np class FractureDetector: def __init__(self, model_path): self.model YOLO(model_path) def predict(self, image_path, conf_threshold0.35): results self.model.predict( sourceimage_path, confconf_threshold, saveFalse, verboseFalse ) boxes [] for r in results: for box in r.boxes: x1, y1, x2, y2 box.xyxy[0].cpu().numpy().tolist() conf float(box.conf[0].cpu().numpy()) cls_id int(box.cls[0].cpu().numpy()) class_name self.model.names[cls_id] boxes.append({ class: class_name, confidence: round(conf, 4), bbox: [round(x1, 2), round(y1, 2), round(x2, 2), round(y2, 2)] }) return boxes创建app.pyfrom flask import Flask, request, jsonify from detector import FractureDetector import os app Flask(__name__) detector FractureDetector(models/best.pt) app.route(/detect, methods[POST]) def detect(): data request.get_json() image_path data.get(image_path) if not image_path or not os.path.exists(image_path): return jsonify({code: 400, msg: 图片路径不存在}), 400 boxes detector.predict(image_path) return jsonify({code: 0, boxes: boxes}) app.route(/health, methods[GET]) def health(): return jsonify({status: ok}) if __name__ __main__: app.run(host0.0.0.0, port5000, debugFalse)启动服务python app.py4.5 用 Python 把检测框可视化调试阶段建议保存可视化图片看检测框是否贴住真实的骨折区域。这个环节能快速暴露标注不准确、训练不充分等问题。import cv2 def draw_boxes(image_path, boxes, output_path): img cv2.imread(image_path) for item in boxes: x1, y1, x2, y2 [int(v) for v in item[bbox]] cv2.rectangle(img, (x1, y1), (x2, y2), (0, 0, 255), 2) label f{item[class]} {item[confidence]:.2f} cv2.putText(img, label, (x1, y1 - 10), cv2.FONT_HERSHEY_SIMPLEX, 0.6, (0, 0, 255), 2) cv2.imwrite(output_path, img)注意OpenCV读取图片时通道顺序是 BGR保存和显示前如果涉及和前端交互需要统一图片格式与通道顺序防止颜色偏蓝或偏红。5. 基于 LLM 多模态大模型的骨折分析报告5.1 为什么检测之后还需要大模型分析YOLO 输出的是 “框 类别 置信度”它回答的是“哪里异常像不像骨折”但不能回答“骨质边缘是否光滑”“骨折断端有无移位”“建议保守治疗还是手术干预”。这些判断需要更高级的语义推理能力。多模态大模型可以直接输入图像和文本Prompt返回自然语言描述。把 YOLO 裁剪出的局部区域交给大模型让它聚焦重点区域分析效果和Token消耗都比直接丢整张原图更可控。需要明确一点大模型的输出只是辅助参考不能作为诊断依据。系统展示报告时必须备注“该报告由AI生成仅供参考请以专业医生诊断为准”。5.2 Prompt 设计决定分析质量的关键同样的模型Prompt 写得不同分析结果质量差很多。针对骨折检测辅助分析场景推荐使用结构化 Prompt把检测结果作为额外上下文注入。参考Prompt模板你是一名骨科影像分析助手。请基于以下X光影像的检测结果对骨折区域进行客观描述。 检测结果 - 检测到的疑似骨折区域数量{count} - 每个区域的类别和置信度{boxes} 请按以下结构输出中文分析报告 1. 影像所见描述骨皮质连续性、骨折断端对位对线情况。 2. 骨折类型推测根据影像特征推断横断、斜行、螺旋或粉碎性骨折。 3. 风险提示指出可能存在的并发损伤或难以判断的区域。 4. 建议给出进一步影像检查或随访建议。 注意 - 仅基于提供的影像特征做出判断不要虚构患者病史。 - 如果影像质量不佳明确说明分析结果存在不确定性。 - 输出内容应克制、客观不使用绝对化诊断结论。Prompt 里加入“仅基于影像特征”“说明不确定性”“克制客观”这几个约束能显著降低大模型的幻觉概率让输出更像一份合理的辅助分析而不是一本正经地编造诊断。5.3 大模型接入封装调用大模型API时需要用统一的封装将检测结果、裁剪图像和Prompt组装在一起。为了便于替换不同服务商建议抽象为独立模块。import base64 import requests class LLMAnalyzer: def __init__(self, api_url, api_key, model_name): self.api_url api_url self.api_key api_key self.model_name model_name def analyze(self, image_path, detection_info): with open(image_path, rb) as f: image_base64 base64.b64encode(f.read()).decode(utf-8) prompt self._build_prompt(detection_info) payload { model: self.model_name, messages: [ { role: user, content: [ {type: text, text: prompt}, {type: image_url, image_url: {url: fdata:image/jpeg;base64,{image_base64}}} ] } ], temperature: 0.2 } headers { Content-Type: application/json, Authorization: fBearer {self.api_key} } resp requests.post(self.api_url, jsonpayload, headersheaders, timeout60) resp.raise_for_status() return resp.json()[choices][0][message][content] def _build_prompt(self, detection_info): return f你是一名骨科影像分析助手。请基于以下检测结果对骨折区域进行分析 检测结果{detection_info} 请按影像所见、骨折类型推测、风险提示、建议四个部分输出。temperature0.2是医学场景的合理选择。温度越低输出越稳定保守减少编造的可能温度太高会让描述变得发散。5.4 Python AI 服务中合并检测与分析能力把检测和大模型分析放在同一个 Python 服务里Spring Boot 只需要调用一个接口就能拿到完整结果减少网络交互次数。app.route(/analyze, methods[POST]) def analyze(): data request.get_json() image_path data.get(image_path) if not image_path or not os.path.exists(image_path): return jsonify({code: 400, msg: 图片路径不存在}), 400 boxes detector.predict(image_path) if not boxes: return jsonify({ code: 0, boxes: [], report: 未检测到明显的骨折区域。该结论基于AI自动分析请结合临床资料判断。, cropped_images: [] }) # 裁剪出骨折区域用于多模态分析 crop_paths [] img cv2.imread(image_path) for i, item in enumerate(boxes): x1, y1, x2, y2 [int(v) for v in item[bbox]] crop img[y1:y2, x1:x2] crop_path fcrops/crop_{i}_{int(time.time())}.jpg os.makedirs(crops, exist_okTrue) cv2.imwrite(crop_path, crop) crop_paths.append(crop_path) # 将第一个骨折区域送入大模型分析也可拼接多区域 report llm_analyzer.analyze(crop_paths[0], boxes) return jsonify({ code: 0, boxes: boxes, crop_paths: crop_paths, report: report })裁剪图像时建议在检测框基础上向外扩展 10% 到 20% 的边距让大模型能看到骨折区域与周围组织的相对关系分析结果更可靠。6. Spring Boot 后端与 Vue 前端集成6.1 Spring Boot 后端核心接口后端需要提供影像上传、检测分析和历史记录查询三类接口。这里推荐一个RESTful接口设计方法路径功能POST/api/record/upload上传X光影像并创建检查记录GET/api/record/{id}查询检查记录详情GET/api/record/list分页查询历史记录POST/api/record/{id}/analyze对影像执行检测与大模型分析GET/api/record/{id}/report获取分析报告pom.xml中需要引入Web、MyBatis-Plus、MySQL驱动等依赖。示例关键依赖如下版本号请以实际项目为准dependencies dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-web/artifactId /dependency dependency groupIdcom.baomidou/groupId artifactIdmybatis-plus-boot-starter/artifactId version3.5.3.1/version /dependency dependency groupIdcom.mysql/groupId artifactIdmysql-connector-j/artifactId scoperuntime/scope /dependency /dependencies在application.yml中除了配置数据库连接还要配置AI服务的地址server: port: 8080 spring: datasource: url: jdbc:mysql://localhost:3306/fracture_db?useUnicodetruecharacterEncodingutf8serverTimezoneAsia/Shanghai username: root password: your_password driver-class-name: com.mysql.cj.jdbc.Driver ai: service: url: http://localhost:50006.2 服务层调用链Controller 层代码保持简洁核心逻辑放到 Service 层。下面是一个分析接口的示例Service public class RecordService { Value(${ai.service.url}) private String aiServiceUrl; Autowired private RecordMapper recordMapper; public AnalyzeResult analyze(Integer recordId) { // 1. 查询影像记录 MedicalRecord record recordMapper.selectById(recordId); if (record null) { throw new BusinessException(记录不存在); } // 2. 调用 Python AI 服务 RestTemplate restTemplate new RestTemplate(); MapString, String requestBody new HashMap(); requestBody.put(image_path, record.getImagePath()); ResponseEntityMap response restTemplate.postForEntity( aiServiceUrl /analyze, requestBody, Map.class); Map data response.getBody(); ListMapString, Object boxes (ListMapString, Object) data.get(boxes); String report (String) data.get(report); // 3. 保存检测结果和报告到数据库 AnalysisResult result new AnalysisResult(); result.setRecordId(recordId); result.setBoxesJson(JSONObject.toJSONString(boxes)); result.setReportText(report); analysisResultMapper.insert(result); return new AnalyzeResult(result); } }这里的image_path字段存储的是服务器本地绝对路径。为了让前端展示图片还需要提供一个静态资源映射接口把本地上传目录暴露为URL。6.3 前端上传页与结果页前端使用 Vue 3 Element Plus 实现。上传页的核心逻辑是把图片上传到 Spring Boot并跳转到结果页。UploadView.vue的核心片段template el-card el-upload drag action/api/record/upload :on-successhandleUploadSuccess acceptimage/jpeg,image/png el-iconUploadFilled //el-icon div将 X 光影像拖到此处或点击上传/div /el-upload /el-card /template script setup import { useRouter } from vue-router import { ElMessage } from element-plus const router useRouter() function handleUploadSuccess(response) { if (response.code 0) { ElMessage.success(上传成功正在跳转分析页...) router.push({ path: /result/${response.data.recordId} }) } else { ElMessage.error(response.msg || 上传失败) } } /scriptResultView.vue页面负责三件事调用后端/api/record/{id}/analyze触发分析。获取分析结果后使用 Canvas 在原图上绘制检测框。展示大模型生成的分析报告文本。Canvas 绘制检测框的简化逻辑script setup import { ref, onMounted } from vue import axios from axios const canvasRef ref(null) const imgRef ref(null) const report ref() async function loadResult(id) { const { data } await axios.get(/api/record/${id}) const img new Image() img.src data.imageUrl img.onload () { const ctx canvasRef.value.getContext(2d) canvasRef.value.width img.width canvasRef.value.height img.height ctx.drawImage(img, 0, 0) data.boxes.forEach(box { const [x1, y1, x2, y2] box.bbox ctx.strokeStyle #FF0000 ctx.lineWidth 3 ctx.strokeRect(x1, y1, x2 - x1, y2 - y1) ctx.fillStyle #FF0000 ctx.font 16px sans-serif ctx.fillText(${box.class} ${box.confidence}, x1, y1 - 10) }) } if (data.analyzeResult) { report.value data.analyzeResult.reportText } } onMounted(() loadResult(route.params.id)) /script注意后端返回的图片URL如果跨域Canvas 读取像素和绘制不会立即报错但后续如果要做“导出带检测框的图片”功能需要后端配置允许跨域或使用同源图片URL。6.4 前端调用链整体说明从点击“开始分析”到看到完整的报告前端实际上经历了两次请求。第一次请求创建或获取检查记录第二次请求执行分析并刷新结果。有的同学把分析和查询合并成一个长耗时接口前端要等很久才能显示图片占位体验不好。推荐先返回检测框结果再异步加载报告文本也就是主动轮询或WebSocket推送。毕设项目使用轮询即可每3秒查询一次分析状态。7. 常见问题与排查思路问题现象常见原因解决思路训练时显存溢出batch_size过大或输入分辨率过高降低 batch降低 imgsz切换到小模型如 YOLOv8nmAP 一直很低数据集标注不一致、正负样本不均衡重新检查标签框统一标注标准增加数据增强检测框偏移严重训练时图片尺寸与推理时不一致固定 imgsz注意推理脚本中的原始尺寸恢复逻辑Flask 接口返回超时大模型API响应慢或推理线程阻塞设置超时重试异步任务限制并发调用数量大模型报告出现幻觉Prompt 约束不够或者图像内容不清晰强化 Prompt 中的客观性约束增加异常声明规则temperature 调低前端跨域无法访问后端Spring Boot 未开启 CORS配置 CorsFilter或用 Nginx 反向代理统一入口MySQL 中文乱码JDBC URL 缺少编码参数、数据库字符集不对JDBC URL 加characterEncodingutf8建库时指定 utf8mb4YOLO 推理偶发崩溃GPU 显存碎片化或线程不安全使用单例模型实例多个线程推理时加锁7.1 大模型调用失败或超时怎么办生产环境的模型调用必须考虑失败情况。推荐在 Spring Boot 里做一层缓存如果大模型分析失败只展示 YOLO 检测结果和“AI分析暂不可用”提示不影响主要流程。这样答辩演示时即使断网也能用本地缓存数据完成展示。7.2 没有GPU如何完成毕设不是所有同学都有显卡。以下几种替代方案同样能完成毕设使用云GPU训练Colab 免费版和Kaggle Notebook都可以训练 YOLO每次会话有限时但对小数据集足够了。直接使用预训练权重如果没有自己的数据集可以下载开源的骨折检测权重做推理演示论文中注明模型来源和局限性。以小数据集微调哪怕是80-100张图用预训练权重微调也能得到一个可演示的模型但论文需要诚实说明数据规模。CPU 训练但调低参数CPU训练很慢可以只训练10个epoch验证代码正确性再把完整训练放到云端。8. 最佳实践与工程建议8.1 安全与合规边界涉及医疗数据的项目安全是最重要的。系统必须在数据层面和业务层面同时做好控制数据脱敏医学影像存储前清除患者姓名、病案号等敏感信息统一使用内部ID编号。权限控制不同角色区分访问范围。管理员可以查看所有记录普通用户只能查看自己创建的记录。合法授权论文中要注明数据来源和授权情况公开数据集需要遵循其License要求。免责声明前端页面底部和报告末尾都展示“AI辅助分析结果仅供参考不构成医学诊断依据”等提示。8.2 模型可解释性与评估意识医学影像AI的一个重要评价维度是可解释性。论文如果只从指标角度夸模型效果答辩很容易被问住。建议在系统里加入以下能力可视化检测框的同时展示置信度数值。大模型报告中注明“本次分析的不确定性”和“建议进一步检查项目”。如果用 Grad-CAM 等热力图方法分析模型关注区域可以单独做一个“模型可解释性”页面展示热力图叠加效果。8.3 后端接口设计与日志记录Spring Boot 后端需要注意以下几点所有接口统一返回{ code, message, data }结构方便前端统一处理异常。使用Slf4j记录关键操作日志上传、分析开始、分析完成、AI服务调用失败。对异常情况做兜底AI服务不可用时接口返回降级结果而不是直接抛异常。数据库表字段建议包含create_time、update_time、status、report_status为报告生成状态流转留出空间。8.4 图片存储方式建议毕设系统不需要引入复杂的对象存储。推荐先保存到本地目录使用UUID重命名图片避免中文文件名和重复文件名带来的问题。如果需要提交到服务器部署再考虑替换为MinIO或OSS。存储路径上要注意不能直接拼接用户输入防止路径穿越等安全问题。8.5 论文写法与答辩准备建议系统做出来只是第一步毕业设计论文和答辩同样重要。建议论文中的“系统实现”章节和本文结构保持一致先介绍整体架构再分别从 YOLO 检测模块、大模型分析模块、数据库设计、前端展示四部分展开。答辩时重点准备以下问题为什么选择 YOLO 而不是 Faster R-CNN、SSD检测框坐标如何处理图像尺寸变化后坐标是否还能对齐大模型分析结果如何评估有没有做过人工评测如果遇到误检和漏检系统怎么规避系统离临床应用还有哪些差距这些问题在系统实现的过程中如果能提前思考并记录答案答辩时会从容很多。9. 总结与后续学习路线到这里一套“YOLO 目标检测 LLM 多模态分析”的骨折检测系统已经完整搭建起来。核心收获可以概括成四点第一理解了目标检测模型和大模型在医疗影像分析中的分工边界第二掌握了把 Python 深度学习模型封装为微服务并集成到 Java Web 系统的标准流程第三学会了用结构化 Prompt 约束大模型输出降低幻觉第四完整走过了一个毕设项目从数据、训练、模型评估到前后端联调的生命周期。如果后续想继续深入可以从以下几个方向入手用更精细的骨折分割模型如 SA-Net、U-Net 变体替换目标检测框输出像素级骨折区域。引入注意力机制和 Grad-CAM 热力图增强论文中的可解释性分析。在 Prompt 中加入医学知识库让大模型生成结论时引用权威知识依据。把系统从单体部署升级为 Docker Compose 多容器部署写进论文“系统部署”章节会更有工程感。医学影像 AI 这个方向的门槛不在于单一算法而在于把算法、数据和业务场景串联成闭环。本文这套系统虽然定位是毕业设计但架构思路已经是小型科研原型的标准形态。建议读者不要只停留在复现代码把每个模块拆开研究“为什么这么设计”收获会比一份“能运行的作业”大得多。项目源码和详细部署文档整理好后会同步发布到资源仓库需要的同学可以收藏这篇文章后续会继续更新胸部X光肺炎检测、眼底图像病灶分析等类似项目教程也可以留言沟通具体需求。