模型案例:| 手机识别模型!

导读

2023年以ChatGPT为代表的大语言模型横空出世,它的出现标志着自然语言处理领域取得了重大突破。它在文本生成、对话系统和语言理解等方面展现出了强大的能力,为人工智能技术的发展开辟了新的可能性。同时,人工智能技术正在进入各种应用领域,在智慧城市、智能制造、智慧医疗、智慧农业等领域发挥着重要作用。

柴火创客2024年将依托母公司Seeed矽递科技在人工智能领域的创新硬件,与全球创客爱好者共建“模型仓”,通过“SenseCraft AI”平台可以让使用者快速部署应用体验人工智能技术!

本期介绍:模型案例:| 手机识别模型

RT-DETR

RT-DETR是基于DETR架构的端到端对象检测器,完全消除了对NMS的需求。通过这样做,RT-DETR显着减少了之前基于卷积神经网络(CNN)的对象检测器(如YOLO系列)的延迟。它结合了强大的主干、混合编码器和独特的查询选择器,可以快速准确地处理特征。

RT-DETR架构的关键组件

Backbone网络:通常采用高效的卷积神经网络(CNN)作为特征提取的基础,例如ResNet或EfficientNet,以获取图像的多尺度特征。从主干,RT-DETR提取三个级别的特征- S3,S4和S5,这些多尺度特征有助于模型理解图像的高级和细粒度细节。

Transformer编码器-解码器:RT-DETR中使用了Transformer的编码器-解码器结构,该混合编码器包括两个主要部分:基于注意力的尺度内特征交互(AIFI)和跨尺度特征融合(CCFF)。

基于注意力的尺度内特征交互(AIFI)

这个组件的核心思想是利用自注意力机制在同一尺度内进行特征交互。AIFI能够让模型有效地捕捉同一尺度特征图中各个位置之间的关系。

具体而言,AIFI通过计算特征的注意力权重,使得模型能够关注到重要的区域,并抑制冗余信息,从而增强对目标的定位和表征能力。

这种尺度内的交互有助于在相似尺寸的物体之间建立联系,提高对密集目标的检测能力。

跨尺度特征融合(CCFF)

CCFF负责整合来自不同尺度的特征,以便于模型能够从多层次的信息中获得更全面的上下文。这一过程通常涉及将来自不同尺度的特征图进行融合,通过卷积操作、上采样或下采样等方式,将这些特征进行对齐并结合在一起。

CCFF不仅允许模型综合不同尺度特征的优势,还能提高对各种大小目标的检测能力。

多尺度特征金字塔:RT-DETR通常会借助特征金字塔网络(FPN)来融合来自不同层次的特征,以加强对不同大小目标的检测能力。

目标查询(Object Queries):解码器使用的目标查询是关键组件,它们用于引导模型对目标的检测,允许模型在生成检测结果时关注不同的潜在目标。

类别和边界框回归:在解码器中,RT-DETR通过类别预测和边界框回归来输出目标的类别和位置。

高效的训练策略:RT-DETR往往结合了一些改进的训练策略,如动态图损失(Dynamic Loss)和图像增强技术,以提高模型的收敛速度和检测精度。

后处理:如NMS(非极大值抑制)处理步骤,以去除冗余的检测框和优化最终的检测结果。

手机识别模型

该 AI 模型由 Swift yolo 算法生成,专为 Seeed Studio Grove Vision AI (V2) 设备设计,能够高效识别和检测到手机。

应用场景

该模型适用于多种应用场景,包括零售、安全、公共空间监控和个人监督。

在零售业,该模型可以实时监控手机库存,帮助员工及时补货;

在安全方面,它可以帮助识别和跟踪丢失或被盗的手机;

在个人监督,很多大学学生上课玩手机,可以通过此模型进行监控。

在Grove - Vision AI V2模块上部署此模型

  1. 打开SenseCraft AI平台,如果第一次使用请先注册一个会员账号,还可以设置语言为中文。

平台地址:https://sensecraft.seeed.cc/ai/#/model

2、在顶部单击【预训练模型】菜单,在公共AI模型列表中找到【手机检测】模型,单击此模型图片,如下图所示。

3、进入【手机检测】模型介绍页面,单击右侧的“部署模型”按钮,如下图所示。

  1. 进入部署手机检测模型页面,按提示步骤先连接摄像头,再连接设备到电脑USB接口上,最后单击【连接设备】按钮,如下图所示。

5、弹出部署模型窗口,单击“确定”按钮,如下图所示。

6、弹出连接到串行端口窗口,选择端口号后单击“连接”按钮,如下图所示。

7、开始进行模型部署、固件下载、设备重启等过程,完成后在预览中即可看到当前摄像头视频内容,将摄像头对准手机图片查看预测效果,如下图所示。

原型设计

利用此手机识别模型,设计一个桌面手机监控装置,此装置在检测到有人用手机时会点亮led模块,也可改为蜂鸣器模块进行报警,这样就有了一个防沉迷手机检测装置。

下面是视频演示

手机识别模型

Grove Al视觉模块 V2套装介绍

Grove Al视觉模块 V2

OV5647-62摄像头

Grove - Vision Al Module V2是一款拇指大小的人工智能视觉模块, 配备Himax WiseEye2 HX6538处理器, 该处理器采用 ArmCortex-M55双核架构。

它具有标准的CSI接口, 并与树莓派相机兼容。它有一个内置的数字麦克风和SD卡插槽。它非常适用于各种嵌入式视觉项目。

有了SenseCraft Al算法平台, 经过训练的ML模型可以部署到传感器, 而不需要编码。它兼容XIAO系列和Arduino生态系统, 是各种物体检测应用的理想选择。

主要硬件配置

- 板卡基于WiseEye2 HX6538处理器, 采用双核ARM Cortex-M55架构

- 配备集成Arm Ethos-U55微神经网络加速单元, 兼容的树莓派相机

- 板载PDM麦克风, SD卡插槽, Type-C, Grove接口, 丰富的外设支持样机开发

- Seeed Studio XIAO的可扩展性, SenseCraft Al的现成AI模型用于无代码部署。

- 支持各种有效的模型, 包括MobilenetV1、MobilenetV2、 Eficientnet-Lite、Yolov5和Yolov8.

写在最后

SenseCraft-AI平台的模型仓数量还很少,但是好消息是它支持自定义模型上传并输出推理结果,平台会逐渐增加模型仓的数量,敬请关注!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.xdnf.cn/news/34688.html

如若内容造成侵权/违法违规/事实不符,请联系一条长河网进行投诉反馈,一经查实,立即删除!

相关文章

241205_给自己的应用加上语音助手功能

241205_给自己的应用加上语音助手功能 前面我们自己做了一个网易云音乐,但每次都要去点点点显得有点麻烦,所以我就考虑添加一些语音助手的功能。 其实当前在日常windows使用中,我觉得也就音乐播放需要一个语音助手交互,其他的功…

Navicat连接服务器MySQL

Navicat连接服务器MySQL 1. Navicat连接服务器MySQL2. 如何查看MySQL用户名和密码3. 修改MySQL登录密码4. 安装MySQL(Centos7)遇到错误和问题 1. error 1045 (28000): access denied for user ‘root’‘localhost’ (using password:yes) 1. Navicat连接服务器MySQL 选择数据…

得物新一代可观测性架构:海量数据下的存算分离设计与实践

一、引言 得物作为全球领先的潮流网购社区,日益增长的用户和数据带来了巨大的技术挑战。当前,得物的可观测性平台每天生成数PB级Trace数据和数万亿条Span记录,要求平台具备高效的实时处理能力和低成本的数据存储解决方案。 传统的存算一体架…

​ 基于51单片机的智能公交车报站系统GPS定位语音播报智能安全检测人数统计

功能介绍 以51单片机为控制核心.LCD12864可显示当前年月日,星期,时间, 当前站名,经纬度,是否连接GPS,自动/手动模式,自带GPS定位,可实时显示经纬度;通过DS1302时钟芯片…

Gitee配置SSH公钥

采用SSH协议同步Git仓库代码的好处就是高效。在配置好SSH公钥后,不需要每次操作都要输入用户名和密码(主要针对命令行来说)。 以我个人项目为例。 生成 SSH 公钥 1. 通过命令 ssh-keygen 生成 SSH Key: ssh-keygen -t ed25519…

CV(2)-插值和卷积

前言 仅记录学习过程,有问题欢迎讨论 看看年前可以学到哪。 频率: 灰度值变化程度的指标,是灰度再平面上的梯度幅值: 幅值: 是在一个周期内,交流电瞬时出现的最大绝对值,也是一个正弦波,波…

D362 php+mysql旅游服务网站的设计与实现 源码 配置 文档 全套资料

旅游服务网站的设计与实现 1.摘要2.开发目的和意义3.系统功能设计4.系统界面截图5.源码获取 1.摘要 近几年,随着我国国民经济和信息技术的迅速发展,旅游项目的开发和建设,已是我国旅游业发展重要经济来源之一,我国旅游业近几年的…

python——列表

目录 一,选择题 二,判断题 三,列表的思维导图 一,选择题 1.已知列表 xlist(range(9)),那么执行之后,x的值为( D ) A. [1,3,5,7,9] B.[1,3,5,7] C.[0,1…

JAVA面试基础(总结了很多)

最近帮整理了一份JAVA的面试基础,不过很基础后面还回继续更新。 java的专业技能 2.1 java的基础部分 2.1.1 简单讲一下java的跨平台原理 由于各操作系统(windows,liunx等)支持的指令集,不是完全一致的。就会让我们的程序在不同的操…

基于SpringBoot的社区医院管理系统(代码+论文)

🎉博主介绍:Java领域优质创作者,阿里云博客专家,计算机毕设实战导师。专注Java项目实战、毕设定制/协助 📢主要服务内容:选题定题、开题报告、任务书、程序开发、项目定制、论文辅导 💖精彩专栏…

linux下使用gdb运行程序,查看程序崩溃原因

1.什么是gdb? gdb 是 GNU Debugger 的缩写,是一个功能强大的用于调试程序的开源调试器工具。它可以帮助开发人员诊断和解决程序中的错误、跟踪程序执行过程、查看变量的值等。gdb 支持多种编程语言,包括 C、C、Objective-C、Fortran 等,并可…

代发考试战报:12月近几日通过,题库已经更新至12月5号

代发考试战报:12月近几日通过,题库已经更新至12月5号,考试大约会遇到几个新题,就算遇到的新题全错,也不影响考试通过,HCIA-PM 12月2号上海通过,售前L3 H19-435 HCSP-Storage 存储 上海通过&…

使用Kubernetes部署MySQL+WordPress

目录 前提条件 部署MySQL和WordPress 编写yaml文件 应用yaml文件 存在问题及解决方案 创建PV(持久化卷) 创建一个PVC(持久化卷声明) 部署添加PVC 查看PV对应的主机存储 删除资源 查看资源 删除deployment和service 查看主机数据 删除PVC和PV 删除主机数据 前提条…

深入解析 Nginx:基础介绍到原理分析及案例实践

引言 Nginx(“Engine-X”)是一个高性能的 HTTP 和反向代理服务器,广泛应用于 Web 服务、负载均衡、API 网关、反向代理、静态资源服务器等多种场景。由于其高效的性能、低资源消耗和灵活的配置,Nginx 成为众多互联网公司、企业以…

Apache HTTPD多后缀解析漏洞

进入靶场 上来就是一个文件上传的功能 经过尝试,发现只有jpg,png,gif文件能上传上去,而题目又说了,这个是Apache的中间件,Apache文件解析漏洞涉及到一个Apache解析文件的特性,Apache默认一个文…

JavaScript(二)

1.JavaScript 操作符 2.JavaScript 流程控制 3.JavaScript 循环 4.JavaScript 字符串方法 5.JavaScript 数组方法 知识点一 操作符 变量声明 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>Ti…

单链表---合并两个链表

将两个升序链表合并为一个新的升序链表并返回。新链表是通过拼接给定的两个链表的所有节点组成的。 struct ListNode {int val;struct ListNode* next; }; w 方法一---不使用哨兵位 我们创建一个新链表用于合并两个升序链表&#xff0c; 将两个链表中最小的结点依次尾插到…

2024-12月akamai_2.0-sensor-data之cookie反爬分析详细教程(上)

目录 一、网址及目标数据二、分析接口反爬点&#xff08;akamai执行过程&#xff09;三、逆向分析参数sensor_data四、扣js算法代码加密详细步骤 一、网址及目标数据 文章原文 1、网站&#xff1a; https://www.dhl.com/cn-zh/home/tracking/tracking-supply-chain.html?sub…

【Docker】如何在Docker中配置防火墙规则?

Docker本身并不直接管理防火墙规则&#xff1b;它依赖于主机系统的防火墙设置。不过&#xff0c;Docker在启动容器时会自动配置一些iptables规则来管理容器网络流量。如果你需要更细粒度地控制进出容器的流量&#xff0c;你需要在主机系统上配置防火墙规则。以下是如何在Linux主…

煤矿 35kV 变电站 3 套巡检机器人 “上岗”,力破供电瓶颈

近日&#xff0c;杭州旗晟智能科技与甘肃某变电站配电室的三套智能巡检机器人线下测试顺利完成&#xff0c;并成功交付使用&#xff0c;这为电力运维工作注入了全新的活力与强大的技术支撑。 一、项目背景 甘肃某变电站总建筑面积1098平方米的变电站集变电、配电、监控等多功能…