聆思CSK6大模型开发板上手参考

前面发了很多大模型语音交互相关的技术文章,这篇给大家介绍一下大模型语音交互示例的硬件和上手概况。

硬件概况

聆思CSK6大模型开发板长宽尺寸是99.1x72.1mm, 集成了摄像头、麦克风、扬声器、屏幕、无线模块、TF卡等,可以直接用于大模型语音交互和视觉识别的功能开发验证。套件还配了一个红外摄像头,使用人脸活体识别的时候可以替换现在的普通摄像头。

网络模块

集成的是ESP32 C3模组,支持2.4G网络和蓝牙BLE连接,有引出调试接口,提供源码支持二次开发。

注意:若给开发板定制外壳注意不要遮挡麦克风和无线模块,以免影响语音交互效果。

触摸屏

显示区域是2.4寸,屏幕数据接口是SPI接口,触摸接口是I2C,支持自行更换为更大尺寸的SPI屏或串口屏。

主芯片

触摸屏是可拔插设计,拔起触摸屏后就可以看到主芯片CSK6011 A、扩展I/O芯片和DAPLink芯片,因为开发板已集成了DAPLink芯片,所以大家烧录程序或者是调试的时候无须接串口工具板,直接用USB线连接开发板的DAP_USB口和电脑就可以了,很方便。

摄像头

如果使用人脸活体识别示例,需要把普通摄像头这里换为红外摄像头,这时把摄像头底座打开就可以直接更换。普通摄像头和红外摄像头后面都是通过双面胶固定,可以根据应用场景贴在开发板的前面或后面

开发板默认配套的摄像头模组是 30W 像素,满足人脸识别、坐姿检测、头肩跟拍、手势识别的需求。可以自行更换更高像素的摄像头,但更换摄像头需要重新开发集成驱动,且会影响出厂示例算法结果的准确率,如果要使用出厂视觉识别算法不建议更换摄像头。

示例上手指引

聆思CSK6大模型开发套件 (CSK6-MIX 2.0) 默认烧录了用于加载 TF 卡内应用的固件,打开开关后,就会显示TF内 集成的所有应用图标通过触摸滑动可以浏览应用,长按屏幕图标就会加载对应示例,加载过程相就是把TF中的固件文件烧录到开发板上,所以加载时间较长。但重复打开前一次加载成功的示例会跳过烧录过程,这时打开就特别快了。

为方便大家体验AI能力,配套的TF卡中放了十多个示例固件,并可以从线上文档中心获得最新版本自主更新,TF卡资料地址:https://docs2.listenai.com/x/oEuqR5JaN

上电前

先确认TF卡是否已正常安装,如果开发板启动后没有显示示例图标,大多数情况是TF碰松了,只需要把TF卡拔插一下,重新启动开发板就可以正常显示了。

首次上手

推荐使用【大模型语音+识图】应用,示例主要功能有:大模型语音交互、拍照识图、图片生成等,使用前需要先联网,联网方式参考:https://docs2.listenai.com/x/2V18-j2v2

如果首次使用开发板已经配网,但是WIFI图标显示为断开状态,一般是本地使用的DNS首次解析大模型地址较慢导致,可以等待10秒左右或重启开发板可解决。

当右上角 WIFI 图标显示正常,桌面时间会更新到当前北京时间,表示当前设备和云端大模型服务连接成功,此刻就可以体验大模型语音交互和其他功能效果。

在触摸屏幕最上方下划进入快捷配置菜单,这里可以通过拖动调节屏幕亮度和喇叭播放声音,点击齿轮图标可以打开配置菜单。

开发板支持三种交互方式:键唤醒、语音唤醒(单轮交互)、语音唤醒(多轮交互),选中对应的模式后,点击左上角图标即可回到待机页面并生效。

在网络配置可以切换连接的wifi,在应用页面可以查看大模型开发板当前接入的大模型应用相关的配置ID,调试自定义大模型应用的时候可以用来核对配置是否正确。

点击【恢复默认】可以把开发板调用的自定义大模型应用恢复为出厂默认示例应用

点击【扫码接入】可以扫描聆思平台(LSPlatform)自定义应用生成的配置二维码

初次上手请参考文档中心【功能体验】来了解示例功能,大模型应用开发可以从【接入云端简易配置应用】开始,如要恢复出厂设置,参考【应用合集TF卡】一文操作即可,聆思文档中心地址:https://docs2.listenai.com/

B站上也有配套系列视频持续更新,可以搜索【聆思AI芯片】观看

开发板支持接入国内主流的大模型,如果有把大模型应用到智能硬件上的想法,可以先通过视频和博客了解。云端大模型应用使用json实现接入做二次开发,开发板系统是Zephyr RTOS,如果想基于SDK做的二次开发使用C语言,了解的过程中有疑问也可以在评论区直接沟通。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.xdnf.cn/news/1545151.html

如若内容造成侵权/违法违规/事实不符,请联系一条长河网进行投诉反馈,一经查实,立即删除!

相关文章

洛谷P2571.传送带

洛谷P2571.传送带 三分模板题 用于单峰函数求极值 一定可以将答案路径分成三段即AE - EF - FD (E和A可能重复,F和D可能重合) E在线段AB上,F在线段CD上 因为有两个不定点EF,因此假设E为参数,三分求F的位置再外层三分求E的位置 …

【JVM】一篇文章彻底理解JVM的组成,各组件的底层实现逻辑

文章目录 JVM 的主要组成部分类加载器(Class Loader)1. 加载(Loading)2. 链接(Linking)3. 初始化(Initialization) Execution Engine(执行引擎)1. 解释器&…

基于SpringBoot+Vue+MySQL的美食点餐管理系统

系统展示 用户前台界面 管理员后台界面 系统背景 在数字化快速发展的今天,餐饮行业也迎来了转型升级的重要机遇。传统餐饮管理方式面临效率低下、顾客体验不佳等问题。为此,开发一款基于SpringBootVueMySQL架构的美食点餐管理系统显得尤为重要。该系统旨…

详解机器学习经典模型(原理及应用)——岭回归

一、什么是岭回归 岭回归(Ridge Regression),也称为Tikhonov正则化(Tikhonov Regularization),是一种专门用于处理多重共线性(特征之间高度相关)问题的线性回归改进算法,…

Go Mail设置指南:如何提升发送邮件效率?

Go Mail使用技巧与配置教程?如何用Go Mail实现发信? 随着工作负载的增加,如何高效地发送和管理邮件成为了许多职场人士面临的挑战。AokSend将为您提供一份详细的Go Mail设置指南,帮助您提升发送邮件的效率,让您的邮件…

Java网络编程、正则表达式、单例设计模式与Lombok

目录 Java网络编程、正则表达式、单例设计模式与Lombok Java网络编程 软件结构 网络基础知识 相关概念 IP地址 TCP协议和UDP协议介绍 TCP协议的三次握手和四次挥手 UDP协议编程 创建客户端 创建服务端 运行 TCP协议编程 创建客户端 创建服务端 运行 文件上传案例 创建客户端 创…

风力发电机叶片表面缺陷识别检测数据集yolo数据集 共7000张

风力发电机叶片表面缺陷识别检测数据集yolo数据集 共7000张 风力发电机叶片表面缺陷识别数据集(Wind Turbine Blade Defects Recognition Dataset, WTBDRD) 摘要 WTBDRD 是一个专门为风力发电机叶片表面缺陷识别而设计的数据集,旨在为相关领…

OpenAPI鉴权(二)jwt鉴权

一、思路 前端调用后端可以使用jwt鉴权;调用三方接口也可以使用jwt鉴权。对接多个三方则与每个third parth都约定一套token规则,因为如果使用同一套token,token串用可能造成权限越界问题,且payload交叉业务不够清晰。下面的demo包…

探索图像生成大模型Imagen:从理论到代码实践

一、引言 在当今的人工智能领域,图像生成技术取得了令人瞩目的进展。其中,Imagen作为一款强大的图像生成大模型,吸引了众多研究者和开发者的目光。它能够生成高质量、逼真的图像,为艺术创作、游戏开发、虚拟现实等众多领域带来了无…

数据集-目标检测系列-老虎检测数据集 tiger>> DataBall

数据集-目标检测系列-老虎检测数据集 tiger>> DataBall 数据集-目标检测系列-老虎检测数据集 tiger 数据量:6k 想要进一步了解,请联系。 DataBall 助力快速掌握数据集的信息和使用方式,享有百种数据集,持续增加中。 数据…

【算法】模拟:(leetcode)6.Z 字形变换(medium)

目录 题目链接 题目介绍 解法 1、模拟: 2、找矩阵中的规律: 公差 第一行和最后一行 中间行 代码 题目链接 6. Z 字形变换 - 力扣(LeetCode) 题目介绍 解法 1、模拟: 采用模拟的思想,按照Z字形&…

太速科技-383-基于kintex UltraScale XCKU060的双路QSFP+光纤PCIe 卡

基于kintex UltraScale XCKU060的双路QSFP光纤PCIe 卡 一、板卡概述 本板卡系我司自主研发,基于Xilinx UltraScale Kintex系列FPGA XCKU060-FFVA1156-2-I架构,支持PCIE Gen3 x8模式的高速信号处理板卡,搭配两路40G QSFP接口&#xff…

dev containers plugins for vscode构建虚拟开发环境

0. 需求说明 自用笔记本构建一套开发环境,用docker 虚拟插件 dev containers,实现开发环境的构建,我想构建一套LLMs的环境,由于环境配置太多,不想污染本地环境,所以选择隔离技术 1. 环境准备 vscodedocker 2. 步骤…

Xilinx 使用DDS实现本振混频上下变频

文章目录 一、什么是混频?二、为什么要进行混频?三、Matlab实现混频操作四、FPGA实现混频上下变频操作4.1 例化IP4.2 仿真验证 一、什么是混频? 混频(Mixing)是信号处理中的一个核心概念,混频的本质是将两个…

C语言 | Leetcode C语言题解之第435题无重叠区间

题目: 题解: int cmp(int** a, int** b) {return (*a)[1] - (*b)[1]; }int eraseOverlapIntervals(int** intervals, int intervalsSize, int* intervalsColSize) {if (intervalsSize 0) {return 0;}qsort(intervals, intervalsSize, sizeof(int*), cm…

Git版本控制的使用教程

使用Git进行项目代码的版本控制,具体操作: 1). 创建Git本地仓库 当Idea中出现: 说明本地仓库创建成功。 2). 创建Git远程仓库 访问Gitee - 基于 Git 的代码托管和研发协作平台,新建仓库 点击 创建 3). 将本地文件推送到Git远程…

typename、非类型模板参数、模板参数的特化、模板类成员函数声明和定义分离、继承等的介绍

文章目录 前言一、typename二、非类型模板参数三、模板参数的特化1. 函数模板参数的特化2. 类模板的特化 四、模板类成员函数声明和定义分离1. 显示实例化(不建议使用)2. 将生命和定义写在同一个.h文件中 五、 继承总结 前言 typename、非类型模板参数、…

基于DAMODEL——Faster-RCNN 训练与测试指南

Faster-RCNN 训练与测试指南 前言 今天我们要来实现一个经典的目标检测模型:Faster-Rcnn。我们使用DAMODEL云平台来实现,这是个很强大的云端平台,功能众多,你可以投你所好去进行你想做的事情。 1. 环境与工具准备 1.1 远程连接…

【漏洞复现】用友 U8CRM getemaildata.php 任意文件读取漏洞

免责声明: 本文内容旨在提供有关特定漏洞或安全漏洞的信息,以帮助用户更好地了解可能存在的风险。公布此类信息的目的在于促进网络安全意识和技术进步,并非出于任何恶意目的。阅读者应该明白,在利用本文提到的漏洞信息或进行相关测…

【VMware及CentOS7】安装 配置

一、VMware安装 这里选择的版本是16.1.2,这里不再赘述安装过程,无难点。 crack key: ZF3R0-FHED2-M80TY-8QYGC-NPKYF YF390-0HF8P-M81RQ-2DXQE-M2UT6 ZF71R-DMX85-08DQY-8YMNC-PPHV8 110L3-9135J-M807A-08ARK-84V7L FF31K-AHZD1-H8ETZ-8WWE…