使用AI实现宠物问诊

之前帮公司实现了一个Ai问诊的app,刚好写一篇.
通过宠物的图片、视频或者主人的描述,来生成病情报告.
在匹配出合适的医院,让主人挑选预约就医.

按照以下流程,其实都还挺简单的,一般配上前后端各一个,
具备一定经验的前提下,2-4周左右,就能出第一版本了.

目录:1:Ai使用GPT1.1 调用gpt接口1.2 返回使用流或者JSON1.3 使用assistaant来存储上下文1.4 使用Role来定义助手的职责1.5 视频截取帧1.6 控制token数量2:地图医院信息2.1 医院信息位置爬取2.2 医院信息上传2.3 gpt问答的时候,匹配最近的医院3:知识库3.1 宠物健康知识、问答等知识爬取3.2 知识库上传 一:Ai使用GPT1.去官方拿api接口,获取密钥,普通接口调用即可.assistaant会麻烦点,需要创建线程、消息、文件等等,这些建议直接看官方文档2.返回使用流或者JSON因为gpt返回的时候默认是流,他会一个字一个字的返回,所以我们的https接口建议也可以用Stream,这样的话,客户端就不会陷入长时间的等待,会一个字一个字的加载.嫌麻烦用json也行.3. 使用assistaant来存储上下文GPT创建助手,用来存储上下文聊天信息,这样的话AI每次分析问题的时候,就能结合全局聊天来判断了4.使用Role来定义助手的职责给assistaant定义它是干什么,比如宠物问诊助手,以及它要用什么形式来进行问答流程.5. 视频截取帧我们会通过图片和视频来判断宠物症状,但是GPT目前是不支持上传视频的,所以我们会通过FFmpeg来截取视频帧来上传.6. 控制token数量GPT用会把问答信息转换为token数量来计费,所以我们需要计算一下每次问答耗费了多少token数量.二:地图医院信息1.医院信息位置爬取可以使用google地图api直接获取,但是比较贵通过https://petsapp.com这个网站也能获取通过他们api的规则去爬,又或者直接开启网页去爬,但是这样的方式会慢点2.医院信息上传爬取下来的信息可以持久化,上传到assistaant助手里.3.gpt问答的时候,匹配最近的医院问答进度到了百分之百的时候,根据经纬度匹配医院信息.三:知识库1 宠物健康知识、问答等知识爬取GPT上关于宠物知识数据并不多且不具体,所以需要我们额外的去爬取,还有一些问诊思路,例如宠物食欲不振大概有哪些方面影响的,会问你最近宠物有做过什么没.去https://www.merckvetmanual.com/dog-owners获取2 知识库上传 上传到assistaant文件里也可以. 可以通过文件来进行信息补充.但这个最好有一个专门的平台来处理,我们是使用https://dify.petority.app