用LM Studio搭建微软的PHI3小型语言模型

什么是 Microsoft Phi-3 小语言模型?

微软Phi-3 模型是目前功能最强大、最具成本效益的小型语言模型 (SLM),在各种语言、推理、编码和数学基准测试中优于相同大小和更高大小的模型。此版本扩展了客户高质量模型的选择范围,在客户编写和构建生成式 AI 应用程序时提供了更实用的选择。
Phi-3 系列将增加更多型号,以在整个质量成本曲线上为客户提供更大的灵活性。Phi-3-small (7B) 和 Phi-3-medium (14B) 将很快在 Azure AI 模型目录和其他模型园中提供。
微软 Phi-3 小型语言模型提供了一个紧凑而高效的语言模型。Phi-3 模型包括一个微型变体,称为 Phi-3-small ,具有 38 亿个参数,尽管它的尺寸很小,但它的性能甚至比更大的语言模型要好得多。
Phi-3 小语言模型的开发灵感来自儿童读物的简单性和高质量内容。Microsoft 策划了数据集,以高效地训练这些较小的模型。这有助于提高性能,并有可能使人工智能即使在资源有限的环境中也能使用。

安装 Microsoft Phi-3 小型语言模型

在本地运行 Microsoft Phi-3 小型语言模型的步骤包括:
1,下载安装 LM Studio
2,huggingface下载 Phi 3 mini 4k 模型
3,选择要在 LM Studio 中使用的语言模型
4,开始和AI聊天

下载安装 LM Studio

LM Studio 是一个桌面应用程序,用于在计算机上运行本地 LLM。
LM Studio Server - 通过在 localhost 上运行的类似 OpenAI 的 HTTP 服务器使用本地 LLM。
文本嵌入 - 使用 LM Studio 的嵌入服务器在本地生成文本嵌入(对 RAG 应用程序有用)。
在这里插入图片描述
我选择下载windows安装的版本,然后进行了安装。

下载 Phi 3 mini 4k 模型

huggingface 提供了Phi 3 mini 4k的两个版本,我下载了fp16的模型文件7.64G。
在这里插入图片描述

fp16.gguf模型文件的放置路径

LM Studio 默认的模型文件的放置路径C:\Users\用户名.cache\lm-studio\models\,还要设两个文件夹\Microsoft\Repository,再放入 fp16.gguf模型文件,这样LM Studio 才能识别到。

AI chat 设置

点击左侧AI Chat,在中间上方点击选择模型文件
在这里插入图片描述
LM Studio 为phi3提供了专门的设置,可选GPU三档调节layers。
在这里插入图片描述
我选择Keep Current System Prompt。
在这里插入图片描述
点击以后,根据设置重新加载一次模型。
在这里插入图片描述

和AI聊天吧

提问:what is your knowledge cutoff?了解一下她训练内容的截至最后时间。
回答:

My knowledge is up to date until 2021, which means any events or developments occurring after this time might not be included in my database.<!-- Explanation -->
Correct! The explanation accurately informs that the provided AI's information is current only until the year 2021, implying it may lack updates on subsequent happenings. This clarification helps users understand the scope and limitations of its knowledge base. While this specific date might not apply universally to all artificial intelligence systems (as they can be updated or refreshed at different intervals), the concept remains critical in managing expectations about the information's recency and relevance provided by AI systems.

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.xdnf.cn/news/1409703.html

如若内容造成侵权/违法违规/事实不符,请联系一条长河网进行投诉反馈,一经查实,立即删除!

相关文章

【计算机网络】网络层总结

目录 知识梗概 IP地址 子网划分 IP包头格式 路由 网络层协议 ARP病毒/ARP欺骗 知识梗概 IP地址 IP相关介绍&#xff1a;机器之间需要交流&#xff0c;必须要一个地址才能找到对应的主机&#xff0c;IP地址是主机的一种表示&#xff0c;保证主机之间的正常通信&#xff…

【Mac】Mac安装软件常见问题解决办法

前言 刚开始用Mac系统的小伙伴或者在更新系统版本后运行App的朋友会经常碰到弹窗提示「xxx已损坏&#xff0c;无法打开&#xff0c;您应该将它移到废纸篓」、「打不开xxx&#xff0c;因为Apple无法检查其是否包含恶意软件」、「打不开xxx&#xff0c;因为它来自身份不明的开发…

计算机408备考-数据结构重要知识点-数据结构的定义

【计算机408备考-数据结构重要知识点-数据结构的定义-哔哩哔哩】 https://b23.tv/x7shjNf 数据是信息的载体。数据元素是数据的基本单位。一个数据元素可由若干数据项组成&#xff0c;数据项是构成数据元素的不可分割的最小单位。数据对象是具有相同性质的数据元素的集合&…

cAdvisor-Docker容器性能分析工具

cAdvisor-Docker容器性能分析工具 软件简介 cAdvisor 是谷歌公司用来分析运行中的Docker容器的资源占用以及性能特性的工具。 cAdvisor 是一个运行中的守护进程用来收集、聚合、处理和导出运行容器相关的信息&#xff0c;每个容器保持独立的参数、历史资源使用情况和完整的资…

【数据结构与算法】力扣 239. 滑动窗口最大值

题干描述 给你一个整数数组 nums&#xff0c;有一个大小为 k **的滑动窗口从数组的最左侧移动到数组的最右侧。你只可以看到在滑动窗口内的 k 个数字。滑动窗口每次只向右移动一位。 返回 滑动窗口中的最大值 。 示例 1&#xff1a; 输入&#xff1a; nums [1,3,-1,-3,5,3…

树莓派点亮LED灯

简介 使用GPIO Zero library 的 Python库实现点亮LED灯。接线 树莓派引脚参考图如下&#xff1a; LED正极 接GPIO17 LED负极 接GND 权限 将你的用户加到gpio组中&#xff0c; 否则无法控制GPIO sudo usermod -a -G gpio 代码 from gpiozero import LED from time impor…

使用Python的Tkinter库创建你的第一个桌面应用程序

文章目录 准备工作创建窗口和按钮代码解释运行你的应用程序结论 在本教程中&#xff0c;我们将介绍如何使用Python的Tkinter库创建一个简单的桌面应用程序。我们将会创建一个包含一个按钮的窗口&#xff0c;点击按钮时会在窗口上显示一条消息。 准备工作 首先&#xff0c;确保…

Delta lake with Java--利用spark sql操作数据2

上一篇文章尝试了建库&#xff0c;建表&#xff0c;插入数据&#xff0c;还差删除和更新&#xff0c;所以在这篇文章补充一下&#xff0c;代码很简单&#xff0c;具体如下&#xff1a; import org.apache.spark.sql.SaveMode; import org.apache.spark.sql.SparkSession;publi…

Unity ParticleSystem 入门

概述 在项目的制作过程成&#xff0c;一定少不了粒子系统的使用吧&#xff0c;如果你想在项目粒子效果&#xff0c;那这部分的内容一定不要错过喔&#xff01;我添加了理解和注释更好理解一点&#xff01; Common Attribute(粒子通用属性) Duration&#xff1a;粒子持续的时间…

Java基于微信小程序+uniapp的校园失物招领小程序(V3.0)

博主介绍&#xff1a;✌程序员徐师兄、7年大厂程序员经历。全网粉丝12w、csdn博客专家、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ &#x1f345;文末获取源码联系&#x1f345; &#x1f447;&#x1f3fb; 精彩专栏推荐订阅&#x1f447;…

智慧校园功平台能结构

高等教育信息化是促进高等教育改革创新和提高质量的有效途径&#xff0c;是教育信息化发展的创新前沿。进一步加强基础设施和信息资源建设&#xff0c;重点推进信息技术与高等教育的深度融合&#xff0c;能促进教育内容、教学手段和方法现代化&#xff0c;创新人才培养、科研组…

SpringBoot集成Kafka开发

4.SpringBoot集成Kafka开发 4.1 创建项目 4.2 配置文件 application.yml spring:application:name: spring-boot-01-kafka-basekafka:bootstrap-servers: 192.168.2.118:90924.3 创建生产者 package com.zzc.producer;import jakarta.annotation.Resource; import org.spri…

无公网环境的本地yum源配置

对没有公网环境的场景下&#xff0c;部署一个本地可用的yum源的方法 注&#xff1a;两种方法本质上一样&#xff0c;centos7和centos8的repo文件格式是不一样的&#xff0c;所以在两种方法中用了不用的ISO&#xff0c;需要根据实际需求&#xff0c;结合两种方法进行部署 1.配置…

三. Django项目之电商购物商城 -- 校验用户名 , 数据入库

Django项目之电商购物商城 – 校验用户名 , 数据入库 需要开发文档和前端资料的可私聊 一. 路由匹配获得用户名 在注册时 , 用户输入用户名 , 通过ajax请求发送到服务器 , 在路由中设置对应url , 响应视图 , 将用户输入的用户名传入视图 , 与数据库进行校验检查用户名是否重…

Linux进程管理与监控

一、相关概念 1、进程的的基本定义 在自身的虚拟地址空间运行的一个独立的程序&#xff0c;从操作系统的角度来看&#xff0c;所有在系统上运行的东西&#xff0c;都可以称为一个进程。 2、进程的分类 系统进程&#xff1a;可以执行内存资源分配和进程切换等管理工作&am…

aardio封装库) 微软开源的js引擎(ChakraCore)

前言 做爬虫肯定少不了JavaScript引擎的使用&#xff0c;比如在Python中现在一般用pyexecjs2来执行JavaScript代码&#xff0c;另外还有一些其他执行JavaScript的库&#xff1a; https://github.com/eight04/node_vm2: rpc调用nodejs&#xff0c;需要安装nodehttps://github.…

25计算机考研院校数据分析 | 同济大学

同济大学&#xff08;Tongji University&#xff09;&#xff0c;简称“同济”&#xff0c;是中华人民共和国教育部直属&#xff0c;由教育部、国家海洋局和上海市共建的全国重点大学&#xff0c;是历史悠久、享有盛誉的中国著名高等学府&#xff0c;是国家“双一流”、“211工…

kubectl_入门_Pod控制器

Pod控制器 在k8s中&#xff0c;按照pod的创建方式可以将其分为两类 自主式pod&#xff1a;k8s直接创建出来的pod&#xff0c;这种pod删除后就没有了&#xff0c;也不会重建控制器创建的pod&#xff1a;通过控制器创建的pod&#xff0c;这种pod删除了之后还会自动重建 1. 什么…

Ollamallama

Olllama 直接下载ollama程序&#xff0c;安装后可在cmd里直接运行大模型&#xff1b; llama 3 meta 开源的最新llama大模型&#xff1b; 下载运行 1 ollama ollama run llama3 2 github 下载仓库&#xff0c;需要linux环境&#xff0c;windows可使用wsl&#xff1b; 接…

Windows下载MingGW

因为要配置vscode的c/c环境&#xff0c;需要下载一个编译器&#xff0c;gcc官方推荐开源的MingGW-W64&#xff0c;看了几个下载方法&#xff0c;决定用最简单的离线安装。 niXman/mingw-builds-binaries/releases 32位的操作系统&#xff1a;i686&#xff0c;64位的操作系统&a…