统信UOS早有布局的「端侧模型」的相关信息。
文章目录
- 前言
- 一、究其原因
- 1. 从需求侧来看
- 2. 从技术侧来看
- 二、产品特色
- 1. 更流畅的使用体验
- 2. 更智能的加速框架
- 3. 更包容的硬件策略
前言
在苹果2024秋季新品发布会上,苹果发布了有史以来最大的iPhone。而同一天开发布会的华为,重磅发布了首款三折屏手机。
智能手机越做越大,是为了装下大模型吗?
回顾2022年,自从ChatGPT/GPT大语言模型发布以来,大模型一直在持续增大,因为业界相信扩展定律(Scaling Law),相信能通过大数据+大参数打造更大的模型从而拥有更高的智能。
当时不可一世的GPT-3的训练参数量级已经来到了175B,但在参数量这个赛道上,它依旧不是王者。更甚者如Luminous 的200B、Gopher的280B、PaLM的540B。
因此在当时,几乎没有个人PC能够承载大模型的运算参数。可以说当时的大模型仅属于硬件俱乐部的宠儿,个人想使用大模型,除非搭建Nvidia计算卡集群,如此苛刻的条件下,国内大模型厂商几乎是要靠不断砸钱才能维持运转。
如今发展到2024年,大模型世界发生了一些新的变化——一些大模型开始把自己越做越小。
2024年以来,微软、谷歌、苹果相继发布轻量化的AI大模型,以满足个人电脑