文心一言开发指南08——千帆大模型平台推理服务API
版权声明
- 本文原创作者：谷哥的小弟
- 作者博客地址：http://blog.csdn.net/lfdfhl
推理服务API概述
百度智能云千帆平台提供了丰富的推理服务API，包括对话Chat、续写Completions、向量Embeddings、批量预测等API能力。
- 对话Chat：支持创建chat，用于发起一次对话。
- 续写Completions：支持创建completion，用于发起一次续写请求，不支持多轮会话等。
- 向量Embeddings：支持Embeddings，用于根据输入内容生成对应的向量表示。
- 重排序Reranker：支持重排序Reranker，用于重新排序向量模型返回的top-k文档，优化语义搜索结果
- 自定义模型：平台支持HuggingFace Transformer架构的自定义大模型导入，将自定义模型发布为服务，并支持通过相关API调用该服务。
- 图像Images：提供图像相关API能力。
- Token计算，根据输入计算token数。
- 批量预测：提供创建批量预测任务、获取批量预测任务详情等能力。
千帆大模型平台推理服务API链接如下：
https://cloud.baidu.com/doc/WENXINWORKSHOP/s/qlgujhcpo
千帆大模型平台推理服务AP图示如下：
推理服务API调用方式
根据不同鉴权方式千帆大模型平台提供了2种API调用方式。
-
1、使用access_token进行鉴权调用API流程
-
2、基于安全认证AK/SK进行鉴权调用API流程
官方链接如下：
https://cloud.baidu.com/doc/WENXINWORKSHOP/s/yloieb01t
使用access_token鉴权调用API
使用访问凭证access_token进行鉴权，调用API 流程，如下图所示：
官方教程如下：https://cloud.baidu.com/doc/WENXINWORKSHOP/s/dlv4pct3s
基本步骤如下：
- 创建千帆应用。创建应用后，获取AppID、API Key、Secret Key 等信息。
- API 授权。针对付费服务，需在千帆大模型平台-在线服务页面，点击开通付费。
- 获取接口访问凭证 access_token。调用获取access_token接口获取 access_token ，通过 access_token 鉴权调用者身份。
- 调用API接口。
请注意：access_token默认有效期30天，所以在生产环境注意及时刷新。
基于安全认证AK/SK鉴权调用API
基于安全认证AK/SK进行鉴权，调用API流程简介如下图所示：
官方教程如下：https://cloud.baidu.com/doc/WENXINWORKSHOP/s/Hlwerugt8
基本步骤如下：
- API授权。千帆平台默认为应用开通所有API调用权限，无需申请授权。如需申请，可以在千帆平台-在线服务页面，点击开通付费。
- 获取安全认证Access Key（即AK）/Secret Key（即SK）。
- 生成鉴权认证信息Authorization。根据签名计算生成鉴权信息Authorization，具体流程请参考鉴权机制。
- 调用API接口。
在线调试
千帆大模型平台提供了 API在线调试平台 ，用于帮助开发者调试接口，平台集成快速检索、查看开发文档、查看在线调用的请求内容和返回结果、复制和下载示例代码等功能，简单易用。
在线调试平台-示例代码中心官方链接如下：
https://console.bce.baidu.com/support/#/api
