通过 LangChain 加载大模型

什么是 LangChain

LangChain 是一个用于开发由大型语言模型 (LLMs) 驱动的应用程序的框架。

为什么是 LangChain

因为 LLM 的 API 只是提供了一个非常基础的调用方式，当我们需要构建一个复杂的 Chat Bot 时，就需要考虑如何保存聊天的上下文、网络搜索、加载 PDF 等工程问题，而LangChain 提供了一种解决方案，让开发者可以专注于业务逻辑的开发。

足够的流行度和认可度，目前已经在 Github 获得 83k star，并且其上升速度非常恐怖：

[

而 LangChain.js 并不是 Python 版本的套壳，而是一个完整的团队从 0 开始构建的生态，足以看出官方对 JavaScript 生态的重视：

[

基于此，在下将以 LangChain.js 为例，去使用大模型领域最流行的框架去构建应用，感受大模型的魅力。

支持的环境

Node.js (ESM and CommonJS) - 18.x, 19.x, 20.x
Cloudflare Workers Cloudflare
Vercel / Next.js (Browser, Serverless and Edge functions)
Supabase Edge Functions Supabase
Browser
Deno

安装

要安装这个包，你可以使用 npm 或 yarn：

yarn add langchain

安装环境

node >= 18.x

通过 LangChain 加载大模型

本地大模型

可以通过 ollama list 查看所有的模型，然后通过 ollama pull 安装模型。

# 模型列表参考：https://ollama.com/library
ollama pull [model]

目前下载了一个 ollama3 的模型

当我们在本地启动了一个模型后，我们就可以通过 LangChain 来调用这个模型了。

import { Ollama } from '@langchain/community/llms/ollama';const ollama = new Ollama({baseUrl: "http://localhost:11434", model: "llama3", 
});ollama.invoke("用中文讲一个笑话").then((res) => {console.log('res', res);
});

输出结果 👇

云端大模型

OpenAI

在调用 OpenAI 之前需要先申请一个 API Key，然后将 API Key 设置为环境变量 OPENAI_API_KEY。

然后通过 langchain 的 OpenAI 类来调用 OpenAI 的模型。

调用之前需要先安装 @langchain/openai 包：

// 安装 openai 包
yarn add @langchain/openai

import { OpenAI } from "@langchain/openai";const model = new OpenAI({model: "gpt-3.5-turbo-instruct", // Defaults to "gpt-3.5-turbo-instruct" if no model provided.temperature: 0.9,apiKey: "YOUR-API-KEY", // In Node.js defaults to process.env.OPENAI_API_KEY
});
const res = await model.invoke("What would be a good company name a company that makes colorful socks?"
);
console.log({ res });

百度大模型

因为 OpenAI 在国内比较难访问，所以我们可以使用第三方大模型来避规访问慢的问题，这里以百度的大模型为例。

请将获取的API密钥设置为名为 BAIDU_API_KEY 的环境变量，并将您的密钥设置为名为BAIDU_SECRET_KEY 的环境变量。

// 您需要安装该 @langchain/community 包：
yarn add @langchain/community

import { ChatBaiduWenxin } from "@langchain/community/chat_models/baiduwenxin";
import { HumanMessage } from "@langchain/core/messages";
import 'dotenv/config';const ernieTurbo = new ChatBaiduWenxin({modelName: process.env.BAIDU_MODEL_NAME,
});const messages = [new HumanMessage("讲一个笑话")];const res = await ernieTurbo.invoke(messages);console.log(res);

LCEL 有什么优势

LCEL 从底层设计的目标就是支持 从原型到生产 完整流程不需要修改任何代码，也就是我们在写的任何原型代码不需要太多的改变就能支持生产级别的各种特性（比如并行、steaming 等），具体来说会有这些优势：

并行: 只要是整个 chain 中有可以并行的步骤就会自动的并行，来减少使用时的延迟。
自动的重试和 fallback: 大部分 chain 的组成部分都有自动的重试（比如因为网络原因的失败）和回退机制，来解决很多请求的出错问题。
对 chain 中间结果的访问，在旧的写法中很难访问中间的结果，而 LCEL 中可以方便的通过访问中间结果来进行调试和记录。
LCEL 会自动支持 LangSimith 进行可视化和记录。

一条 Chain 组成的每个模块都是继承自 Runnable 这个接口，而一条 Chain 也是继承自这个接口，所以一条 Chain 也可以很自然的成为另一个 Chain 的一个模块。

任意的 Runnable 对象，都有几个常用的标准调用接口:

invoke 基础调用
batch 批量调用
stream 流式返回结果
streamLog 流式返回结果，并返回中间的运行结果

那么，我们该如何学习大模型？

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。至于能学习到多少就看你的学习毅力和能力了。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

一、大模型全套的学习路线

学习大型人工智能模型，如GPT-3、BERT或任何其他先进的神经网络模型，需要系统的方法和持续的努力。既然要系统的学习大模型，那么学习路线是必不可少的，下面的这份路线能帮助你快速梳理知识，形成自己的体系。

L1级别:AI大模型时代的华丽登场

L2级别：AI大模型API应用开发工程

L3级别：大模型应用架构进阶实践

L4级别：大模型微调与私有化部署

一般掌握到第四个级别，市场上大多数岗位都是可以胜任，但要还不是天花板，天花板级别要求更加严格，对于算法和实战是非常苛刻的。建议普通人掌握到L4级别即可。