Llama 3.2-Vision 多模态大语言模型

1. 引言

Llama 3.2-Vision多模态大型语言模型(文本 + 图像)是一个图像推理生成模型，按照官方的说法，在常见行业基准测试上，其性能优于许多可用的开源和闭源多模态模型。Llama 3.2-Vision有两个版本，一个是11B (7.9G)，另一个是90B (55G)。在之前的文章中【能够识别中文的视觉模型比较；视觉模型在岩石工程中的应用 (识别GSI图): Llama 3.2 vs ChatGPT-4o】，我们测试了在线的llama-3.2-vision-90b-instruct模型，结果显示Llama 3.2 90B不太适合岩石工程的图表解释，它更适合于目标检测的应用。

现在，我们在本地可以使用这两个版本的模型：llama3.2-vision:90b和llama3.2-vision:latest，不过，尽管90b模型也能够生成结果，但运行速度极慢，相比之下，11b模型的运行很流畅。

2. 多线程运行

为了在一个代码中，同时运行多个模型，我们之前采用的方法是循环，例如：

models=[qwen2.5:32b, llama3.2:latest, deepseek-v2:latest]

然后

for each_model in models:....

在这个试验中，使用了多线程同时运行两个模型，因此产生的结果不像循环方法顺序生成的，而是随机出现的：

models = ['minicpm-v', 'llama3.2-vision']
image_path = 'image.jpg'
# 创建线程
threads = []
for model in models:thread = threading.Thread(target=chat_with_model, args=(model, image_path))threads.append(thread)thread.start()
# 等待所有线程完成
for thread in threads:thread.join()

使用了两个本地视觉模型minicpm-v和llama3.2-vision。《计算岩土力学》之前讨论的多线程主要是与Itasca软件相关：

3. 测试

下图所示的是Cariboo Gold Project地下矿的一个斜坡道入口。现在采用上述两个模型对这个图像进行解释。

(1) 图片显示的是隧道入口建成后不久的景象，很可能是Cariboo黄金项目区域内矿山基础设施项目的一部分，森林丘陵和梯田土壤的存在表明了在施工活动中的环境管理努力，这可能表明采矿作业中的可持续发展做法。

(2) 图片描述的是一个矿井的入口，入口由混凝土块建成，呈拱形，为周围的土提供结构支撑和稳定性。主要特点如下：

(a) 入口：入口是工人、设备和材料进入矿井的主要入口。

(b) 结构支撑：拱形设计的入口有助于在整个结构上均匀分布重量，防止土压造成的坍塌或损坏。

图片是在Cariboo黄金项目拍摄的，表明该入口是正在进行的采矿作业的一部分。背景中树木表明该项目位于农村或偏远地区，可能道路或基础设施有限。

(3) 图片显示的是矿井的入口，这是Cariboo黄金项目基础设施的重要组成部分。入口是人员、设备和材料进出隧道或矿井的出入口。在这张图片中，入口似乎正在施工，周围有明显的挖掘和准备工作的痕迹，周围地区看起来荒芜而多岩石，表明该项目是在偏远或崎岖的地方进行的。入口本身是用混凝土块建成的，可提供结构支撑和保护，在隧道入口处可以看到一个闸门，很可能是用来控制进出和确保矿井内安全的。总之，这张图片为我们了解Cariboo黄金项目入口的施工阶段提供了宝贵的资料，突出了精心规划和执行对于建造一个安全高效的地下作业入口的重要性。

(4) 图片描述的是一个地下通道的入口，很可能是Cariboo黄金项目矿区采矿作业相关基础设施开发的一部分。该结构由混凝土和砖砌成，并有台阶通往地下通道，表明其功能是供车辆或行人通过高架地形。在背景中有大量的推土活动，表明在这个被森林环绕的偏远地区正在进行施工。