五、用 LlamaFactory 玩转多模态 RAG 模型微调🎯

在上一节中，我们已经见证了通过 LlamaFactory 微调让大模型在医疗文本领域「持证上岗」的魔力。而对多模态模型进行微调，能够有效提升模型在特定多模态领域的适应能力。

例如，在医学图像领域，基于多模态模型实现简单的诊断。甚至就不需要额外上下文信息。

当医生拿着CT片问AI："这片脑区有梗塞吗？"

普通AI："抱歉，我无法提供诊断建议" ❌（急死个人！）
LlamaFactory微调后的AI："右侧基底节区可见低密度灶，考虑急性梗塞" ✅（专业！）

想知道怎么让AI从"小白"变身"影像科大神"吗？ 跟我一起探索吧！

🔧数据集简介

VQA-RAD 是一个关于放射影像的问题-答案对数据集（https://huggingface.co/datasets/flaviagiammarino/vqa-rad ）。

	训练集	测试集
问题	1,793	451
图像	313	203

🚀 数据集用途

训练和测试医学影像VQA（视觉问答）系统
支持开放式问题（如“病灶位置？”）和二元问题（如“是否存在肿瘤？”）

🔍 数据来源

基于MedPix（开放医学影像数据库）
由临床医生手动标注，确保专业性

🌟 核心优势

首个专注放射影像的VQA数据集
结构清晰，覆盖临床常见问题类型

📊 数据处理

1.数据获取

	from datasets import load_dataset
	dataset = load_dataset("flaviagiammarino/vqa-rad")

2.处理前

	{
	"image": ,
	"question": 'are regions of the brain infarcted?',
	"answer": 'yes'
	}

3.处理后（OpenAI格式）：

	[
	{
	"messages": [
	{
	"content": "are regions of the brain infarcted?",
	"role": "user"
	},
	{
	"content": "yes",
	"role": "assistant"
	}
	],
	"images": [
	path/to/train_image_0.jpg"
	]
	},

💡 微调模型

	import lazyllm
	model_path = 'path/to/Qwen2.5-VL-3B-Instruct'
	data_path = 'path/to/vqa_rad_processed/train.json' # 需要将环境中的transformers和llamafactory升级到最新的开发分支
	m = lazyllm.TrainableModule(model_path)
	.mode('finetune')
	.trainset(data_path)
	.finetune_method(
	(lazyllm.finetune.llamafactory,{
	'learning_rate': 1e-4,
	'cutoff_len': 5120,
	'max_samples': 20000,
	'val_size': 0.01,
	'num_train_epochs': 2.0,
	'per_device_train_batch_size': 16,
	}))
	m.update()

⚒️模型配置：

model_path指定了我们要微调的模型，这里我们用Qwen2.5-VL-3B-Instruct，直接指定其所在路径即可；

⚒️微调配置：

.mode设置了启动微调模式finetune；
.trainset 设置了训练用的数据集路径；
.finetune_method 设置了用哪个微调框架及其参数，这里使用的是 llamafactory 框架（一个支持 LoRA、QLoRA 等高效微调技术的库）；
learning_rate:1e-4学习率，表示模型每一步更新参数的幅度。较高值训练更快但可能不稳定；
cutoff_len: 5120输入序列的最大长度，超过这个长度的文本会被截断。适用于长对话或长描述任务；
max_samples: 20000用于训练的最大样本数。如果你不想训练整个数据集，可以限制在一定数量；
val_size: 0.01验证集占比。这里是 1%，意味着 99% 的数据用于训练，1% 用于评估模型训练过程中的性能；
num_train_epochs: 2.0训练轮数。每个 epoch 表示模型看完整个训练集一次；
per_device_train_batch_size: 16每个设备（通常是 GPU）上的训练批大小。根据显存大小选择合适的 batch size。

⚒️启动任务：

.update 触发任务的开始：模型先进行微调，微调完成后模型会部署起来，部署好后会自动使用评测集全部都过一遍推理以获得结果。

微调loss曲线：

🏆 模型评测

在共451题的测试集中，模型Qwen2.5-VL-3B-Instruct微调前后的精确匹配率和语义相似度如下所示：

📌精确匹配度

我们将精确匹配度定义如下：

该指标的特性在于：预测结果与标准答案需要完全一致。

📌语义相似度

我们将语义相似度定义如下：

值得注意的是：该评价指标将原本[-1,0)的数值进行了截断，只要是负相关的语义都给0分，得分只能是正相关的。

示例：针对如下影像，微调前后的输出

微调前：

	{
	"query": "is the liver visible in the image?",
	"true": "no",
	"infer": "yes, the liver is visible in the image. it appears as a large, dark gray structure located in the upper left quadrant of the abdomen.",
	"exact_score": 0,
	"cosine_score": 0.3227266048281184
	}

微调后：

	{
	"query": "is the liver visible in the image?",
	"true": "no",
	"infer": "no",
	"exact_score": 1,
	"cosine_score": 1.0
	}

🤖 CT医疗诊断助手

模型「魔鬼训练」完毕，已经从「半吊子实习生」晋升为「专业医师助手」！那接下来，怎么让它真的派上用场？答案就是——构建医疗知识库 + RAG 检索增强生成，让模型不止「会说」，更能「精准说」！

我们来一步步操作，带你搭建一个属于你的CT医疗诊断助手，让模型不再孤军奋战，而是背后站着一整个医疗知识库做后盾！

🧠 整理知识库——医学资料大合集

我们选用Huatuo-Lite数据集（https://huggingface.co/datasets/FreedomIntelligence/Huatuo26M-Lite ），这是目前最大的中文医疗问答数据集，这些问答对通过文本清洗和数据去重的方法，从多个来源精心收集而来，包括在线医疗咨询网站、医学百科全书和医学知识库，覆盖了广泛的医疗知识。该数据集的创建显著扩大了医疗领域问答数据集的规模，并为中文医疗领域的自然语言处理和人工智能研究提供了一个前所未有的资源。

通过如下代码，我们可以获取数据，构建知识库：

	from datasets import load_dataset

	# 下载数据集
	ds = load_dataset("FreedomIntelligence/Huatuo26M-Lite", split="train")
	output_path = "huatuo_cleaned.txt"

	count = 0

	with open(output_path, "w", encoding="utf-8") as f:
	for sample in ds:
	question = sample.get("question", "").strip().replace("\\n", " ")
	answer = sample.get("answer", "").strip().replace("\\n", " ")
	diseases = sample.get("related_diseases", [])

	if isinstance(diseases, list):
	diseases = ", ".join([d.strip() for d in diseases])
	else:
	diseases = diseases.strip()

	if question and answer:
	line = f"Question: {question}\\tAnswer: {answer}\\tRelated Diseases: {diseases}"
	f.write(line + "\\n")
	count += 1

	print(f"✅ 数据处理完成，共写入 {count} 条记录 -> {output_path}")

🧪 实现RAG——模型+知识双保险

📌 原理：输入（用户带CT提问+微调后的VQA的初诊结果） → 向量检索相关医学知识 → 与输入拼接 → 喂给模型生成回答。

RAG 就像给模型配了「助理医生」，先去查资料，再结合自身能力回答，大大提升准确率和可信度。我们对输入的QA对进行拼接，并要求大模型根据提供的问题和CT影像的初步诊断结果，结合知识库召回结果进行回答：

	import lazyllm

	#加载知识库
	documents = lazyllm.Document(dataset_path="./kb")
	documents.create_node_group(name="block", transform=lambda s: s.split("\\n") if s else '')

	#构建检索器
	retriever = lazyllm.Retriever(
	doc=documents,
	group_name="block", # 分组方式可自定义
	similarity="bm25_chinese", # 中文 BM25 向量检索
	topk=5 # 召回前5条问答作为上下文
	)

	#加载 LLM 组件（可以选用适配医学任务的模型）
	llm = lazyllm.OnlineChatModule(source="qwen", model="qwen-max-latest", stream=False)

	#设计提示词
	prompt = (
	"你是一个专业的医学问答助手，用户会提供问题和CT影像的初步诊断结果，以及用来补充参考的医学知识。"
	"请根据用户提供的信息给出相关的诊断结果和治疗建议，若用户不存在问题可以不用给出治疗建议。\\n\\n"
	"注意：如果资料中没有明确提到答案，也请你基出于医学常识尽力做解释。\\n\\n"
	)
	llm.prompt(lazyllm.ChatPrompter(instruction=prompt, extra_keys=['context_str']))

最后构建输入并执行问答：

	#检索文档内容作为上下文
	doc_node_list = retriever(query=query)
	context = "".join([node.get_content() for node in doc_node_list])

	#构建输入 & 执行问答
	response = llm({
	"query": query,
	"context_str": context
	})

	#输出最终回答
	print(f"Query: {query}\\n")
	print("📘 检索到的知识片段：\\n")
	for i, node in enumerate(doc_node_list, 1):
	print(f"[{i}] {node.get_content()}\\n")

	print("💡 回答：")
	print(response)

🔍 效果展示

🚀 input：下面是CT医疗问诊的问题以及CT图像初步诊断。问题：does the gallbladder appear distended?；图像初步诊断：yes；

🧰 output：

可以看到小助手召回了相关片段并给出了回答！

通过微调+RAG，LLM不再「闭门造车」，而是真正拥有了「读万卷书 + 亲临临床」的实力，成为你身边靠谱的「AI 医学助理」！

要不要试试看搭一个属于你自己的智能医疗顾问？

六、多模态 + BI + 医疗落地：打造懂医学的 RAG 系统 🩺

基于前面多模态与 BI 能力的深度融合实践，我们进一步将 RAG 系统向医疗垂直场景做了进阶升级 —— 如今这套架构不仅能处理常规的文本问诊，更能通过 VQA 模块与医学知识库的联动，实现 CT 影像解析与智能诊断辅助的核心能力，打通了从临床咨询到辅助决策的全流程服务闭环。下面就带大家看看这套融合多模态理解、数据统计与专业知识的医疗 RAG 系统是如何落地的！

主要实现代码如下：

	# 搭建具备知识问答和统计问答能力的主工作流
	def build_paper_assistant():
	llm = OnlineChatModule(source='qwen', stream=False)

	with pipeline() as ppl:
	ppl.ifvqa = lazyllm.ifs(
	lambda x: x.startswith('<lazyllm-query>'),
	vqa_ppl, lambda x:x)
	with IntentClassifier(llm) as ppl.ic:
	ppl.ic.case["论文问答", paper_ppl]
	ppl.ic.case["统计问答", sql_ppl]
	ppl.ic.case["普通医疗问诊", inquiry_ppl]
	ppl.ic.case["CT医疗问诊", ct_ppl]

	return ppl

	if __name__ == "__main__":
	main_ppl = build_paper_assistant()
	lazyllm.WebModule(main_ppl, port=23494, static_paths="./images", encode_files=True).start().wait()

欢迎扫码进LazyLLM技术交流群

与更多开发者交流！