`

大家好呀！这里是你们的课代表懒懒👋今天懒懒要带大家回顾第15讲和第16讲的内容~

在前面的课程中，虽然传统RAG问答系统搭得差不多了，但一遇上“统计类”问题就抓瞎？比如：

🙋‍♀️ “库中一共有多少篇论文？”

🙋‍♂️ “哪个方向的论文最多？”

这些看似简单的统计问题，对普通RAG系统却是天堑。可见，掌握基础并不等于拥有一套高性能、企业级RAG系统。

第15、16讲正是为此而来——聚焦RAG系统的统计能力增强与实战应用。

为什么需要“进阶”RAG？

传统RAG在处理统计问题时存在明显短板：

❌无法直接处理结构化数据
RAG天生擅长文本问答，对数据库、表格等结构化数据却束手无策。

❌缺乏动态计算能力
统计问题本质上是“先算后答”，但普通RAG不会SQL，更不会统计图分析。

正确答案

有没有一种办法可以让的RAG也具备处理结构化数据和动态计算的能力？有！

解决方案

SQL Call + Function Call双剑合璧

核心组件升级

✅ 意图识别模块：智能判断问题类型（知识问答/统计分析）
✅ SQL数据库：结构化存储海量数据
✅ SQL Call：自然语言转SQL查询的"翻译官"
✅ Function Call：动态计算与图表生成的"瑞士军刀"

第一步：识别用户意图

是知识问答？还是统计问题？

我们构建了一个IntentClassifier模块，自动判断用户问题属于：

传统RAG知识问答
结构化统计问答

不同类型的问题，走不同的pipeline👇

import lazyllm\nfrom lazyllm.tools import IntentClassifier\n\nclassifier_llm = lazyllm.OnlineChatModule()\nchatflow_intent_list = ["翻译服务", "天气查询", "内容推荐", "金融行情查询"]\nclassifier = IntentClassifier(classifier_llm, intent_list=chatflow_intent_list)\n\nwhile True:\n    query = input("输入您的问题：\n")\n    print(f"\n识别到的意图是：\n {classifier(query)}\n" + "-"*40)\n\n# 今天天气怎么样 ➔ 天气查询\n# A股行情怎么样 ➔ 金融行情查询\n# 给我推荐一部科幻电影 ➔ 内容推荐\n# 帮我把这边论文译为中文 ➔ 翻译服务00:21

第二步：数据准备

下载论文+构建数据库

在这一阶段，我们要为RAG系统准备“两套粮草”：

一份用于RAG检索的论文PDF文档；
一份用于SQL统计分析的结构化数据库。

🎓 小科普 🎓

SQL数据库到底是个啥？

在深入使用SQL之前，我们先搞清楚几个基本概念：

🗝️数据库按照结构可分为两类：

关系型数据库（如 MySQL、PostgreSQL、SQLite）：擅长处理结构化数据，数据以“表格”形式存储。
非关系型数据库：适合非结构化或半结构化数据，如：

📌文档型（MongoDB）

📌键值型（Redis）

📌向量型（FAISS、Milvus）

我们此次实战使用的是最常见的 SQLite —— 轻量级、零配置、超适合上手！

🗝️SQL（结构化查询语言）是操作这类数据库的“指令语言”。比如下面一句话就能筛选出工资高于5000的员工：

SELECT name FROM employees WHERE salary > 5000;

🛠 动手实战 🛠

创建论文数据库（papers.db）

我们以ArXivQA为例，一次性搞定：

下载前100篇论文PDF用于RAG知识库

构建本地SQLite数据库（包含title、author、subject三列）

import sqlite3\nimport json\n\ndef write_into_table():\n    with open('test.txt', 'r')as f:\n        data = json.load(f)\n\n    data = data['data']\n\n    # 连接到 SQLite 数据库（如果数据库不存在，它会被创建）\n    conn = sqlite3.connect('papers.db')\n    cursor = conn.cursor()\n\n    # 创建表格\n    cursor.execute('''\n    CREATE TABLE IF NOT EXISTS papers (\n        id INTEGER PRIMARY KEY AUTOINCREMENT,\n        title TEXT,\n        author TEXT,\n        subject TEXT\n    )\n    ''')\n\n    # 插入数据\n    for paper in data:\n        cursor.execute('''\n        INSERT INTO papers (title, author, subject)\n        VALUES (?, ?, ?)\n        ''', (paper['title'], paper['author'], paper['subject']))\n\n    # 提交并关闭连接\n    conn.commit()\n    conn.close()

这样系统就既有“文本知识”，也有“结构化信息”啦！

第三步：SQL Call

会写SQL，还得能查！

要让RAG真的能处理结构化数据，光有数据库还不够，还得有“翻译官”能听懂自然语言，把“人话”转成“数据库语言”——这正是Text2SQL的任务。

⚙️什么是 Text2SQL？⚙️

Text2SQL 是一种自然语言处理（NLP）技术，核心任务就是把用户用“人话”问的问题 ➡️ 自动转成能在数据库执行的 SQL 查询语句。

工作流程如下图所示：

例如，针对“请给我每个品类的盈利汇总，按盈利从高到低排序”，生成SQL如下：

SELECT product_category,\n         SUM(product_price * quantity) - SUM(cost_price * quantity) AS profit \nFROM orders \nGROUP BY product_category \nORDER BY profit DESC;

是不是瞬间高大上了？

🛠动手实战🛠

让大模型具备Text2SQL能力

构建一个SqlManager和SqlCall，让大模型具备Text2SQL能力：

from lazyllm.tools import SqlManager, SqlCall\n\nsql_manager = SqlManager("sqlite", None, None, None, None, db_name="papers.db",   tables_info_dict=table_info)\nsql_llm = lazyllm.OnlineChatModule()\nsql_call = SqlCall(sql_llm, sql_manager, \n  use_llm_for_sql_result=False)\n\nquery = "库中一共多少篇文章"\nprint(sql_call(query))\n>>> [{"total_papers": 200}]\nwhile True:\n    query = input("请输入您的问题：")\n    print("answer：")\n    print(sql_call(query))\n# 库中一共多少篇论文\n# 库中最多的三个subject是什么\n# 查询数据库并返回 subject 包含Computer Vision的论文题目的结果

✅动态SQL生成
✅执行数据库查询
✅返回结构化结果

第四步：Function Call

数据分析 + 图表生成！

SQL Call帮RAG跨入了结构化数据的门槛，但你有没有发现，有些统计问题并不是“查数据”，而是“做计算”，甚至“生成图表”！

比如：

“过去12个月的平均营收是多少？”
“哪类产品盈利最多，能不能画个图？”

这时候，传统RAG + SQL就不够用了，我们需要Function Call！

什么是 Function Call？

Function Call 就是让大模型调用你定义好的“外部函数”。比如你定义了一个绘图函数、一个均值计算函数，模型就可以：

✅听懂你的问题
✅选出对应的函数
✅输入参数、执行逻辑
✅把结果自然语言描述或图表展示出来

它就像大模型身边的“工具箱”，有问题直接“调工具”。

常用的 Function Call 算法

不是打广告👉更多有关 Function Call 的内容与详细实战操作，请关注后续 RAG 教程~

Function Call 流程展示

示例问题：请问汤姆的同桌的姐姐的家乡明天的气温怎样？

Plan：大模型把问题分解成若干步骤

Q1：汤姆的同桌是谁？得到答案 A1\nQ2：A1 的姐姐是谁？得到答案 A2\nQ3：A2 的家乡是哪个城市？得到答案 A3\nQ4：A3 明天的气温是多少？得到最终答案 A4

下面为LazyLLM中的简单示例流程代码。

def get_sister_name(name: str) -> str: ...\ndef get_hometown(name: str) -> str: ...\ndef get_deskmate(name: str) -> str: ...\ndef get_tomorrow_temperature(city: str) -> Optional[float]: ...\n\nagent = PlanAndSolveAgent(llm=TrainableModule("internlm2-chat-7b").start(),\n                          tools=[get_sister_name, get_hometown, get_deskmate,    \n                                 get_tomorrow_temperature])\nret = agent("请问汤姆的同桌的姐姐的家乡明天的气温怎样？")

Solve：大模型从工具列表中选择合适的工具解答问题

在得到问题后，大模型会把问题分成若干步骤，然后根据需要调用合适的工具。

常用可视化工具

🛠 动手实战 🛠

统计分析Agent

普通SQL搞不定的图表分析任务，Function Call来搞定！

我们封装了两个工具函数：

1.run_sql_query：查询数据

2.run_code：执行统计/绘图代码（支持pandas、matplotlib等）

@fc_register("tool")\ndef run_sql_query(query):\n    """\n    Automatically generates and executes an SQL query based on a natural language request.\n\n    Given a natural language query describing a data retrieval task, this function generates the corresponding SQL \n    statement, executes it against the database, and returns the result.\n\n    Args:\n        query (str): A natural language description of the desired database query.\n\n    Returns:\n        list[dict]: A list of records returned from the SQL query, where each record is represented as a dictionary.\n    """\n    sql_manager = SqlManager("sqlite", None, None, None, None, db_name="papers.db", tables_info_dict=table_info)\n    sql_llm = lazyllm.OnlineChatModule(source="sensenova")\n    sql_call = SqlCall(sql_llm, sql_manager, use_llm_for_sql_result=False)\n    return sql_call(query)\n\n\n@fc_register("tool")\ndef run_code(code: str):\n    """\n    Run the given code in a separate thread and return the result.\n\n    Args:\n        code (str): code to run.\n    Returns:\n        dict: {\n            "text": str,\n            "error": str or None,\n        }\n    """\n    result = {\n        "text": "",\n        "error": None,\n    }\n\n    def code_thread():\n        nonlocal result\n        stdout = io.StringIO()\n        try:\n            with contextlib.redirect_stdout(stdout):\n                exec_globals = {}\n                exec(code, exec_globals)\n        except Exception:\n            result["error"] = traceback.format_exc()\n        result["text"] = stdout.getvalue()\n\n    thread = threading.Thread(target=code_thread)\n    thread.start()\n    thread.join(timeout=10)\n\n    if thread.is_alive():\n        result["error"] = "Execution timed out."\n        thread.join()  \n\n    return result

搭配ReactAgent，系统自动完成：

理解问题 → 数据查询 → Python绘图 → 图像展示

from lazyllm.tools.agent import ReactAgent\n\nagent = ReactAgent(\n        llm=lazyllm.OnlineChatModule(stream=False),\n        tools=['run_code', 'run_sql_query'],\n        return_trace=True,\n        max_retries=3,\n    )

一键整合两个流程：论文问答系统升级实录

我们将两个子工作流整合成一个“超级论文问答系统”：

def build_paper_assistant():\n    llm = OnlineChatModule(source='qwen', stream=False)\n    intent_list = [\n        "论文问答",\n        "统计问答",\n    ]\n\n    with pipeline() as ppl:\n        ppl.classifier = IntentClassifier(llm, intent_list=intent_list)\n        with lazyllm.switch(judge_on_full_input=False).bind(_0, ppl.input) as ppl.sw:\n            ppl.sw.case[intent_list[0], rag_ppl]\n            ppl.sw.case[intent_list[1], sql_ppl]\n\n    return ppl

只需输入一句自然语言，系统自动判断 + 自动处理！
✅图文并茂、数据可视、全自动分析

多模态支持，让RAG跨越图文边界！

RAG论文系统综合多模态方案

经过多讲实战拆解，我们已经从：

基础RAG文档问答
意图识别模块拆分
SQL Call结构化检索
Function Call动态分析
多模态图像理解

一路构建出了一个真正面向论文场景的“通用型智能助手”系统！

这不只是把模块“拼上去”，而是真正形成了一个能问、能答、能查、能画图，还能跨图文内容理解的完整闭环系统！

👇 来看看系统架构总览图，你现在搭建的RAG已经不是“小白问答机”，而是👇

代码实现

# 构建 rag 工作流和统计分析工作流\nrag_ppl = build_paper_rag()\nsql_ppl = build_statistical_agent()\n# 搭建具备知识问答和统计问答能力的主工作流\ndef build_paper_assistant():\n    llm = OnlineChatModule(source='qwen', stream=False)\n    vqa = lazyllm.OnlineChatModule(source="sensenova",        model="SenseNova-V6-Turbo").prompt(lazyllm.ChatPrompter(gen_prompt))\n    with pipeline() as ppl:\n        ppl.ifvqa = lazyllm.ifs(\n            lambda x: x.startswith(''),\n            lambda x: vqa(x), lambda x:x)\n        with IntentClassifier(llm) as ppl.ic:\n            ppl.ic.case["论文问答", rag_ppl]\n            ppl.ic.case["统计问答", sql_ppl]\n    return ppl\nif __name__ == "__main__":\n    main_ppl = build_paper_assistant()\n    lazyllm.WebModule(main_ppl, port=23459, static_paths="./images", encode_files=True).start().wait()

📌 一个总结 📌

从第15讲的理论铺垫，到第16讲的实战落地，我们一步步带你从传统RAG跃升至智能数据助手。RAG系统不再是“只会读文本”的工具，而是一个“小能手”：

✅ 会理解意图
✅ 能查结构化数据库
✅ 会写SQL
✅ 能做统计分析、能画图

下次遇到数据分析类问题，不如试试你自己搭的RAG智能体吧～

通过这两讲的深入实战，我们不只是看懂了RAG如何“接数据库、调代码、画图表”，更真正掌握了：一个能做宏观总结和统计分析的RAG系统，不只是能答题，更能思考，更能分析！

从意图识别让系统“知你所问”，到SQL Call架起RAG与结构化数据之间的桥梁，再到Function Call让模型插上“代码执行+图表生成”的双翼，我们一步步，把RAG从文本问答助手，升级成了数据智能+图形交互的超级分析专家！

这不是简单的“加功能”，而是一次认知和能力的全方位拓展！RAG不再只是“读文本”，它开始真正“理解问题”、“提取数据”、“生成洞察”。

现在，是时候开启实战模式啦！🎮
快把你打造的超级RAG系统晒出来吧！

评论区、B站视频弹幕区、微信技术交流群

我们都等着你的反馈哦！

RAG的下一个边界，由你来突破！

学会原理，敢于实践！

星舰启航，继续紧急！

🔥🔥🔥

欢迎扫码进LazyLLM技术交流群

与更多开发者交流！

`