近日，熟女论坛 从鑫助理教授、邓婉璐副教授、邓柯教授团队推出基于大模型统计问题形式化能力评测基准StatFormBench，首次系统评测大模型将模糊现实需求转化建模为统计数据科学问题的能力，揭示当前大模型在理解分析现实问题背后所蕴含的统计数据科学问题上的关键短板，凸显正确界定问题对保障后续分析有效性的基础性作用，为构建真正理解用户需求的可靠统计与数据科学AI智能体系统提供评测依据与改进方向。相关成果发表于人工智能国际顶级会议The 2026 Conference on Empirical Methods in Natural Language Processing (EMNLP 2026)。清华熟女论坛 23级博士研究生王琛和26级博士研究生赵俊哲为本文的共同第一作者，从鑫为本文的通讯作者。

论文链接：//arxiv.org/abs/2609.01982

数据集链接：//huggingface.co/datasets/THU-CongLab/StatFormBench

代码链接：//github.com/THU-CongLab/StatFormBench

近年来，大语言模型逐步应用于统计数据分析，为统计计算、代码生成和结果解释等工作提供了新的技术支持。在实际应用中，用户往往从具体的业务现象或研究需求出发，以非正式、非专业的语言提出问题，而不会直接指定统计分析目标与方法。这要求大模型首先理解用户的分析意图，确定需要研究什么问题、使用哪些数据，以及相关变量在分析中承担什么角色。这一将自然语言需求转化为明确统计问题的过程，称为统计问题形式化（Statistical Problem Formulation），是连接用户需求与后续分析的关键环节。如果问题定义出现偏差，即使计算和代码执行正确，分析结果也可能无法回答用户真正关心的问题。

然而，统计问题形式化面临三个主要挑战：（1）用户需求通常包含口语化、领域特定或不够明确的表述，模型需要结合背景信息推断分析意图；（2）不同统计问题可能具有相似的表面描述，但对应不同的分析目标，例如关联分析与预测任务，难以仅凭关键词加以区分；（3）数据可能以表格、汇总统计量等不同形式呈现，同一变量在不同问题中也可能承担不同角色，模型需要结合具体需求识别相关数据，并确定变量的分析角色。因此，如何结合用户意图与数据结构，准确确定统计问题类型及变量角色，是大语言模型可靠开展统计分析需要解决的基础问题。

现有统计评测多以分析目标明确为前提，通用问答又混合多种能力，难以独立评估问题形式化。为此，团队提出StatFormBench，将其分为“统计问题分类”和“变量识别与角色分配”两个子任务，覆盖20个粗粒度、85个细粒度类别。评测集包含1,013个样本，其中629个来自五本跨领域熟女论坛 教材，384个来自真实数据科学案例，标注均经人工校对。研究以领域从业者视角重写问题，去除直接提示方法的统计术语，保留关键数值并加入干扰信息，同时以模拟数据替代案例原始数据以保护版权。研究对14个开源和闭源模型进行评测，结果显示，大模型统计问题分类准确率最高为72.0%，变量识别Jaccard系数最高为63.2%。详细分析实验表明，模型对统计问题类型的判断能力与对相关变量及其角色的识别能力并不完全一致，统计问题形式化的不同环节仍存在明显短板。

本研究将评测视角前移至分析前的问题定义环节，为独立衡量模型理解意图、选择数据和确定变量角色的能力提供统一基础，也为结合领域知识、统计推理与数据理解，提升统计分析可靠性指明研究方向。