问题分类分布咨询

[cskkxjk]

hi!首先感谢发布graphrag-benchmark的工作！
论文中提到的将rag任务分为4种类型(Table 1)，并且将已有数据集e.g.hotpotQA进行分类统计问题数据分布（Figure 2）,请问贵团队是否有开源这些问题分类代码（包括对应数据分布绘制）的计划？

[wuchuanjie]

感谢您对我们工作的关注，也感谢您提出这个的问题。

关于论文中 Figure 2 中对已有数据集（如 HotpotQA 等）的问题类型分布统计，我们的分类过程主要是基于 Table 1 中的任务定义，采用 LLM-as-a-judge 的方式对问题类型进行判断。

具体来说，我们会根据问题所需的知识组织和推理深度，将问题划分为四类：

1. Fact Retrieval：主要需要检索单个或少量明确事实，通常不涉及复杂推理。
2. Complex Reasoning：需要跨多个证据片段或文档进行多跳推理、关系链推理或逻辑组合。
3. Contextual Summarization：需要整合分散信息并生成结构化、连贯的总结性回答。
4. Creative Generation：需要在检索内容基础上进行改写、扩展、假设性生成或更开放的表达。

再次感谢您的反馈！