AB
AiBoss
チュートリアル

PubMedQA

チュートリアル

用 PubMedQA 数据集训练并评估生物医学问答模型

PubMedQA 是面向生物医学研究问答的基准数据集,用文献摘要回答「是/否/可能」形式的研究问题。本文说明如何获取数据、理解数据结构、预处理、训练模型、在测试集上评估,并按提交规范把结果送上排行榜。

PubMedQA 是一个面向生物医学研究问答的基准数据集。它的任务形式很明确:给定一篇文献的摘要,以及一个「是/否/可能」型的研究问题(例如某种药物是否有效),模型需要依据摘要给出判断。数据集包含 1000 个专家标注实例、61200 个未标注实例和 211300 个人工生成的问答对。对做生物医学自然语言处理的人来说,它既是训练语料,也是横向比较模型能力的标准化测试平台。如果你需要先了解这个基准的整体定位与榜单情况,可以查看 PubMedQA 的工具页。本文讲的是动手环节:从拿到数据到把结果提交到排行榜的完整流程。

这篇教程适合三类读者:一是准备训练或微调生物医学问答模型的研究者与工程师;二是需要为自己的模型找一个可复现评测基准的团队;三是想理解生物医学文献信息抽取任务如何构造与评估的学生。读完之后,你应该能独立完成一次「加载数据 → 预处理 → 训练 → 评估 → 提交」的闭环。

准备工作

明确任务定义

PubMedQA 的核心不是开放域问答,而是基于给定上下文的判定式问答。每个实例由三部分组成:研究问题(question)、作为证据的文献摘要(context)、以及答案标签(answer)。答案的取值是 yes / no / maybe 三选一。理解这一点很关键,因为它决定了你的模型输入必须是「问题 + 摘要」的拼接,而不是只喂问题让模型凭参数记忆作答。

数据集按标注程度分为三块,用途不同:

  • 专家标注集(1000 条):由专家人工标注,质量最高,通常作为评测集或小样本微调集使用。
  • 未标注集(61200 条):只有问题与摘要,没有答案标签,适合做领域预训练、继续预训练或构造弱监督信号。
  • 人工生成问答对(211300 条):规模最大,适合作为训练数据的主体。

环境与依赖

你需要一个能跑深度学习训练的环境。常见组合是 Python 加 PyTorch 或 TensorFlow,再配合 Hugging Face 的 transformers 与 datasets 库。数据文件通常是 JSON 或 JSONL 格式,用标准库的 json 模块即可读取,不必额外安装解析器。如果打算用 BERT 类模型,还需要对应的分词器。

硬件方面,训练阶段建议使用带 GPU 的机器;如果只是加载数据、查看结构、做小规模实验,普通笔记本的 CPU 也能完成。具体显存需求取决于你选择的模型规模与批大小,这一点没有统一答案,需要按实际情况调整。

获取数据

PubMedQA 的数据集与说明托管在其 GitHub 仓库中,仓库里同时提供了数据文件、格式说明和提交(Submission)指南。访问仓库后,把数据文件下载到本地工作目录,并阅读仓库中的 README,确认当前版本的文件命名与字段定义。由于仓库结构、文件命名和提交要求可能随时间调整,请以仓库与官网当前展示的信息为准,不要照搬旧教程里的路径。

账号与提交前提

训练与本地评估不需要注册账号。但如果你打算把结果提交到 PubMedQA 排行榜,需要按仓库中的 Submission 指南准备材料,通常包括模型预测结果文件与性能指标说明。提交前请确认你使用的测试集划分与官方定义一致,否则成绩不具备可比性。

操作步骤

第一步:加载数据并理解结构

先把数据读进内存,打印几条样本,确认字段名。不同版本的数据文件字段可能略有差异,所以第一步永远是「看真实数据长什么样」,而不是凭记忆写代码。

import json

with open("ori_pqal.json", "r", encoding="utf-8") as f:
    data = json.load(f)

print(type(data), len(data))
first_key = next(iter(data))
print(first_key)
print(json.dumps(data[first_key], ensure_ascii=False, indent=2)[:1500])

典型实例中你会看到这些字段:

  • QUESTION:研究问题文本。
  • CONTEXTS:证据上下文,通常是由若干段落组成的列表,来自文献摘要。
  • LABELS:证据片段对应的标注标签列表。
  • MESHES:相关的 MeSH 主题词,可用于辅助特征或分析。
  • YEAR:文献年份。
  • reasoning_required_pred 与 reasoning_required_label:与推理难度相关的标注,可用于分层分析。
  • final_decision:最终答案,取值为 yes / no / maybe。

注意 final_decision 才是你要预测的目标,LABELS 是逐段证据的标签,两者不要混用。

第二步:统计标签分布

在动手建模前,先看清类别分布。生物医学问答里 yes 往往占多数,如果直接按准确率优化,模型可能倾向于全猜 yes。统计分布能帮你判断是否需要类别加权或改用宏平均 F1。

from collections import Counter

labels = [v["final_decision"] for v in data.values()]
print(Counter(labels))

第三步:构造输入文本

把问题与上下文拼成一条序列。上下文是列表,需要先拼接成字符串。建议在问题与上下文之间加入明确的分隔标记,让模型能区分哪部分是提问、哪部分是证据。

def build_input(example, tokenizer, max_length=512):
    context = " ".join(example["CONTEXTS"])
    question = example["QUESTION"]
    return tokenizer(
        question,
        context,
        truncation="only_second",
        max_length=max_length,
        padding="max_length",
        return_tensors="pt",
    )

这里用 truncation="only_second" 是有意为之:问题通常很短,应当完整保留;超长时优先截断证据部分。如果你的摘要普遍很长,可以考虑滑动窗口切分,再把各窗口的预测做聚合。

第四步:标签编码与数据集划分

把 yes / no / maybe 映射为整数索引,并固定映射顺序,保证训练与评估一致。

label2id = {"yes": 0, "no": 1, "maybe": 2}
id2label = {v: k for k, v in label2id.items()}

划分数据时,专家标注的 1000 条通常用于评估或小样本实验;训练主体来自人工生成的问答对。务必保证评估集不参与训练,否则指标会虚高。若要做交叉验证,按实例切分而不是按段落切分,避免同一篇文献的片段同时出现在训练集和验证集里造成泄漏。

第五步:选择并训练模型

常见选择是 BERT 类编码器,或在其基础上继续预训练的 PubMedBERT 这类生物医学领域模型。领域预训练模型在生物医学文本上的表现通常更好,但训练成本也更高。用 transformers 的序列分类接口可以快速搭起基线:

from transformers import AutoTokenizer, AutoModelForSequenceClassification

model_name = "microsoft/BiomedNLP-PubMedBERT-base-uncased-abstract"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(
    model_name,
    num_labels=3,
    id2label=id2label,
    label2id=label2id,
)

训练超参数(学习率、批大小、轮数)没有放之四海皆准的取值,需要按你的数据规模和硬件条件调。建议先跑一个很小的子集确认流程通畅,再放大到全量数据。训练过程中记录验证集上的损失与 F1,便于早停。

第六步:在测试集上评估

评估时至少报告准确率与 F1。由于是三分类且类别不均衡,建议同时给出宏平均 F1 与各类别的单独指标,这样能看出模型是否在 maybe 这个少数类上失效。

from sklearn.metrics import accuracy_score, f1_score, classification_report

preds = [0, 1, 2, 0]   # 模型预测
golds = [0, 1, 2, 1]   # 真实标签

print("accuracy:", accuracy_score(golds, preds))
print("macro F1:", f1_score(golds, preds, average="macro"))
print(classification_report(golds, preds, target_names=["yes", "no", "maybe"]))

如果模型在 maybe 上召回极低,可以考虑类别加权损失、阈值调整,或在输入中显式加入「证据是否充分」的提示信息。

第七步:提交到排行榜

按仓库中的 Submission 指南整理预测结果与指标说明,提交后等待审核。提交前请自查三点:测试集划分是否与官方一致;标签映射是否与官方定义一致;指标计算方式是否与榜单口径一致。任何一项不一致,成绩都无法与其他模型横向比较。

第八步:对照榜单优化

排行榜上会公布不同模型的性能指标。查看高分模型的做法,对比自己的方案,找出差距来源:是预训练领域不匹配、输入构造不合理、还是评估口径有偏差。把改进点逐条验证,而不是一次性大改,这样更容易定位有效改动。

一个完整示例

下面把前面的片段串成一个可运行的最小流程:加载数据、构造输入、训练一个基线、评估并输出指标。示例省略了数据下载与文件路径配置,请按你本地实际情况替换。

import json
from collections import Counter

import torch
from torch.utils.data import Dataset, DataLoader
from transformers import AutoTokenizer, AutoModelForSequenceClassification
from sklearn.metrics import accuracy_score, f1_score

# 1. 加载数据
with open("ori_pqal.json", "r", encoding="utf-8") as f:
    raw = json.load(f)

items = list(raw.values())
print("total:", len(items))
print("label dist:", Counter(x["final_decision"] for x in items))

# 2. 标签映射
label2id = {"yes": 0, "no": 1, "maybe": 2}
id2label = {v: k for k, v in label2id.items()}

# 3. 数据集封装
class PQADataset(Dataset):
    def __init__(self, records, tokenizer, max_length=512):
        self.records = records
        self.tokenizer = tokenizer
        self.max_length = max_length

    def __len__(self):
        return len(self.records)

    def __getitem__(self, idx):
        r = self.records[idx]
        context = " ".join(r["CONTEXTS"])
        enc = self.tokenizer(
            r["QUESTION"],
            context,
            truncation="only_second",
            max_length=self.max_length,
            padding="max_length",
            return_tensors="pt",
        )
        item = {k: v.squeeze(0) for k, v in enc.items()}
        item["labels"] = torch.tensor(label2id[r["final_decision"]])
        return item

# 4. 划分(示例:前 80% 训练,后 20% 评估)
split = int(len(items) * 0.8)
train_records, eval_records = items[:split], items[split:]

model_name = "microsoft/BiomedNLP-PubMedBERT-base-uncased-abstract"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(
    model_name, num_labels=3, id2label=id2label, label2id=label2id
)

train_loader = DataLoader(PQADataset(train_records, tokenizer), batch_size=8, shuffle=True)
eval_loader = DataLoader(PQADataset(eval_records, tokenizer), batch_size=8)

# 5. 训练
optimizer = torch.optim.AdamW(model.parameters(), lr=2e-5)
device = "cuda" if torch.cuda.is_available() else "cpu"
model.to(device)
model.train()

for epoch in range(1):
    for step, batch in enumerate(train_loader):
        batch = {k: v.to(device) for k, v in batch.items()}
        outputs = model(**batch)
        loss = outputs.loss
        loss.backward()
        optimizer.step()
        optimizer.zero_grad()
        if step % 50 == 0:
            print(f"epoch {epoch} step {step} loss {loss.item():.4f}")

# 6. 评估
model.eval()
preds, golds = [], []
with torch.no_grad():
    for batch in eval_loader:
        labels = batch.pop("labels")
        batch = {k: v.to(device) for k, v in batch.items()}
        logits = model(**batch).logits
        preds.extend(logits.argmax(dim=-1).cpu().tolist())
        golds.extend(labels.tolist())

print("accuracy:", accuracy_score(golds, preds))
print("macro F1:", f1_score(golds, preds, average="macro"))

这个示例只跑一个 epoch、使用简单划分,目的是验证流程可通。真实实验里应加入验证集早停、更细致的超参数搜索,以及针对 maybe 类的处理。跑通之后,把预测结果按官方 Submission 指南的格式导出,即可进入提交环节。

注意事项

  • 不要混淆两个标签字段。 final_decision 是最终答案,LABELS 是逐段证据标签。用错字段会让训练目标完全偏离任务定义。
  • 截断策略会影响结果。 摘要较长时,只截断上下文、保留完整问题,通常比两端都截断更合理。若证据被截掉,模型可能被迫在信息不足的情况下作答。
  • 类别不均衡是常态。 只看准确率容易高估模型能力,务必同时报告宏平均 F1 与各类别指标。
  • 防止数据泄漏。 同一篇文献的多个片段不要跨训练集与评估集分布,否则指标不可信。
  • 提交口径必须一致。 测试集划分、标签映射、指标计算方式三者任一与官方不一致,排行榜成绩都不可比。提交前请以仓库中的 Submission 指南为准。
  • 易变信息以官网为准。 数据集版本、文件命名、榜单状态、提交要求都可能更新,本文描述的是通用流程,具体细节请查阅仓库与官网当前信息。
  • 应用场景需谨慎表述。 PubMedQA 是研究基准,用于评估模型对文献摘要的理解与判定能力。它不构成临床决策依据,也不应被当作医疗建议的来源。