AB
AiBoss
チュートリアル

fast.ai

チュートリアル

用 fast.ai 训练一个 IMDB 影评情感分类模型

fast.ai 是构建在 PyTorch 之上的高层深度学习库,把数据加载、模型搭建与微调流程压缩成几行代码。本文以 IMDB 影评数据集为例,从安装环境、导入文本模块、构建 TextDataLoaders、创建 AWD_LSTM 文本分类学习器,到 fine_tune 微调与 predict 推理,完整走通一个情感二分类任务,并说明各参数含义与常见注意事项。

fast.ai 是一个构建在 PyTorch 之上的高层深度学习库。它把训练神经网络时那些繁琐的细节——数据加载、批处理、学习率调度、预训练权重加载——封装成少量高层组件,让没有深厚数据科学背景的人也能搭出可用的模型。它适合两类读者:一类是想快速跑通第一个深度学习模型、不想先啃完框架底层 API 的初学者;另一类是有一定经验、希望在真实数据集上快速验证想法的开发者。本文要完成的具体任务是:用 fast.ai 的文本模块,在 IMDB 影评数据集上训练一个情感二分类模型,并让它对一句新影评给出正面或负面的判断。如果你更习惯在浏览器里直接操作,可以先看看站内的 fast.ai 工具页,再回到本文按步骤动手。

需要先说明一点:fast.ai 的价值在于「把流程缩短」,而不是「把原理藏起来」。下面每一行代码都会解释参数在做什么,这样你在跑通之后,才知道该改哪里。

准备工作

运行环境

fast.ai 运行在 Python 上,并且依赖 PyTorch。也就是说,你需要一个已经装好 Python 的环境,以及能正常安装 PyTorch 的条件。安装 fast.ai 本身只需要一条 pip 命令:

pip install fastai

如果你是在 Jupyter Notebook 或 Colab 这类笔记本环境里执行,命令前面要加一个感叹号,因为笔记本会把 ! 后面的内容当作 shell 命令交给系统执行:

!pip install fastai

反过来,如果你是在终端里直接敲命令,就不要带感叹号,否则 shell 会报错。这是初学者最常踩的一个小坑,两种环境的写法不能混用。

硬件与耗时预期

本文的示例在普通笔记本环境(例如 Colab)里也能跑,但训练会明显偏慢,整个流程大致需要半小时左右。如果本机有可用的 GPU,或者你愿意多等一会儿,建议在自己的机器上执行,速度通常更可控。这一点直接影响你后面设置训练轮数时的耐心预算。

数据从哪来

不需要自己准备数据集。fast.ai 内置了常用数据集的下载入口,本文用的是 IMDB 影评数据集,代码会自动下载并解压。因此前置条件里唯一需要确认的是:运行环境能正常访问网络,并且有足够的磁盘空间存放解压后的数据。

版本与费用说明

fast.ai 库本身与配套课程的具体版本、许可条款、以及课程是否收费等情况会随时间变化,请以官网当前信息为准。本文只讲代码层面的用法,不涉及任何价格或配额承诺。

操作步骤

第一步:导入文本模块

fast.ai 按任务领域拆分了子模块,做文本任务就从 fastai.text 里导入。最省事的写法是把该子模块下的全部组件一次性引入:

from fastai.text.all import *

这行的含义是:从 fastai.text 模块导入所有组件。这个模块里装着处理文本数据的工具和函数,包括数据加载器、文本分类学习器、预训练语言模型架构等。把它放在代码开头,后面做情感分析、文本分类这类任务时,需要的类名和函数名就都已经在当前命名空间里了,不用再逐个 import。

如果你更在意命名空间的整洁,也可以只导入实际用到的几个名字,例如 untar_data、URLs、TextDataLoaders、text_classifier_learner、AWD_LSTM、accuracy。但对第一次跑通流程来说,全量导入更不容易因为漏掉某个名字而报错。

第二步:下载并解压数据集

接着把 IMDB 数据集取到本地:

path = untar_data(URLs.IMDB)

untar_data 负责下载并解压数据集,URLs.IMDB 是 fast.ai 内置的数据集地址常量。执行完成后,返回值 path 是一个本地路径,指向解压出来的数据目录。后面所有读取数据的操作都基于这个路径,所以不要把它覆盖掉。

这一步在第一次运行时需要联网下载,耗时取决于网络状况;数据已经存在本地时,再次执行会直接复用,不会重复下载。

第三步:构建文本数据加载器

模型训练时数据是一批一批喂进去的,负责这件事的就是数据加载器(DataLoader)。fast.ai 为文本任务提供了专门的类:

dls = TextDataLoaders.from_folder(path, valid='test')

逐个参数看:

  • path:文本数据所在的目录路径,就是上一步拿到的那个变量。
  • valid='test':指定用哪个子目录作为验证集。IMDB 数据集目录下通常有两个主要子集,train 用于训练,test 用于测试或验证。把 valid 设为 'test',就是告诉加载器:把 path 目录下的 test 文件夹拿来做验证。

为什么要有单独的验证集?因为训练时模型见过训练数据,用它自己的训练表现来评估会偏乐观。留出一份模型没见过的数据,才能看出它在新样本上的真实水平,这也是判断有没有过拟合的依据。

执行后得到的 dls 同时包含训练集与验证集两部分,后续训练和评估都从它取数据。它还会负责把原始文本切成 token、转成数值、组成批次,这些预处理细节不需要你手写。

第四步:创建文本分类学习器

有了数据加载器,就可以创建学习器对象了:

learn = text_classifier_learner(dls, AWD_LSTM, drop_mult=0.5, metrics=accuracy)

这行代码创建的是一个用于文本分类的学习器,参数含义如下:

  • dls:上一步构建的数据加载器,里面装着训练与验证数据。
  • AWD_LSTM:网络架构。AWD_LSTM 全称是 ASGD Weight-Dropped LSTM,是一种循环神经网络(RNN)结构,擅长处理文本这类有先后顺序的序列数据。fast.ai 会为它加载预训练权重,所以你不必从随机初始化开始训练。
  • drop_mult=0.5:控制 dropout 正则化的强度倍数。dropout 是一种防止过拟合的技术,训练时随机丢弃一部分连接,避免模型把训练数据记得太死。0.5 表示以中等强度施加 dropout。
  • metrics=accuracy:训练过程中用来评估表现的指标。accuracy 即准确率,衡量被正确分类的样本占比,是分类任务最常用的指标之一。

返回的 learn 对象就是后续训练、评估、推理的统一入口。

第五步:微调模型

模型结构就绪后开始训练:

learn.fine_tune(1)

fine_tune 做的是「微调」:在预训练权重的基础上,用你的数据继续训练,让通用语言知识适配到情感分类这个具体任务上。参数 1 是训练轮数(epoch),一个 epoch 表示把整个训练集完整过一遍。轮数越多,模型见的数据次数越多,通常效果会提升,但耗时也线性增长,并且轮数过多可能过拟合。示例里为了简单只跑 1 轮。

需要留意的是,fine_tune 内部并不是简单地跑一遍训练集,它会按 fast.ai 的惯例分阶段调整:先冻结大部分层、只训练新加的输出部分,再逐步解冻更多层做更细的调整。这也是为什么它比手写训练循环省事——学习率、冻结策略这些经验性的安排已经内置好了。

第六步:用新文本做预测

训练完成后,直接拿一句没见过的影评测试:

learn.predict("I really loved that movie, it was awesome!")

返回结果形如:

('pos', tensor(1), tensor([0.4885, 0.5115]))

三个部分分别代表:

  • 'pos':预测类别,这里是正面(positive)。
  • tensor(1):预测类别对应的索引,1 对应正面这一类。
  • tensor([0.4885, 0.5115]):各类别的概率分布,第一个数对应负面,第二个数对应正面。两个值加起来为 1。

从这组概率能看出,模型虽然判对了方向,但把握并不大——正面概率只比负面高一点点。这正是只训练 1 轮的结果。想提高置信度,可以增加训练轮数,代价是训练时间变长,除非你有性能较好的机器。

一个完整示例

把上面的步骤串起来,就是一段可以直接从头跑到尾的最小脚本。在笔记本环境里,第一行保留感叹号;在终端里执行时去掉感叹号,并把安装命令单独在 shell 中运行。

!pip install fastai

from fastai.text.all import *

path = untar_data(URLs.IMDB)

dls = TextDataLoaders.from_folder(path, valid='test')

learn = text_classifier_learner(dls, AWD_LSTM, drop_mult=0.5, metrics=accuracy)

learn.fine_tune(1)

learn.predict("I really loved that movie, it was awesome!")

执行顺序与预期现象:

  1. 安装命令执行完毕后,import 行不应报错;如果报 ModuleNotFoundError,说明安装没成功或装到了另一个 Python 环境里。
  2. untar_data 首次运行会下载并解压数据,之后复用本地缓存。
  3. TextDataLoaders.from_folder 会扫描目录结构,把 train 与 test 两个子集分别作为训练集和验证集。
  4. fine_tune(1) 开始训练,过程中会打印训练损失、验证损失与准确率。这一步是整个流程里最耗时的部分。
  5. 最后一行输出一个三元组,第一个元素是预测标签,第三个元素是各类概率。

如果只想验证流程是否跑通,跑完这七行就够了。想进一步观察效果,可以把 fine_tune 的轮数调大,再对比预测输出的概率分布变化——概率越集中,说明模型越有把握。

注意事项

感叹号只在笔记本里用

!pip install fastai 里的感叹号是笔记本环境的语法,用来把后面的内容当 shell 命令执行。在终端里直接敲命令时不要带感叹号。两种环境混用会直接报错,这是新手最常见的失败原因之一。

训练耗时要有预期

在 Colab 这类环境里跑完整示例大约需要半小时,主要时间花在训练上。如果本机没有 GPU,耗时会进一步拉长。设置训练轮数时要把这个成本算进去,不要一上来就把轮数设得很大。

轮数、耗时与置信度的权衡

示例只训练 1 轮,所以预测概率接近五五开。增加轮数通常能提高置信度,但训练时间随之增加,而且轮数过多会带来过拟合风险——验证集表现可能不再提升甚至下降。建议在增加轮数的同时观察验证集指标,而不是只看训练损失。

验证集的划分方式

valid='test' 依赖数据集目录里确实存在名为 test 的子目录。如果你换成自己的数据集,目录结构必须与这种「按文件夹分训练/验证」的组织方式一致,否则加载器找不到验证数据。换成其他数据集时,这一行是最需要先检查的地方。

dropout 强度不是越大越好

drop_mult 控制 dropout 的倍数。调高可以抑制过拟合,但过高会让模型学不动、训练损失下降缓慢。示例用的 0.5 是一个中等强度的起点,实际调整应结合验证集表现判断。

与 Hugging Face 生态的关系

fast.ai 可以与其他模型库配合使用,例如把 Hugging Face 的 transformers 模型接进来。如果你的任务已经有现成的高质量预训练模型可用,直接用那套生态往往更省事;而当你需要从零开始训练模型、或想用统一的高层接口控制整个训练流程时,fast.ai 是更顺手的选择。两者并不互斥,按任务选即可。

易变信息以官网为准

fast.ai 的库版本、课程内容、数据集地址常量、以及配套资源的获取方式都可能更新。本文代码基于素材描述的接口编写,实际运行时若遇到接口变化,请以官网当前信息为准。