Predicting Contextual Informativeness for Vocabulary Learning using Deep Learning
Predicting Contextual Informativeness for Vocabulary Learning using Deep Learning
Authors:Tao Wu, Adam Kapelner
Deep-Dive Summary:
使用深度学习预测词汇学习的语境信息量
摘要
本文描述了一种现代深度学习系统，用于为高中生的一门语言（母语）词汇教学自动识别具有信息量的语境示例（简称“语境”）。研究比较了三种建模方法：(i) 使用 MPNet 均匀语境化嵌入的无监督相似度策略；(ii) 基于指令感知、微调后的 Qwen3 嵌入并结合非线性回归头的有监督框架；(iii) 在模型 (ii) 的基础上加入人工构建的语境特征。我们引入了一种名为“保留能力曲线”（Retention Competency Curve, RCC）的新型指标，用于可视化“舍弃的优质语境比例”与“优劣语境比”之间的权衡，为模型性能提供简洁且统一的视角。模型 (iii) 表现最为显著，在仅舍弃70 % 70\%70%优质语境的情况下，优劣比达到了 440。总之，我们证明了在人工监督指导下，基于神经网络架构的现代嵌入模型可以为各种目标词汇提供低成本、大量的近乎完美的教学语境。
II. 方法
建模目标是构建一个二元分类器g gg，输入目标词和包含该词的短文本片段（语境），输出是否将其用于词汇教学系统。
A. 原始数据
数据库包含 67,807 个语境，涵盖 937 个目标词，分为 10 个难度等级。每个片段长度约 42-65 个单词。
B. 人工标签
每个语境由 10 名亚马逊 Mechanical Turk 工人评分，分值为：
- ( + 2 ) (+2)(+2)非常有帮助
- ( + 1 ) (+1)(+1)有点帮助
- ( 0 ) (0)(0)中性
- ( − 1 ) (-1)(−1)糟糕（误导性或太难）
最终标签y i ∈ [ − 1 , + 2 ] y_i \in [-1, +2]yi∈[−1,+2]是 10 个评分的算术平均值。y i > 1 y_i > 1yi>1被称为“指导性”（directive）语境，y i < 0 y_i < 0yi<0为“误导性”（misdirective）语境。
C. 特征工程
计算了 615 个特征，包括 Google Books n-grams、同义词特征、共现词数量等。
D. 无监督模型
假设嵌入空间中向量的接近程度反映了语义信息量。
- MPNet：使用
all-mpnet-base-v2模型。
语境向量通过均值池化计算。接近度定义为：
P r o x i m i t y ( w , c ) = c o s _ s i m ( m e a n ( v ⃗ w ) , m e a n ( v ⃗ c ) ) ( 1 ) Proximity(w,c) = cos\_sim(mean(\vec{v}_w),mean(\vec{v}_c)) \quad (1)Proximity(w,c)=cos_sim(mean(vw),mean(vc))(1) - Qwen3：40 亿参数模型。为了解决自回归嵌入无法隔离词义的问题，我们在多头自注意力机制后比较目标词嵌入与片段其余部分的均值池化嵌入，如图 1 所示。
E. 有监督学习模型
在 Qwen3-0.6B 模型后安装非线性回归头（3 层 MLP），直接预测y i y_iyi。模型采用指令增强输入，例如：“请评价该语境关于 [目标词] 的信息量”。
F. 有监督学习 + 人工特征模型
采用“后期融合”策略：将 Qwen3 的 1024 维 EOS 向量与 615 维归一化人工特征向量拼接，通过全连接层输出。这是一个“宽深结合”（wide and deep）的模型。
G. 模型预测与误差
模型输出连续值y ^ \hat{y}y^，通过设定阈值y ^ 0 \hat{y}_0y^0进行二元决策。
- 舍弃率（Throwout rate）：被排除的优质语境比例。
- 优劣比（Good-to-bad ratio）：接受的y > 1 y > 1y>1与y < 0 y < 0y<0语境的数量比。
我们引入了保留能力曲线（RCC）来可视化这两者的权衡，并使用曲线下面积（AUC）作为衡量标准。
H. 性能验证
采用 10 折交叉验证，重点关注[word-unseen]（词汇未见）机制，以确保模型在处理训练集之外的新词汇时具有泛化能力。
IV. 讨论
深度学习模型通过预训练的语义知识、自动特征提取和多层感知器的函数拟合能力，彻底超越了传统的人工特征方法。
虽然加入人工特征带来了边际收益（主要归功于 n-gram 全局统计信息），但在实际生产系统中，计算这些特征的成本可能并不划算。
A. 未来方向
- 扩大规模：使用 8B 参数的 Qwen3 模型。
- 改进特征集成：尝试门控融合、交叉注意力融合等策略。
- 多模态扩展：将系统从文字语境扩展到图像和带有字幕的视频视频，如图 3 所示。
V. 致谢
本研究得到美以双边科学基金会（BSF）资助。
Original Abstract:We describe a modern deep learning system that automatically identifies informative contextual examples (\qu{contexts}) for first language vocabulary instruction for high school student. Our paper compares three modeling approaches: (i) an unsupervised similarity-based strategy using MPNet’s uniformly contextualized embeddings, (ii) a supervised framework built on instruction-aware, fine-tuned Qwen3 embeddings with a nonlinear regression head and (iii) model (ii) plus handcrafted context features. We introduce a novel metric called the Retention Competency Curve to visualize trade-offs between the discarded proportion of good contexts and the \qu{good-to-bad} contexts ratio providing a compact, unified lens on model performance. Model (iii) delivers the most dramatic gains with performance of a good-to-bad ratio of 440 all while only throwing out 70% of the good contexts. In summary, we demonstrate that a modern embedding model on neural network architecture, when guided by human supervision, results in a low-cost large supply of near-perfect contexts for teaching vocabulary for a variety of target words.
PDF Link:2602.18326v1