融合多维特征的传统与深度学习AES系统对比研究

融合多维特征的传统与深度学习AES系统对比研究

摘要

作文自动评分（Automated Essay Scoring，AES）作为教育自然语言处理的重要应用领域，旨在通过计算模型对作文质量进行自动化评估。本研究设计并实现了一个融合多维特征的AES系统，同时构建了基于特征工程的机器学习模型和端到端的深度学习模型，并对两种方法进行了系统的对比分析。我们提取了词汇复杂度、句法多样性、文本长度、主题一致性等四类12种具体特征，分别构建了XGBoost模型和基于BERT的深度学习模型。实验结果表明，深度学习模型在评分准确性上优于传统机器学习模型，但在特征可解释性和训练效率方面存在不足。本研究深入探讨了深度学习有效的原因，并为AES系统的实际应用提供了有价值的参考。

关键词：作文自动评分；特征工程；XGBoost；深度学习；BERT；对比分析

1. 引言

1.1 研究背景与意义

作文评估一直是语言教学中的重要环节，传统的人工评分方法存在主观性强、效率低下、标准不一致等问题。随着自然语言处理技术的发展，作文自动评分系统应运而生，旨在通过计算模型实现对作文质量的自动化评估。AES系统不仅能够提高评分效率，减少人工负担，还能提供客观、一致的评分标准，对于大规模考试、在线教育平台具有重要意义。

早期的AES系统主要基于规则和简单的统计特征，如E-rater和IntelliMetric系统。随着机器学习技术的发展，基于特征工程的AES系统成为主流，通过提取丰富的语言特征，结合机器学习算法进行评分。