中国科学技术大学袁家宏教授来我院作《声调自动识别研究的科学探索》主题报告

发布时间： 2024-11-11

2024年11月8日下午，我院在主楼C区5045报告厅举行京师中文大讲堂第19场讲座，主题为“基于声调自动识别研究的科学探索：从语音分析到模型-大脑对齐”，主讲人为袁家宏教授。袁家宏教授是大数据语音学、人工智能语言学方向的著名学者，现为中国科学技术大学人文与社会科学学院教授。讲座由文学院理论语言学研究所所长许小颖老师主持，应用语言学研究所所长胡佳佳老师、曹梦雪老师，理论语言学研究所汪高武老师、钟蔚苹老师、余德江老师与谈。讲座主要分为四部分。

首先，袁家宏老师展示了预训练和微调wav2vec2语音深度识别框架在语音识别中的优异表现和具体特性，包括大幅提高语音识别、尤其是连续语流中的声调识别的准确率；另外，在音位识别方面，wav2vec2对底层音位的识别错误率比对音位变体低得多。

然后，袁家宏老师展示了对模型的学习机制和能力边界进行的两次测试。一是基于语言习的中的刺激贫乏（Poverty of Stimulus）理论，测试大模型在训练数据标签稀疏和有错的情况下的表现；二是基于语音感知中的范例理论（Exemplar theory），测试模型的学习机制是“记忆”大量范例和细节还是对数据进行抽象和范畴化。

进而，袁家宏老师展示了模型在单任务学习和多任务学习两种情况下对声调归一化和性别分类两项任务中的表现情况。从而说明，对于模型而言，抑制与任务无关的信息并不是实现归一化的唯一方式。

最后，袁家宏老师指出，深部脑区的归一化机制可能是我们理解声调感知的神经回路和模型-大脑对齐的一把“钥匙”。

随后，袁老师就研究范式的发展、语音识别模型的可解释性、人类的语音感知机制、语音识别技术与语音学和音韵学等学科的联系等一系列理论和技术问题，与主持人和各位与谈人展开了深入交流，并回答了与会同学的提问。

 

活动在热烈的掌声中圆满结束，全体与会成员合影留念。

（图文/郑雅钦 校对/崔耘赫）