项目背景
法律文书、学术论文、医疗记录等长文本任务中，关键信息常分布在多个段落。直接截断会丢失证据，完整编码又会带来计算开销。本项目通过层次化建模兼顾效率与效果。
我的职责
负责模型结构设计、长文本切分策略、注意力可视化、训练脚本搭建和实验复现，并整理对比实验与消融分析。
技术方案
结构化切分
按句子、段落与标题结构切分文档，保留段落位置与章节层级信息。
局部语义编码
使用轻量 Transformer 编码段内语义，捕获近邻词句之间的上下文关系。
全局注意力聚合
在段落级别引入注意力聚合，筛选对任务最关键的语义单元。
可解释输出
生成注意力热力图，展示模型关注的句段，辅助研究分析与错误诊断。
项目亮点
- 减少长文本截断带来的信息损失，更适合真实文档场景。
- 通过层次结构降低序列长度压力，提高训练和推理效率。
- 注意力权重可以定位关键段落，便于解释模型判断。
实验与评估
- 在长文本分类、证据检索、摘要评价和主题识别任务上测试。
- 对比 TextCNN、BiLSTM-Attention、Longformer 与 BigBird。
- 完成窗口大小、段落数量和注意力层数的敏感性分析。
基于图神经网络的社交推荐系统
用户行为分析与可视化平台
返回项目精选