Falcon-Emirati-7B:让 LLM 学会阿联酋方言、文化与语感
💡 灵机 AI 深度洞见与核心提炼
Falcon-Emirati-7B 发布,这是一个基于 Falcon-H1-Arabic 的 7B 方言专用模型,专注理解与生成阿联酋阿拉伯语。它沿用 Falcon-H1 混合架构(Mamba 与 Transformer 注意力并行),并构建了真实方言网页数据、阿联酋文化 MSA 语料与受词表约束的合成数据三条管线。团队通过消融实验摸索方言数据注入量与训练阶段,以平衡真实与合成数据。
信源媒体:Hugging Face:Blog(RSS)
访问出处网页 ↗