研究者改造语言模型以字节序列直接运行
一项新研究提出对语言模型进行改造,使其能够直接在字节序列上操作,而非依赖传统的分词器。该方法有望提升模型对多语言和罕见字符的处理能力,减少分词带来的信息损失。
共 8 篇相关资讯,按重要度与时间排序,每 3 小时更新。
一项新研究提出对语言模型进行改造,使其能够直接在字节序列上操作,而非依赖传统的分词器。该方法有望提升模型对多语言和罕见字符的处理能力,减少分词带来的信息损失。
论文针对省略前提或结论的「省略论证」(enthymeme)检测,在疫苗与移民议题推文上由五名标注者标注,发现所有微调模型 F1 均停在 0.67 左右。作者提出与标注者投票分布对比的评估指标,并训练直接预测分布的模型,在不损失 F1 前提下更好捕捉分歧。模型倾向依赖显式论证结构,对隐含链接的论证与…
针对低秩分解压缩嵌入层时线性瓶颈限制表达能力的问题,论文借鉴 Kolmogorov Arnold Networks 范式,在压缩嵌入层中引入可学习非线性投影。作者将压缩层集成进 Skip-gram,在词类比与语义相似度基准上与低秩基线对比,并提出从预训练嵌入初始化的策略。结果显示非线性投影可缓解线…
论文检验 GoEmotions、XED、BRIGHTER 共享的五个情绪标签是否可互换,发现同一批文本上不同恐惧分类器的判定比例相差悬殊(71% 对 8%)。跨语料迁移导致模型损失 55% 的原生区分能力,且不同训练资源会让「哪批推文更惊讶」得出相反结论。
论文发布 BanglaRhet,一个含 30289 段孟加拉语政治演讲的人工标注语料,用于修辞手法与说服技巧检测。评测 BanglaBERT、SahajBERT、XLM-RoBERTa 等模型,BanglaBERT 表现最佳,修辞检测 macro-F1 65.40%,说服检测 66.46%,显著优…
一篇技术文章梳理了文本分类方法从传统词袋模型到现代语言模型(Jev)的演进路径。内容属于方法综述与科普,讨论不同范式的取舍与适用场景。
一篇 COLING 2025 论文提出 NüshuRescue 项目,利用 AI 技术复兴濒危的女书文字。该研究在 Hacker News 热度极低,仅 1 分无评论,属于学术性小众话题。
论文提出CareGuard早期预警框架,通过先进NLP技术检测网络欺凌相关内容,以支持医疗驱动的心理健康保护与主动在线安全。该框架整合零样本语义标注与微调Transformer模型(BERT、DistilBERT、RoBERTa),实现敏感欺凌类别的上下文感知分类,并引入情感感知过滤与余弦相似度语…