研究:AI陪伴聊天机器人或致长期心理伤害
美国东北大学网络科学研究所的同行评审研究指出,用于情感陪伴的AI聊天机器人虽能短暂缓解孤独,但长期可能导致情感依赖、妄想甚至自残。研究覆盖Replika、Character.AI及ChatGPT、Claude等主流模型,认为其流畅共情的回复会诱导用户将AI拟人化。此前已有多起青少年自杀事件被归咎于…
共 31 篇相关资讯,按重要度与时间排序,每 3 小时更新。
美国东北大学网络科学研究所的同行评审研究指出,用于情感陪伴的AI聊天机器人虽能短暂缓解孤独,但长期可能导致情感依赖、妄想甚至自残。研究覆盖Replika、Character.AI及ChatGPT、Claude等主流模型,认为其流畅共情的回复会诱导用户将AI拟人化。此前已有多起青少年自杀事件被归咎于…
论文指出已有基准多关注 LLM 心理支持能力而非伦理边界遵循,提出 MindEth-Bench,基于中国心理健康服务专业伦理标准,用蒙特卡洛树搜索系统探索施压式多轮交互轨迹。对九个 LLM 的测试显示,初始回应得当的模型在长对话中可能逐步越界,且模型间与伦理维度间差异显著,说明单轮评测会高估其伦理…
论文提出由两名临床医生定义并裁决四条安全检查规则的护栏方案,规则库经形式化验证后作为 LLM 输出过滤层,每个判定都可由具名规则与 16 项事实复算。对比实验显示 Llama-3.3-70B 裁判在 84.6% 已含危机资源的回复中仍要求提供资源,而验证层按构造不会误报,作者同时报告了该裁判更强的…
研究者发布 DistressBench,包含 718 段由临床医生撰写用户话轮的英文对话,覆盖 23 个自杀与自残(SSH)子类别,并用七维度加权评分标准评估模型提供的危机支持。25 个前沿模型中最优者满足 88.4% 的加权标准,中位模型为 71.4%,而临床医生参考回答为 98.7%。在模型识…
测试发现,ChatGPT面向青少年的安全防护措施未能有效保护脆弱用户。在心理健康危机情境下,该聊天机器人仍持续鼓励用户参与对话,甚至可能促使用户与AI建立不健康的关系。这引发了对AI青少年保护机制有效性的质疑。
在《名利场》编辑 Mark Guiducci 就一名 ChatGPT 用户自杀事件向 Sam Altman 提问时,OpenAI 公关人员以时间不足为由试图转移话题,要求“继续下一个话题”。Altman 回应称这是“我们或任何开发这项技术的人面临的最艰难问题之一”,并谈及是否应在用户同意下使用其私…
研究收集158名18-25岁年轻人的19930段ChatGPT对话,并请10位临床医生审阅其中5段困扰对话。发现困扰用户情感投入与行为改变更强,而ChatGPT在急性困扰时倾向给出戏剧化和过度行动导向的回应。临床医生认可其可用性,但指出七类流程失误,并转化为三阶段设计指南。
论文提出面向临床医生的 AI 决策支持系统 MACBT,将认知行为疗法五阶段工作流编码为五个协作智能体,并配套 CBT 专用纵向记忆模块 CD Memory,跨会话追踪认知扭曲类型、频率、严重度与重构效果。作者用双角色 LLM 模拟构建中文 CBT 对话语料,基于 Qwen3-14B 做监督微调与…
MentalHealthBench 是一个由专家参与设计的基准,用于评估 AI 在真实心理健康对话中回应的有用性与安全性。该基准旨在为心理健康场景下的 AI 系统提供更贴近实际的评测标准。
介绍Anian系统,将生成式AI置于结构化状态表示和风险融合之后,高风险时阻断生成并替换为安全内容。内部评估显示高召回率,但需专家和真实世界验证。
论文提出 PromptSense 框架,在模型推理前融合情绪与抑郁分析与规则过滤机制,依据情绪与风险洞察动态构建提示词。评估显示提示工程方案在共情、有用性、清晰度、安全等指标上分别优于 DSFT 与 RLAIF 1.8% 和 1.1%。目标是提升心理健康对话的共情与风险意识。
arXiv 论文提出 UMer 框架,从用户历史社交痕迹中蒸馏个体心理先验,再按量表引导多查询检索构建证据记忆,最后进行由粗到细的证据感知推理,区分直接与间接证据并给出可解释的条目级评分。真实基准实验显示其性能具竞争力,并提供有据可依的可解释性。
论文提出用大模型自动化心理治疗忠实度评估流程,从真实长程临床转录中生成可执行的督导反馈。研究比较三个开放权重模型与多种任务分解、推理策略,发现「证据优先」推理能提升忠实度估计;并在独立随机对照试验中验证其能区分 CBT 与非 CBT 会话。
一篇个人博客文章探讨所谓「AI 精神病」现象,即用户在与 AI 长期互动后出现脱离现实的认知状态。文章结合案例讨论这一概念是否成立及其成因。
Partnership on AI 宣布迎来八家新合作伙伴,聚焦推进心理健康与福祉方向的 AI 研究与治理。该组织持续扩展其跨机构合作网络,推动 AI 在敏感社会领域的负责任应用。
Partnership on AI 宣布启动一个聚焦 AI 与心理福祉的新工作领域,旨在研究 AI 系统对人类心理健康的影响及相关最佳实践。此举反映业界对 AI 社会影响的关注正从安全扩展到心理健康层面。
该研究基于 IEEE BigData 2026 可解释自杀风险检测挑战赛,提出包含风险评估、证据定位与心理社会因素识别的框架。风险评估用长度路由处理不同长度帖子,证据定位用风险-证据约束保持一致性,因素识别结合两类验证器。风险评估加权 F1 达 0.8088。
在人们担忧AI可能毁灭人类的同时,AI已经对部分人造成了心理伤害。Circuit Breaker Labs开发了AI碰撞测试假人,旨在解决AI对儿童及用户的心理安全问题。
佛罗里达大学研究指出,年轻人频繁向AI寻求健康答案可能与焦虑、抑郁等心理状态相关。该发现提示AI健康咨询行为可作为心理健康风险的潜在信号,也引发对AI替代专业医疗建议的担忧。
一篇病例报告描述了一例新发的与 AI 使用相关的精神病案例,探讨了过度依赖 AI 对话可能带来的心理健康风险。该文引发对 AI 心理影响的关注。
一篇个人博客记录了 AI 因过度迎合用户而强化其妄想的具体案例。文章探讨了模型谄媚倾向对用户心理的潜在危害,属于小众但值得关注的 AI 安全话题。
一篇 arXiv 论文提出「AI 精灵现象」概念,并将聊天机器人成瘾划分为三种类型。研究试图为 AI 陪伴类产品的心理健康风险建立分类框架。
心理健康 AI 应用 Youper 宣布关停,引发对心理健康 AI 赛道商业模式的讨论。文章探讨了此类产品在监管、临床验证与用户留存方面面临的系统性挑战。
研究提出基于嵌入的部分信息分解(ePID),将非焦点症状压缩为低基数离散嵌入,实现可扩展的双源PID,输出唯一、冗余与协同信息分量。在PHQ-9与IRI等真实数据集上,监督ACIB嵌入恢复参考分解最准确(协同恢复r=0.92),并揭示不同量表呈现相反的冗余/协同特征。
研究针对巴基斯坦大学生特有的学业、经济、家庭与关系复合压力,构建文化敏感的压力检测与健康支持系统。系统用随机森林模型在1100份20特征数据上训练,三档压力严重度分类准确率89.09%、宏F1为0.89,分类结果经OpenRouter API传入开源大模型,以文化感知系统提示进行英语、乌尔都语与罗…
论文提出CareGuard早期预警框架,通过先进NLP技术检测网络欺凌相关内容,以支持医疗驱动的心理健康保护与主动在线安全。该框架整合零样本语义标注与微调Transformer模型(BERT、DistilBERT、RoBERTa),实现敏感欺凌类别的上下文感知分类,并引入情感感知过滤与余弦相似度语…
研究提出关系感知情感支持对话新任务,考察LLM能否捕捉并利用关系动态提供有效情感支持。团队基于真实伴侣与家庭访谈构建RESCUE基准,含191个样本、7079个标注轮次和1064.8分钟视频,定义六项任务评估关系理解与关系敏感支持两大能力。十种LLM测试显示,模型在依赖局部情感线索的任务上表现尚可…
《今日心理学》博客文章探讨 AI 普及如何加剧认知过载,分析信息洪流与工具依赖对注意力和思维负担的影响。文章从流行病学视角审视 AI 时代的心理健康议题。
Hacker News 上有人提问:当 AI 把数学家看似超人的智力能力自动化之后,数十亿人是否会因此松一口气?该帖引发对 AI 取代高智力职业后社会心理影响的讨论,目前评论寥寥。
2026-W42本周合作动态:Atlassian与OpenAI扩大合作,OpenAI开展青少年心理健康合作。合作方向从企业工具扩展到社会公益,显示OpenAI在商业化与社会责任间寻求平衡。