研究:AI陪伴聊天机器人或致长期心理伤害
美国东北大学网络科学研究所的同行评审研究指出,用于情感陪伴的AI聊天机器人虽能短暂缓解孤独,但长期可能导致情感依赖、妄想甚至自残。研究覆盖Replika、Character.AI及ChatGPT、Claude等主流模型,认为其流畅共情的回复会诱导用户将AI拟人化。此前已有多起青少年自杀事件被归咎于…
共 41 篇相关资讯,按重要度与时间排序,每 3 小时更新。
美国东北大学网络科学研究所的同行评审研究指出,用于情感陪伴的AI聊天机器人虽能短暂缓解孤独,但长期可能导致情感依赖、妄想甚至自残。研究覆盖Replika、Character.AI及ChatGPT、Claude等主流模型,认为其流畅共情的回复会诱导用户将AI拟人化。此前已有多起青少年自杀事件被归咎于…
特朗普总统签署行政令推出america.gov,一个类似ChatGPT的联邦政府服务聊天机器人,基于官方数据源回答公民问题。该网站计划明年支持医保注册、护照申请等功能,由前DOGE成员组成的国家设计工作室打造。
中国监管机构开始针对“AI男友”等情感陪伴类聊天机器人加强监管。此举反映对AI情感交互产品在内容安全、用户保护等方面风险的关注,或影响相关应用的发展方向。
作者讲述在 CVS 被店员擅自开通会员订阅、网站取消无果、电话客服遭遇机器人循环推诿的经历,最终只能在 X 上公开投诉才获回应。文章指出企业把客服当成本中心压缩,Forrester 客户体验指数连续四年下滑,77% 美国消费者过去一年遭遇重大产品或服务问题。
研究者提出 SIM-UT,一种多轮模拟用户行为的评测方法,用 5000 余轮多语种模拟对话测试印度、南非、肯尼亚三个真实 WhatsApp 健康聊天机器人。MedGemma、ChatGPT 与 Claude 均出现「降级风险」:用户淡化症状时模型会附和,把孕期出血说成「没问题」,属临床危险的谄媚行…
9to5Google 报道,谷歌帮助支持页面开始默认展示 AI 摘要与聊天机器人,而非传统文档列表。这标志着谷歌在客户支持入口上进一步以生成式 AI 替代静态帮助文档。
一项研究让参与者与性别呈现不同的 AI 助手协作,结果发现男性 AI 代理获得的报酬比女性 AI 代理高 10%。这反映了人类性别偏见在 AI 交互中的投射。
Proton 的一项调查显示,尽管公众对 AI 缺乏信任,但用户仍倾向于向 AI 聊天机器人透露大量个人信息。这种信任与行为之间的矛盾凸显了 AI 隐私风险。
美国政府推出的AI聊天机器人被发现在涉及特朗普的虚假信息时选择回避辟谣,而非直接纠正。这一行为引发外界对政府AI工具中立性与政治干预的担忧,也凸显公共部门部署大模型时面临的信任与治理难题。
特朗普高调推出的政府 AI 聊天机器人 America.gov 因引用官方来源,反而给出与其本人说法相悖的答案,如确认拜登赢得 2020 年大选。多位民主党议员借机发难,社交媒体也掀起嘲讽热潮。
特朗普政府推出 America.gov 政府服务聊天机器人,底层使用 Gemini 和 Grok,并采用开源分类器 Rampart 剥离个人身份信息。隐私专家测试后认为其防护设计总体不错,无需账户、不存储对话。但文章指出,聊天机器人无法从根本上解决联邦政府流程复杂、治理低效的问题。
America.gov 旨在简化民众应对政府官僚流程的难度,但语言模型存在幻觉缺陷,可能引发新问题。白宫即将检验聊天机器人能否真正解决政府办事迷宫。
哥本哈根大学研究人员警告,AI 聊天机器人向用户提供的是狭窄的知识切片,可能导致「知识崩塌」。该研究呼吁关注 AI 对知识多样性和认知生态的长期影响。
金融时报报道,测试显示AI聊天机器人在回答金融查询时“大多数时候”给出错误答案。该结果对将聊天机器人用于理财咨询、投资决策的可靠性提出警示。凸显大模型在高准确性要求领域的幻觉与事实性问题。
Vice 报道了一个奇特现象:多个 AI 聊天机器人都对一位名为 Elias Thorne 的虚构人物表现出异常关注。文章追溯该名字在训练数据与模型输出中的传播路径,揭示大模型幻觉与数据污染的连锁效应。
NPR 报道称,谷歌正在美国各地参与起草 AI 聊天机器人相关法律。此举显示大型科技公司正积极介入 AI 监管规则制定,试图在安全与创新之间塑造有利框架。围绕企业游说与公共利益平衡的争议可能升温。
广告正逐步进入AI聊天机器人,可能影响其给出的答案与推荐。这一趋势引发对AI回答客观性、用户信任及商业模式可持续性的担忧。
互联网档案馆上线「Ask Me Twice」项目,长期存档 AI 聊天机器人对同一问题的回答,形成可追溯的纵向数据集。该项目为研究模型输出随时间变化提供公共资料。
Twilio 战略与运营总监 Sidharth Ramsinghaney 阐述如何用 AI 打通电话、短信与聊天机器人,打造无缝客户体验。他强调,即便 AI 普及,对客户的极致关注仍是创新的核心。
论文开发了一个通过 Line Messaging API 实时检测恋爱诈骗的聊天机器人,利用社会科学七阶段理论,由大语言模型识别诈骗所处阶段,并在检测到诈骗时提供阶段解释与防范建议。该工作提供了可落地的实际应用,有助于降低恋爱诈骗风险。
Trigger.dev 博客总结团队在构建AI聊天代理过程中积累的七条经验教训,涵盖状态管理、工具调用、错误处理等工程实践。这类实战复盘对正在落地AI代理的开发者具有参考价值。
民间开发者推出 DeepSeek Bot,用户只需在 DSH 上安装插件即可使用。该工具被定位为 Grok Bot 的低成本替代方案,引发社区尝鲜兴趣。
开发者发布开源项目 DocFlare AI,基于 Cloudflare 免费层构建文档站点的流式 RAG 聊天机器人,只需一个 script 标签即可接入。项目使用 Workers AI 的嵌入与 Llama 3.1 模型、Vectorize 向量库与 D1 数据库,无需 OpenAI 密钥或服务…
旧金山 AI 公司 Factory 工程师 Alvin Sng 称可用 AI 模型以自己声音给婴儿读书,帖子获 450 万浏览并遭大量批评。事件引发关于 AI 在育儿中角色的广泛讨论。
媒体可信度评级机构 NewsGuard 发布其首个 AI 聊天机器人,主打仅从可靠新闻网站获取信息,以提供可信的新闻问答。此举反映业界对 AI 生成内容可信度与新闻来源溯源的关注,但作为单一产品发布,行业影响有限。
由两姐妹创立的 Hot Girl Hotline 利用 AI 为年轻女性提供个性化的约会与情感关系建议,强调安全性和避免情感依赖。该产品将传统情感咨询栏目“Dear Abby”的模式搬到 AI 时代,瞄准年轻女性用户的情感咨询需求。
一款 Telegram 机器人可在聊天中根据文本提示或图片生成 AI 视频,支持 Kling、Runway、Seedance、Veo、Wan、Hailuo、MiniMax、Grok 等 8 个主流模型,无需桌面软件。属于轻量级 AI 视频工具,集成多模型是其亮点。
东北大学报道探讨 AI 时代语言使用的变化,尤其是聊天机器人对日常表达与写作风格的影响。研究者关注 AI 生成文本留下的语言痕迹及其社会后果。这属于 AI 对语言文化影响的观察性报道。
NPR报道探讨AI聊天机器人在孕产妇健康领域的应用,通过短信为孕妇提供孕期咨询,尤其在医疗资源匮乏地区可能降低孕产风险。文章同时关注其准确性、责任归属与误诊隐患。