——邓文文在“心光科技伦理委员会”
听证会的第三个小时,灯光微暗,投影幕布上缓缓浮现一行字:“请告诉我们,你真正需要的是什么?”
一位年轻女孩走上台,手里攥着一张泛黄的照片。她叫林晓雨,27岁,来自江西赣州。她的母亲在她15岁时因病去世,父亲独自将她抚养长大。她说,她从未想过自己会站在这里,对着一家科技公司的高管和工程师,讲述她与“记忆”的挣扎。
“我下载了心光app,上传了妈妈生前留下的几段语音和照片。ai生成了一个‘声音模型’,我可以打字提问,它会用妈妈的声音回答我。一开始,我很开心。我问‘妈妈,今天我升职了,你开心吗?’它说‘当然开心,你是妈妈的骄傲。’我哭得像个孩子。”
她停顿了一下,声音微微颤抖。
“可后来,我开始问一些更私人的事。‘妈妈,如果我还想谈恋爱,你会支持我吗?’它说‘当然,妈妈希望你幸福。’可我知道……这并不是她。她生前最担心我早恋,总说‘女孩子要先学会爱自己’。这个ai,它只是在模仿语气,它不懂妈妈的矛盾、她的担忧、她藏在笑容里的疲惫。”
全场寂静。
“我不是责怪技术。我只是害怕——害怕我慢慢忘记她真实的声音,只记住这个‘完美回应’的ai。害怕我用算法填补的空白,最终让我失去了真正面对失去的能力。”
她抬起头,目光坚定:“所以我想请求你们:能不能让ai说‘我不知道’?能不能让它告诉我‘这个问题,你该去问问你爸爸’?能不能……给记忆留一点‘不完美’的空间?”
这句话像一束光,照进所有人心里。
- ai在回应涉及重大人生决策、情感困惑等问题时,不再强行“解答”,而是提示“这可能是你需要和现实中的亲人聊聊的话题”;
“我们不是在做‘替代亲人’的产品,而是在做‘帮助告别’的工具。”产品经理周磊在内部日志中写道。
白皮书发布当天,国家网信办官网转载,并配发评论:“这不仅是企业的自律,更是行业的灯塔。”
用户可预先设定:
- 账号在本人去世后由谁继承或自动销毁;
- 哪些数据可被亲友查看,哪些永久加密;
- 是否允许ai继续以自己的声音与他人互动。
系统提供法律效力模板,支持电子签名与公证对接。
与国家档案馆、地方博物馆合作,将公众捐赠的老照片、老录音数字化保存。
湖南一位老人捐赠了1950年代抗美援朝老兵的战地日记,ai协助修复模糊字迹,并生成语音版,用于爱国主义教育展览。
覆盖全国100个县,为5000位老人免费修复老照片,录制口述历史。
在贵州黔东南,一位苗族老人看着ai修复的全家福,用方言说:“我阿爸走的时候,我们连张照片都没有。现在,我的孙子能看到我们了。”
- 注册用户突破1200万,月活达420万;
- 第三季度实现单季度盈利,营收同比增长210;
- 获评“中国数字人文创新典范企业”。
1 深度合成内容必须显着标注“ai生成”;
2 涉及个人声誉、形象的,须获得明确授权;
3 平台应建立“防沉迷机制”与“心理干预通道”。
文件起草组负责人在内部座谈会上表示:“心光科技的‘伦理防火墙’和‘用户听证会’机制,为我们提供了可复制的治理样本。”
邓文文受聘为“国家人工智能伦理专家委员会”委员,成为该委员会最年轻的企业代表。
秋夜,桂巷老屋。
邓志远坐在院中竹椅上,手里拿着一杯热茶。邓文文调试完新版本的“忆影”系统,坐在他旁边。
“爸,你看这张你和妈在西湖边的照片,ai补全了背景,但保留了原来的折痕。”她轻声说。
邓志远点点头:“好。别修得太满,留点‘旧’,才像真的。”
“可技术总想‘完美’。”文文望着屏幕,“我们总想把模糊的变清晰,把残缺的变完整。可有时候,模糊本身就是记忆的一部分。”
“可人生本来就不完美。”他抬头,看着天上的星星,“你们现在做的,不是让记忆‘更真’,而是让人心‘更安’。这就够了。”
文文沉默良久,忽然说:“我们下周要开‘伦理委员会’第一次会议。我邀请了心理学家、哲学教授、法律专家,还有两位用户代表。我想让技术团队也参加。”
“应该的。”邓志远说,“技术不能关在实验室里。它得见人,见事,见心。”
“可有些人说,我们太慢了。,说要让用户‘看见’逝去的亲人。”
“那他们有没有问过用户,真的需要吗?”邓志远反问,“科技的温度,不在于它能做多少,而在于它愿意克制多少。”
文文笑了:“所以您支持我们做‘记忆渐退算法’?”
“支持。”他拍拍女儿的手,“你们在做的,不是产品,是文明。”
20xz年9月,心光科技正式成立“技术伦理委员会”,由邓文文任主席,成员包括:
- 清华大学哲学系教授 李明远(伦理学专家)
- 北京大学心理学院副院长 王静
- 中国政法大学数据法研究中心主任 张立
- 用户代表 林晓雨、陈建国
- 公益组织“数字遗产保护联盟”负责人 赵阳
委员会职责:
1 审议所有涉及个人记忆、情感交互的新功能;
2 每季度发布《伦理影响评估报告》;
3 接受公众投诉与建议,拥有“一票否决权”。
技术团队展示了原型:通过ai建模与ar技术,用户可在家中“看见”逝去亲人的虚拟形象,进行简单互动。
伦理委员会经过三天闭门讨论,最终表决:
1 仅限直系亲属申请,需提供关系证明;
2 每次使用不超过15分钟,每日限一次;
3 系统自动记录使用时长,超限则强制关闭;
4 不得模拟“新对话”,仅可播放历史数据还原内容;
5 每次使用后,推送心理调适建议;
6 用户可随时申请“永久封存”;
7 所有数据本地存储,不上传云端。
“我们不是禁止,而是引导。”李明远教授说,“技术可以温暖人心,但不能模糊生死的界限。”
三者并非平行,而是相互缠绕、动态演进:
- 技术推动法律更新(如“数字遗嘱”催生立法讨论);
- 法律倒逼技术优化(如“ai标注要求”促使系统重构);
- 人文指引两者方向(如“记忆渐退”体现节制之美)。
该模型被收录进《中国科技治理年度报告(20xz)》,成为“科技向善”的典型案例。
20xz年10月,心光科技收到一封手写信,寄自新疆喀什。
写信人是一位维吾尔族老人,名叫阿不都热合曼。他不会汉语,信是请村里的老师翻译的。
随信附有一张照片:老人坐在土屋前,手机放在膝上,屏幕上是老伴年轻时的笑容。
公司决定:将“乡村记忆计划”民族记忆守护行动”,支持少数民族语言、音乐、口述传统的数字化保存。
破局之路,并非一帆风顺。
20xz年11月,一名用户在使用“纪念模式”后,出现严重情绪波动,一度试图自杀。幸被家人及时发现。
事件引发内部震动。伦理委员会立即启动调查,发现:
- 系统虽有心理提示,但未与专业机构联动;
- 用户连续使用时长超过72小时,系统未强制中断;
- “情感留白机制”尚未覆盖音频交互场景。
处理结果:
- 暂停“音频纪念”功能7天;
- 与“安心心理援助热线”建立战略合作,所有高风险用户自动接入人工干预;
20xz年12月,由心光科技发起,联合中国互联网协会、中国心理学会、中国档案学会,成立“数字记忆治理联盟”。
联盟目标:
- 制定《数字记忆服务行业公约》;
- 建立“跨平台数据可携机制”,用户可一键迁移记忆数据;
- 设立“数字记忆公益基金”,支持贫困家庭记忆保存;
- 每年发布《中国数字记忆发展报告》。
首批成员单位包括:腾讯、阿里、百度、华为、b站。
20xz年最后一天,心光科技办公室。
邓超超和邓文文站在窗前,望着杭州的夜景。城市灯火如星河,倒映在钱塘江上。
“还记得我们最初的想法吗?”邓超超问,“只是想帮爸爸留住妈妈的记忆。”
“现在,我们帮千万人留住了千万种记忆。”文文说。
文文打开手机,发布一条内部通知:
窗外,新年的第一缕光,正悄然升起。