本文共字，预计阅读时间。

2014年第86届奥斯卡颁奖典礼上，一部名为《Her（她）》的电影力压大卫·O·拉塞尔《美国骗局》与伍迪·艾伦的《蓝色茉莉》，斩获了当年的最佳原创剧本奖。该影片讲述了一个孤独的作家逐渐爱上了自己手机里的AI语音助手的故事，这个由斯嘉丽·约翰逊饰演的AI——Samantha，也凭借其沙哑性感的嗓音、风趣幽默的性格与善解人意的体贴征服了无数观众的心。而在10年后，OpenAI的2024新品发布会上，电影中的想象伴随着GPT-4o大模型的发布而有了照进现实的踪迹。这款“全能（omni）”的大模型不仅具备了先前GPT3.5所望尘莫及的高效文本、音频和图像的处理能力，同时，其还具备了通过摄像头等其他传感器收集周围声音、图像信息，并分析、理解人类情绪，且通过运算进行交流、给出建议的能力。

然而，正如我们一直所重申的那样，新技术的诞生往往伴随着新的挑战。AI情感识别技术在带来便利和创新的同时，也可能引发一系列道德与法律层面的风险。因此，今天我们将从以上角度深入分析，看看GPT-4o这位即将走入我们生活的“Her”，究竟又将为我们带来什么挑战。

AI情感识别技术有何不同？

一直以来，情感计算技术都是AI研发者的一项重要追求，所谓“情感计算”是关于人类情感产生、情感识别、情感表示以及影响情感因素度量等方面的计算科学，它利用计算机技术实现了信息载体(如生理特征、文本中的词汇、声音、视频图像等)与人类情感的极性倾向(褒义、贬义或中性)以及强度之间的关系度量，从而促进了情感计算科学的正式诞生,并推动了机器人与机器视觉、人工交互设计、语音识别和文本分析等领域的发展。[1]简而言之，即是一种通过机器学习和大数据技术对人类情感进行识别和分析的技术，AI情感识别系统通过分析文本、语音、视频等多种数据类型，识别和理解人的情感状态，在智能客服、教育、健康监测等领域有着广泛的应用空间。

而本次，GPT-4o所达到的技术高度尚不足以称为完全意义上的“AI情感识别”，严格地讲，其仍然是通过GenAI传统的深度学习方式，通过大量数据的训练，达到了对一些场景的基础识别。但即便如此，GPT-4o也仍在“理解”人类的方面迈出了重要的一步，相较于当前的其他AIGC产品，GPT-4o已经能够与用户进行相对较为自然的交流沟通，并伴随着现实世界中的一些倾向，如打断、理解语气，甚至能够根据用户的反应意识到自己给出建议的正确与否。在OpenAI发布会的演示环节中我们可以看到，主持人要求GPT-4o对他的呼吸技巧做出反馈，其对着手机进行了深呼吸，并被GPT诙谐地调侃为：“你不是吸尘器。”这种富有“幽默感”的回应，显然已经超越了我们传统理解中AIGC较为生硬刻板的训练成果。此外，GPT-4o将可以根据不同的情况改变其回应的语气，更为重要的是，在其传达“思想”的过程中首次出现了不同的语调，这意味着GPT-4o在一定程度上已经可以像人类之间进行对话一样，“理解”自己要表达的内容，并对用户可能的回应有较为合理的预期。因而，抛开实现这一成果的方式在技术层面上是否跳脱了传统GenAI学习方式的框架，能够达到这种程度的AI情感识别，依旧令人感到惊喜。

AI情感识别将带来哪些风险？

1. 数据安全

首当其冲的依旧是AIGC老生常谈的数据安全问题。情感识别系统的存在是建立在对大量数据处理的基础上的，这意味着服务提供者的数据保护责任也相应地加重，除了传统的数据存储安全外，其获取数据的价值越高，也就越会遭受黑客等不法行为的觊觎。由于AI情感识别的技术应用会深度渗透进用户的日常生活当中，一旦数据泄露，不仅会造成经济损失，还可能引发社会信任的危机。

2. 隐私权侵害

显然，要实现如GPT-4o的AI情感识别技术，是需要大量个人数据来支持训练和运行的。这些包括语音、视频、文本等在内的数据往往包含用户的个人信息，除具有识别性的外貌信息之外，更可能包含诸如情感状态、心理健康状况等涉及个人隐私的信息。因此，数据安全问题不仅涉及单纯的个人信息问题，更可能导致个人隐私的泄露，侵犯用户的隐私权。

3. 歧视和偏见

由于现阶段情感识别的实现依赖于AIGC技术的基础，因而算法歧视问题仍旧是相关服务提供者跨不过去的“一道坎”。如果训练数据存在偏见，系统即可能会表现出对特定群体的歧视。例如，当训练数据主要来自某一特定性别、种族或年龄段，系统可能对这些群体之外的人群识别不准确，甚至产生误判。而诸如GPT-4o的应用，显然是面向社会不特定主体的。如何能够避免这种情况，确保训练数据的多样性和代表性，并在AI算法设计中引入公平性考虑，是研发者不得不深入研究的课题。

4. 情感操控

严格意义上讲，情感操控并非是法律层面的风险，而是在道德层面对AI情感识别这种前沿技术的伦理要求。一旦情感识别技术得到广泛应用，基于其识别用户情感状态，并精准进行客制化研判的特性，其将可以被用于商业营销、陪伴陪护等生活中的重要场景。然而，这种做法一旦遭到滥用，就将可能导致对用户的情感操控。例如，通过分析用户情感状态，投放能引发负面情绪的广告，从而增加消费欲望。这种操控行为不仅不道德，还可能对用户心理健康造成负面影响。

如何应对AI情感识别的风险？

首先，政策与法律框架完善的完善必须未雨绸缪。技术的变化日新月异，对具有滞后性的立法提出了挑战。因此，相关机构更需要对技术可能产生的社会影响有所预估。一方面，由立法机关加快《数据安全法》《个人信息保护法》等法律法规的解释和完善；另一方面，在法律尚不健全的情况下也有必要依托政策性文件，在相关领域内率先明确情感识别技术的使用规范。

其次，相关人工智能服务提供企业需要提高自身的合规和管理意识。AI情感识别技术有着广泛的应用前景，将可能为很多行业带来全新的产业变革。然而，这一切都是建立在企业严格遵守相关法律法规，尽到应尽的合规义务，采取必要的数据保护措施，建立健全内外数据管理规程的基础上的。在情感识别系统的开发和应用中，企业有必要注重算法的公平性，确保训练数据的多样性和代表性，避免系统对特定群体产生歧视。同时，企业有必要加强数据安全审计，及时发现和处理潜在的安全风险；提高系统的透明性，明确告知用户情感识别算法可能存在的误导性风险。

最后，整个行业在引入AI情感识别技术时，都应当充分考虑其对用户和员工可能造成的心理健康层面的影响。由于当前技术的开发和应用都仍处在较为初级的阶段，AI对于使用者可能造成影响也暂不明确。因而，服务提供者有必要做好提供心理健康服务的预案。例如，提供心理健康支持服务，定期开展心理健康评估，确保情感识别技术的应用不会对用户和员工的心理健康造成损害等。[2]

写在最后

在GPT-4o为我们带来AI情感识别技术令人欣喜的发展的同时，其可能引发的法律和伦理道德风险依旧不容忽视。企业和政府应共同努力，通过完善法律法规、加强数据保护、确保系统公平性和透明性、重视用户知情同意和心理健康保护等措施，积极应对这些风险，确保情感识别技术的安全、合法和道德应用。只有在有效管理和控制这些风险的前提下，情感识别技术才能真正发挥其积极作用，推动社会进步和人类福祉。

以上是今天的分享，感恩读者！

参考文献：

[1] Picard RW：Affective Computing. Cambridge: MIT Press, 1997.

[2] 参见饶元、吴连伟、王一鸣等：《基于语义分析的情感计算技术研究进展》，软件学报，2018年第8期，第2397-2426页。

[Source]

本文系未央网专栏作者发表，属作者个人观点，不代表网站观点，未经许可严禁转载，违者必究！首图来自图虫创意。

本文为作者授权未央网发表，属作者个人观点，不代表网站观点，未经许可严禁转载，违者必究！首图来自图虫创意。

本文版权归原作者所有，如有侵权，请联系删除。首图来自图虫创意。