(来源:雷峰网)

研究者需要的不只是AI生成的答案,更是审查答案、追溯来源并为知识判断负责的能力。

作者丨张 璐

编辑丨马晓宁

你有没有过这样的经历:面对几十页密密麻麻的PDF,实在抽不出时间细读,于是把论文丢给ChatGPT或Claude,让它帮你提炼核心观点。

几秒钟后,一份条理清晰的摘要出现在屏幕上。你点点头,觉得自己已经掌握了论文的主要内容,甚至直接将其中的观点引用进了自己的研究。

但是,等等——你确定AI总结的,真的是原作者想表达的意思吗?如果它悄悄引入了原文没有的观点,甚至将毫不相干的概念联系在一起,作为研究者的我们,能否及时发现?

在正在举行的 ACM Multimedia 2026 上,人机交互领域先驱、巴西里约热内卢天主教大学(PUC-Rio)荣休教授 Clarisse Sieckenius de Souza 带来了一场主题演讲。

她从自己提出的“语义工程”(Semiotic Engineering)理论出发,讨论AI如何改变人与信息之间的关系,以及当我们把文献阅读和理解的工作交给AI时,如何守住研究者的“认知权威”(Epistemic Authority)。

从界面如何传递设计者的意图,到AI摘要如何偏离原文,再到如何借助 PEEL 方法审视AI的文本处理过程,这场演讲为我们理解AI时代的知识责任提供了一个新的视角。

以下是演讲全文雷峰网:

01

界面是一场对话:我们如何理解机器的语言?

在我看来,人机交互(HCI)可以被理解为一场对话。

但这并不是应用程序或系统与用户之间简单的对话,而是一场由计算机媒介实现的、发生在人类群体之间的对话:一方是设计和开发应用程序的人,另一方是使用这些应用程序的人。

这场对话通过界面展开。界面实际上扮演着设计者代理人的角色,代替设计者向用户传递信息。它只能按照设计者预先设定的方式和语言进行表达,也就是我们通常所说的人工语言。

举个例子,当我们使用一个网站时,界面会告诉我们哪些操作是允许的,哪些操作是不允许的。在一个Cookie偏好设置页面中,用户可能尝试切换某项必要的设置,但界面却告诉我们,这项操作无法完成。

这条信息实际上来自设计者。用户通过界面得到的反馈,反映了设计者希望用户做什么、能够做什么,以及不能做什么。

这就是语义工程(Semantic Engineering)的基本思想:界面代表设计者发声,用户则通过学习和使用界面语言,与设计者进行交流。

当然,界面语言不一定是文字。它也可以是一套完全图形化、以对象为中心的语言。我们通过操纵屏幕上的对象来表达自己的意图,界面则通过对象的变化回应我们的操作。

不过,界面并不总能按照用户的预期作出回应。

我曾经在准备这场演讲时遇到一个很有意思的情况:我试图在界面中插入一个文本框,结果它竟然上下颠倒了。我完全不知道为什么会发生这种情况。

这恰恰说明,我们有时无法准确预测界面会如何回应。面对意料之外的结果,我们只能尝试理解它,并调整自己的操作。

通常,每个系统都有一套约定俗成的交互模式。这些模式在一定程度上限定了用户能够表达什么、能够做什么。我们需要不断尝试,寻找通过界面表达自己意图的方式。

更重要的是,每个系统都有自己独特的语言。即使两个系统使用相同的词汇,这些词汇背后的语义也可能完全不同。

因此,每当我们接触一个新系统,就需要经历一次语言学习的过程。

这与儿童学习母语,或者成年人学习第二语言有些相似。我们会不断尝试,观察系统如何回应,理解不同词汇和视觉符号的含义,再逐渐掌握这套语言。

当我们面对一个从未使用过的系统时,往往会进行大量尝试。我们不知道某个按钮意味着什么,也不知道某个视觉元素会产生怎样的结果,只能通过交互来建立理解。

那么,语义工程究竟包含哪些核心内容?我想从三个方面来说明。

第一,人机交互是一种中介传播。设计者和开发者通过人工界面语言,将自己的设计意图传递给用户。用户通过学习这套语言,与设计者的代理人进行交流,并尝试实现自己的目标。

当然,用户的目标不一定总是设计者预先设想的目标。有时候,我们会创造性地使用一个应用程序,完成设计者从未预料到的任务,而这些操作甚至可能运行得很好。

第二,界面中的交流依赖三种符号。

第三,用户具有很强的语言学习能力。设计者会利用已有的交互模式、熟悉的语言体系以及元语言提示,帮助用户理解新的界面词汇和语义。

以上三个方面构成了语义工程的基本框架。但随着AI的发展,我们与计算机交流的方式正在发生变化。AI已经能够使用自然语言与我们对话。

那么,一个问题随之出现:既然AI能够理解自然语言,语义工程是不是已经没有那么重要了?

我的答案是:恰恰相反。

02

当AI开始说我们的语言:究竟是谁在和我们对话?

大约四周前,我在使用Claude准备这场演讲时,遇到了一件让我非常意外的事情。

Claude的界面看起来很简单,就是一种对话式交互模式。我们在输入框中提出问题,Claude则在屏幕上给出回答。

但在某些情况下,界面还会根据当前对话的上下文,预测用户接下来可能输入的内容,并主动提供建议回复。

这本身并不奇怪。真正让我感到惊讶的是一次具体的对话。

当时,我正在和Claude讨论一些问题。它突然列出了一份清单,其中第一项竟然是它认为我想要表达的论文主旨。它给出的观点大致是:问责机制必须被设计出来,而不能被想当然地假定存在。

我当时非常惊讶,因为我从来没有想过要把这个观点作为自己的论文主旨。但我觉得这个想法很有意思,于是顺着它的建议继续讨论。我告诉Claude,它提出的这个论点很好,我们可以围绕它展开讨论。

没想到,Claude很快就纠正了我。它说,首先需要澄清一点:它之前并没有提出这个论文主旨,只是在询问我真正想表达什么。现在回顾整个对话,它才意识到这个观点似乎出现过。

于是,我继续追问:如果不是你做出了这个判断,那么究竟是谁,或者是什么,向我提出了这个观点?Claude给出的回答非常有意思:

“我不知道。我看不到你的输入框,所以无法判断应用程序是否提供了建议回复,也不知道这些回复由什么生成、依据什么上下文。这个消息传递到我这里时,看起来就像是你说的。我没有办法知道实际情况。之前我的纠正是准确的——我确实没有在这次对话中写下那个论文主旨,但我也无法知道这个表达究竟来自哪里。我本应该说明这一点。”

这是一段非常有意思的对话。我完全没有编造这个例子,事实上,即使我想编造,也很难想象出这样一个场景。

这次经历让我意识到,我们面对的AI对话系统,可能比表面看起来复杂得多。我们以为自己正在和一个能够理解上下文的系统交流,却未必知道,界面背后还有哪些代理、机制或其他信息来源参与了这场对话。

那么,语义工程是不是已经失去了价值?我的结论恰恰相反。语义工程不仅没有失去价值,反而面临着更加艰巨的任务。因为即使到了今天,人与AI之间的信息传递仍然可能存在混乱:我们看到了一条信息,却未必清楚它究竟从何而来。

我们需要重新思考:界面究竟应该向用户传递什么信息?用户是否知道自己正在与谁交流?当一条信息出现在对话框中时,我们是否能够判断它究竟来自用户、AI,还是其他中间环节?

这也是我接下来真正想讨论的问题。

03

把文献阅读交给AI,我们还拥有认知权威吗?

我真正关心的,是AI在科学研究中的广泛应用,尤其是AI辅助文献综述。

文献阅读是我们研究工作的日常组成部分。我们需要阅读大量论文,了解某篇论文讲了什么、另一篇论文有哪些贡献,以及某个研究问题与已有工作之间存在怎样的联系。

但现在,我们需要阅读的东西实在太多了。

我想起这次会议的投稿数量,据说超过了8000篇。面对如此庞大的论文数量,谁能够仅凭个人的时间和精力完成全部阅读?在某些情况下,我们确实需要借助AI。我自己也会使用AI。

我们可以让AI告诉我们一篇论文讲了什么,某个研究方向有哪些重要工作,或者某个具体问题与哪些研究有关。

但这里存在一个值得认真对待的问题:当我们把文献阅读委托给AI时,还能否保有自己的认知权威(Epistemic Authority)?

认知权威是一个具有特定含义的哲学概念。相关讨论可以追溯到Linda Zagzebski等学者的研究,之后也有其他哲学家对这一概念进行了进一步发展。

在这场演讲中,我关注的是一个具体问题:当我们把文献阅读和理解的工作交给AI时,能否信任它提供的摘要和研究报告

为什么认知权威如此重要?

因为作为科学家和研究者,我们必须对自己所说的话、表达观点的方式承担责任。我们的研究具有社会责任,我们提出的知识主张是否成立,并不是一件可以随意对待的事情。

为了能够做出判断,我们依赖集体知识,依赖其他研究者发表的论文、开展的实验以及积累的研究成果。

如果我们使用AI来完成文献综述,就必须考虑一个问题:我们能否评估其中可能存在的风险?

请注意,我并不是在说我们不应该使用AI。我想强调的是:当我们使用AI时,是否有能力识别并判断自己正在承担怎样的风险?

也许这些风险并不存在,也许它们确实存在。但如果我们没有相应的机制,就很难知道风险究竟有多大。

这正是我们团队正在尝试解决的问题。

04

PEEL:让AI辅助阅读,而不是替代判断

我们在研究机构中开发了一套名为PEEL的方案,全称是Protocols for Epistemically Engaged AI Literacy。

它的核心目标,是尝试建立三个要素之间的联系:确定性计算、人工智能和人类。

为什么需要确定性计算?

因为我们之所以长期信任计算机,一个重要原因在于它们具有确定性:在相同条件下,它们会重复执行相同的操作。

但现在,我们却开始信任一种每次运行都可能产生不同结果的AI系统。这本身就值得我们思考。

第二个要素是人工智能。AI能够以前所未有的方式处理自然语言,为信息理解和文本分析提供新的可能性。

而第三个,也是最重要的要素,是人类。人类拥有知识、意图和判断能力。面对复杂的信息,我们需要综合考虑各种因素,最终决定什么才是可信的、什么才是成立的。

因此,我们希望通过这三个要素的结合,让AI参与信息处理,同时保留人类对知识的判断和审查能力。

为了验证这一思路,我们选择了Voyant作为确定性计算工具,Claude作为AI工具,而人类则负责最终的理解与判断。

PEEL并不是一个封闭的自动化系统。我们希望研究者能够访问相关工具,亲自参与整个过程。接下来,我想给大家展示一下,这套方法具体是如何工作的。

在PEEL的工作流程中,研究者可以先借助AI生成文本摘要,再通过Voyant等文本分析工具,将摘要与原文进行对照。我们关注的不只是摘要写了什么,还要检查它与原文之间究竟存在怎样的关系。

但它与普通AI摘要有一个非常重要的区别:我们不仅关注摘要写了什么,还会检查摘要与原文之间究竟存在怎样的关系。

PEEL系统介绍与体验入口

我们曾经做过一项实验:将同一份文本交给不同的AI系统进行摘要,其中包括ChatGPT的不同版本以及Claude,再将它们生成的摘要与PEEL生成的结果进行比较。

从符号学的角度来看,我会将这种尽可能保留原文特征的摘要理解为原文的一个图像符号(Icon)。这里的图像并非指视觉图片,而是强调符号与其所指对象之间存在某种可感知的相似性。

例如,如果原文按照章节和小节组织,那么PEEL生成的摘要也会保留完全相同的章节结构。

如果原文采用第一人称写作,摘要也会尽可能保留第一人称的表达方式。

这样做的好处,是当摘要保留原文的结构和表达方式时,我们就能更容易地回到原文对应的位置,检查摘要究竟有没有准确传递作者的意思。

我们还会利用文本分析工具,对原文和不同摘要中的语义类别、关键词及其出现频率进行比较。

例如,我们可以观察某个术语在原文中出现了多少次,在不同摘要中又出现了多少次。也可以检查某个术语是否出现在摘要中,却从未在原文中出现过。

PEEL利用Voyant对比原文与多个AI版本(ChatGPT、Claude)在关键词连接度上的差异

这些变化是否意味着存在问题?不一定。

如果我让你总结一篇文章,你和坐在你旁边的人很可能会给出不同的摘要。你们可能会根据自己的理解,引入一些原文没有直接使用的术语。这是正常的,因为每个人都有自己的知识背景和解释方式。AI也会发生类似的情况。

真正的问题在于,当我们完全把文本解释工作交给AI时,它可能会不受约束地引入一些相关话题。这些话题与原文存在联系,却未必真正属于原文的论述。

Voyant生成的可视化图

如果你只阅读AI生成的摘要,而没有阅读原文,那么你实际上读到的可能是AI对相关话题的延伸和建议,而不是原作者真正表达的内容。这就是认知权威面临风险的地方。

你可能会在自己的研究中声称,某位作者提出了某个观点,但实际上,这位作者从未这样说过。

我们还可以利用Voyant提供的可视化功能,观察原文与不同摘要之间的语义联系。

PEEL利用Voyant生成的可视化网络图,直观展示不同概念在摘要中的语义连接变化

在这些可视化结果中,原文构成了我们的参照基础。不同摘要则会呈现出各自引入的新术语、新联系,以及原有联系发生的变化。

例如,一些连接可能在摘要中首次出现,另一些原本存在于原文中的联系,则可能在摘要中变得更加频繁或不再那么突出。

这些变化本身并不能直接证明摘要有问题,但它们能够帮助我们发现值得进一步检查的地方。

我们还可以利用图中的不同颜色区分这些联系,观察不同AI系统生成摘要时,哪些语义关联发生了变化。

通过这样的方式,我们不再只是接受AI给出的结果,而是获得了一套可以进一步检查结果的工具。

05

让AI成为自己的对手:把审查权交还给人类

那么,我们应该怎样检查AI生成的摘要?

在PEEL中,我们还有一个非常重要的设计思路:让AI成为自己的对手。

我们利用Voyant提供的文本可视化、传统文本分析以及计算语言学资源,为AI生成的内容提供一套审查机制。换句话说,AI生成摘要,而文本分析工具则为用户提供检查摘要的资源。

无论AI提出什么观点,用户都可以借助这些工具判断它是否需要进一步核实。当然,并不是所有情况都需要同样严格的检查。

例如,如果我们只是想确认某篇论文是否包含某项信息,那么只需要快速浏览原文,确认这项信息是否确实存在即可。我们不一定需要深入研究作者是如何得出这一结论的。如果我们要将某个观点作为自己研究的重要依据,就需要进行更加严格的核查。

这就是我们所说的认知权威风险评估。

我还想介绍一下我们如何约束Claude的工作方式。如果要对整个过程进行概括,我会这样描述:

“使用我的语言,但要提醒我,你并不知道自己在说什么。不要擅自使用我的语言替我做出判断,而要让我知道,你并不真正理解自己正在处理的内容。”

这是一种非常重要的约束。我们希望Claude尽可能忠实地处理原文,而不是根据自己的世界知识不断延伸和补充。它的任务是对文本进行压缩和转换,而不是替研究者完成所有解释工作。

PEEL的一个典型工作环境是Jupyter Notebook。用户可以看到其中的参数、代码以及具体分析过程,也可以根据自己的需要修改代码。

如果你不同意我的分析方式,完全没有问题。你可以编写自己的分析程序,按照自己的标准检查文本。

我们希望整个过程保持开放。因为摘要生成本身也可能引入偏差,包括提示词带来的偏差,以及文本分析方式带来的偏差。用户不仅可以修改提示词,还可以调整文本分析过程,进一步检查这些偏差从何而来。

在具体的摘要呈现中,我们还会提供不同的压缩比例。

例如,一篇20页的论文可以被压缩到原文长度的10%,也可以进一步压缩到25%的篇幅。用户可以比较不同压缩程度下,原文的结构和主要观点是否得到了保留。

这里有一个很重要的特点:我们尽可能保留原文作者的声音。如果原文作者写道“I argue”,那么摘要也会尽可能保留这样的第一人称表达。这样一来,我们就能迅速回到原文对应的位置,检查作者究竟提出了什么论点。

除此之外,PEEL还会对摘要过程中涉及的不同操作进行分类,评估它们可能带来的风险。

例如,将四个句子合并成一个句子,通常比直接重复原文中的句子具有更高的解释风险。我们也会尽可能使用原文中的直接引语,并通过颜色标记和来源链接,让用户能够追溯相关内容。

另一个重要的特点是,用户可以参与摘要生成过程,而不是被动接受结果。

例如,AI会向用户询问:这些语义类别是否符合你的理解?你是否同意这样的分类?是否希望进行调整?

最初的语义类别会根据文本中的词语分布和词汇关系提出,但用户可以根据自己的理解修改它们。

此外,我们还提供了大量可视化结果,让用户比较原文与摘要之间的结构、语义和变化趋势。其中,我认为非常重要的一项功能是Voyant中的语境检索列表(Concordance)。

假设我们想研究一篇论文中关于“AI信任”的讨论,就可以通过语境检索找到这个词语在原文中出现的所有位置,再检查不同摘要是否保留了这些内容,以及它们是否仍然处于相同的语境之中。通过这些方法,我们希望提高用户对摘要的信心,也提高摘要本身的质量。

当然,PEEL目前只是一个起点。我们所解决的只是AI给人类知识理解带来的一个很小的问题。语言本身也只是符号系统中的一种。

对于今天在座的多媒体研究者来说,还有一个更加值得思考的问题:

当信息不再通过文字传递,而是通过声音、手势、情绪以及其他多模态信息表达时,我们是否也会遇到类似的认知权威问题?

我想,这些问题都值得进一步讨论。

谢谢大家。

06

现场问答:AI能否真正拓展人类的创造力?

▎问:如果我们使用AI,意味着需要解决越来越多的问题,那么这些问题什么时候才能结束?

这是一个非常具有哲学意味的问题。我认为,我们可以通过很多不同的方式使用AI。AI拥有大量令人难以置信的可能性。

具体到认知权威问题,目前有一条研究路径,是尝试提高AI本身的认知可信度。也就是说,我们希望让AI变得更加可靠,让它能够更好地支持人类的知识判断。

但还有另一条路径:我们不妨先接受AI存在局限性,评估使用它可能带来的风险,再决定在什么情况下应该依赖AI,以及在什么情况下应该保持谨慎。

我的直觉是,我们或许应该同时探索这两条路径。在某些场景中,我们确实希望AI拥有比现在更强的认知能力;但在另一些场景中,尤其是研究结果可能产生重大社会影响时,我们应该更加谨慎地呈现和使用AI辅助研究的结果。

例如,疫情带来的影响涉及地球上的每一个人,甚至整个地球本身。这样的研究具有极其重大的社会意义。因此,我们需要在现阶段认真评估其中的风险。

▎问:对于界面中的符号,我们应该如何理解它们的意义?这些符号的含义究竟取决于单个界面,还是取决于一类界面所形成的共同参照体系?

我从来不敢说哪一种界面是最好的。我们现在正在使用的界面,或许就是一个很好的例子:你使用一种我能够理解的语言与我交流,但反过来,我未必能够完全理解你的意思。你也可能并不确定自己是否完全理解了我。

既然如此,我们又怎么能够轻易地断言,某一种界面就是最好的?

我真正想讨论的是,界面应该帮助我们进行更好的意义协商(Meaning Negotiation)。

当我们无法理解彼此时,就需要通过各种策略来协商意义。这不仅涉及语言符号,也涉及其他类型的符号。

我目前的一个想法是,我们应该让AI以它真实的状态呈现在用户面前。

也就是说,我们不应该把AI塑造成一个无所不知、能够完全理解一切的存在,而应该让用户知道:这是一个能够使用我的语言与我交流,但并不一定知道自己在谈论什么的系统。

还记得我之前讲到的Claude案例吗?我当时完全不知道,Claude的对话过程可能受到其他代理的中介影响。更令人惊讶的是,它自己也不知道这些信息究竟来自哪里。

因此,我们应该在界面中明确呈现这种可能性。我们需要设计某种符号,无论是文字提示还是视觉提示,让用户意识到系统可能存在这样的信息来源和中间环节。因为这正是风险产生的地方。

至于最好的界面是什么,我仍然没有一个确定的答案。我一直很喜欢让用户自行配置界面的设计思路。不同用户可能需要不同的交流方式,界面应该允许他们根据自己的需求进行调整。

▎问:PEEL能否检测AI生成摘要时出现的幻觉?例如,原文说2+2=4,但AI却总结成2+2=5。

有些类型的幻觉是可以被发现的。

例如,我们可以将原文中关于AI信任的具体论述,与摘要中的相关内容进行对照。如果两者存在明显差异,就可以进一步检查。

不过,我目前并没有专门针对幻觉进行分析,但PEEL所提供的材料和工具已经具备开展这类分析的基础。如果你感兴趣,也完全可以利用这些资源进行研究。

我还想补充一点:很多幻觉实际上来自AI的世界知识,而不是单纯的语言处理。AI可能会根据自己掌握的背景知识,认为某篇论文实际上是在讨论另一个相关话题,于是在摘要中加入一些原文并没有涉及的内容。

这也是为什么我们会约束Claude,让它以一种更接近机器翻译的方式处理文本,对原文进行压缩和转换,而不是自由发挥。这样做的目的,是让读者接触到一个更加浓缩的文本版本,同时仍然保留自己的解释工作。

当然,压缩程度过高也可能产生问题。即使摘要本身没有出现错误,读者也可能因为信息过于浓缩而产生误解。

但我认为,这是我们在选择使用这种工具时需要承担的一种风险。从目前的实验来看,当压缩比例达到25%或30%左右时,文本已经能够保留相当不错的可读性。当然,这也意味着算法还有很多优化空间,整个过程仍然需要大量工作。

▎问:当AI能够完成越来越多的工作时,这种变化是否会降低人类的创造力?过去,我们会不断开发新的工具来完成不同任务;现在,我们似乎可以直接使用AI生成几乎所有东西。这会不会影响技术创新?

我不认为这必然会降低创造力。

我喜欢用无穷的概念来思考这个问题。我们可以拥有无穷多种相同类型的事物,但这并不意味着我们只能拥有一种创造方式。

如果创造力意味着从一种事物跳跃到另一种完全不同的事物,那么我们确实需要警惕:我们可能正在生成无穷多种相同类型的东西,而不是不断进入新的领域。

2024年,Nature上有一篇由相关研究者发表的文章,讨论了科学研究可能走向同质化的问题。越来越多的人开始按照AI能够完成的任务来组织自己的研究,研究者也可能逐渐把自己的工作调整成适合AI处理的形式。

不过,我仍然愿意相信,AI可以被使用几十种、几百种,甚至几千种不同的方式。我们为什么一定要选择同一种使用方式?在我看来,还有一个更加重要的问题,那就是生产力,尤其是科学研究中的生产力。

现在,人们经常根据发表了多少篇论文来衡量研究者的表现。AI正在服务于这种生产力循环,而这可能比AI本身对创造力的影响更加值得关注。如果我们能够暂时跳出这种生产力循环,我认为AI会展现出非常多令人惊喜的使用方式。

我很幸运,现在已经退休,可以在一定程度上跳出这种循环。在这样的情况下,我们或许能够真正探索AI的不同可能性,而不只是让它帮助我们更快地完成已有的工作。这才是我更愿意看到的方向。

ACM MM 正在召开,欢迎参会的研究者、学生,以及关注AI 前沿进展的读者加入我们的交流群。

在这里,你可以认识同行、交流研究,分享招生信息、科研合作、约饭、投稿、组队参会等,寻找潜在的合作伙伴。

大会期间,我们也会持续带来现场报道速递、嘉宾演讲解读、前沿方向梳理和论坛精华。

会场见,也在群里见。

? 进群传送门:扫码进群或添加微信A17648278904,备注:ACMMM+单位/学校+姓名+方向。

未经「AI科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载!

今日霍州 jrhz.info转载请先在「AI科技评论」后台留言取得授权,转载时需标注来源并插入本今日霍州 jrhz.info名片。