时间:
1 引言
生成式人工智能(Generative AI, Gen AI)利用复杂的算法和神经网络来模拟人类的创造力,通过生成模型来产生新的内容,用户可以将 Gen AI 用作全新的创作工具。相比之下,过去使用传统搜索系统时,用户依赖于检索来获得目标信息,并且还需对其呈现的结果甄别判断,而 Gen AI 能够帮助用户筛选出最有效的信息。随着信息和数据的内容、来源、体量及形式的爆发式增长,用户对精准定位和快速呈现有效信息的需求与日俱增。用户在使用 Gen AI 的过程中,仅以自然语言形式提问便可获得更符合提问者本身需求和兴趣的个性化信息。同时 Gen AI 具有创意写作、论文写作、代码生成、问题回答等多样化的功能,能够显著减少信息过载问题。
目前,国内外都已经推出许多 Gen AI 的产品,ChatGPT 就是其中的典型代表。作为 Open AI 公司于 2022 年最早推出的大语言生成模型,其一经发布便吸引了大量的互联网用户,得到社会的广泛讨论,也引发了学界重点关注。ChatGPT 在上下文学习、基于人类的反馈来强化学习等方面已经取得了关键性突破,其能够生成质量较高的自然语言文本,在交互对话、机器翻译、文本摘要等任务中表现突出,给人们的生活带来极大便利,显著提升了人们生产生活的效率。随着 Gen AI 的进步和普及,用户与 Gen AI 产品的交互更加日常化,沟通方式不断丰富,形成了全新的互动模式。在新的技术环境下,用户的信息行为可能呈现出新的特征,这些特征对于揭示和理解人类信息行为、帮助用户适应快速变化的信息社会具有重要价值。
基于此,本研究尝试回答以下问题:
用户使用 Gen AI 完成哪些任务类型?
Gen AI 在这些任务中扮演着哪些角色?
在完成不同类型任务时,用户对 Gen AI 的满意度如何?
用户在使用 Gen AI 时,在会话时长和对话轮次这两个维度上展现出哪些特征?
为回答以上问题,本文采用日记法收集用户行为的实时记录。日记法可以实时记录个人想法、感觉和行为及其变化,收集个体在自然、真实的场景之下评估某种现象或者过程的数据,日记法时效性较强,有助于避免记忆衰退导致的回忆错误。为了更加全面收集 Gen AI 用户的信息行为数据,本研究除采用日记法外,也使用访谈法进一步了解用户对生成式人工智能产品的看法。
总之,本文试图探讨以 ChatGPT 为代表的 Gen AI 如何为信息行为主体赋能,探索用户使用 Gen AI 完成的任务类型,并对不同任务类型下用户与 Gen AI 的交互特征进行分析,以此丰富 AI 赋能视角下的信息行为领域的内容和成果,也为现实中 Gen AI 产品的优化和设计提供一定的理论参考,促使生成式人工智能更好地服务于人们的日常使用。
2 相关研究
2.1 信息行为领域下任务类型的相关研究
搜索任务一直是信息行为领域关注重点,因为人们在表达其信息需求的时候存在各种障碍,常无法清楚明确地表达自己的信息需求,但是相对而言,搜索任务的表达更加容易。并且,搜索任务不仅是用户信息搜寻的动力,也是影响信息搜寻的主要因素。通过对信息搜寻任务展开研究有助于更深入地理解用户信息行为。
首先,大部分研究主要从任务的不同阶段以及任务变量两个角度来划分任务类型,进而考虑任务类型对信息行为的影响。Broder 对用户的信息行为进行总结归纳,采用问卷调查的方式收集用户活动信息,确定出导航型(navigational)、信息型(informational)和事务型(transactional)三种任务类型。Kellar 等人通过分析参与者的网络活动交互记录,确定出任务的五种框架,包括事实发现(fact finding)、信息采集(information gathering)、浏览(browsing)、事务处理(performing a transaction)、其他(other)任务。
此外,也有研究通过对任务分面的分析,将不同的分面进行组合,以此划分任务类型。如 Melanie 总结出了影响信息行为的变量列表,将任务特征归纳为固有任务特征、外部任务特征、任务执行者、任务和执行者的关系四大类。Li 采用面分类法,将任务按照类别、面、子面、值来划分,得出了任务通用类(generic facet)和共同属性类(common attributes)两大类别。Campbell 从路径多样性、目标多样性、子任务的相关性、结果的不确定性四个维度测量任务的复杂性水平。Zhang 提出,概念的数量会影响任务的复杂性。根据任务变量划分任务类型,有助于理清任务与信息行为之间的关系。依据任务特征的不同,可以采用不同方式划分任务类型。Bloom 将认知目标划分为记忆、理解、应用、分析、评价和创造六个层次,学习型搜索的相关研究常以 Bloom 的认知目标来划分学习型搜索任务类型。以认知复杂度为依据划分任务类型的好处是,可以更方便了解和刻画用户对于完成该任务需要付出的认知努力。
因此,本文也将尝试从认知复杂度的视角划分用户使用 ChatGPT 完成的任务类型,并基于此分析不同类型下用户的交互行为特征和搜索体验。
2.2 信息行为领域下生成式人工智能的相关研究
Marchionini 曾提出,在 Gen AI 所带来的变革中,信息学与图书馆学专业人员有责任 “以人为中心” 研究和审视人工智能增强的世界。“以人为中心” 主要体现在对用户使用意愿和用户体验的关切。
国内与用户使用生成式人工智能的相关研究主要关注用户使用意愿这一方面,包括技术使用影响因素、内容采纳意愿影响因素。有研究发现影响用户对 ChatGPT 所生成内容的采纳意愿的因素主要是信息质量、用户感知和技术特点,构建出生成式人工智能用户采纳意愿影响因素模型。张海研究发现主体因素、技术因素、信息因素、社会环境等都是影响用户使用生成式人工智能的重要因素,人工智能生成技术可能带来职业风险和技术风险。周涛对收集的数据采用混合方法进行分析,对用户从问答社区到 Gen AI 的转移行为进行探索,发现转移的意愿受到信息过载等推力因素、感知准确度等拉力因素、社会影响等锚定因素的影响。除了用户意愿影响因素研究之外,不同场景下的任务完成效果也是关切之一。游俊哲从科研学习等场景探讨了生成式人工智能的应用,发现科研场景对信息质量的要求更高。也有研究从任务完成效果的角度对 ChatGPT 进行研究,从知识组织和实际业务出发,设计文献著录、标引、本体构建等不同类型的任务,发现 ChatGPT 的创造力仍然较为有限,实际业务离不开专业人员。
国外信息行为领域中,用户使用生成式人工智能的研究主要关注不同场景下的用户体验。有多位学者关注 ChatGPT 等生成式人工智能在教育领域中的应用,讨论大型语言模型如何建设教育内容、提高学生参与度和个性化学习体验,对生成式人工智能在教育领域应用的机遇和挑战展开探讨;了解用户使用 ChatGPT 的基本情况及用户体验,发现 ChatGPT 支持创造性的活动这一功能给用户体验带来积极影响,而需求不明确、信任问题也会给用户带来消极体验。在用户体验这一话题之下,一些研究强调需要提供更多支持性的功能,例如提示建议、对话解释等功能,专门针对交互场景进行优化。另外,由于生成式人工智能可以与用户进行对话交流,对话代理或对话式搜索引擎也是热点话题之一。有研究指出当前以 ChatGPT 为代表的对话系统更具被动性,这种被动性限制了生成式人工智能本身的效用,需要增强对话代理的主动交互性、关注用户不断变化的任务状态,以此来优化当前的搜索会话。
通过回顾以上文献,本文发现目前信息行为领域下的生成式人工智能研究主要集中于用户使用意愿及用户体验,从任务类型角度进行分析的研究较为缺乏。因此,本文重点关注 Gen AI 用户的任务类型,并探讨在不同类型任务下用户的交互行为和体验的差异。
3 研究方法
由于生成式人工智能是新型的信息技术,本文结合以往研究中所采用的探索性研究方式,采用日记法及访谈法展开研究工作。
3.1 参与者情况
本次研究通过校内学生交流平台招募熟练使用 ChatGPT 的用户,最终招募到了 19 位参与者,均为高校学生。为确保研究样本的有效性和代表性,我们在招募阶段通过校内网络平台随机发放问卷以确保选取过程的随机性,并在报名人员中纳入所有符合 “熟练使用 ChatGPT” 这一必需条件的参与者,样本在性别、学历及学部来源均呈现多样性。参与者的性别上,女性 13 位,男性 6 位。参与者的学历分布上,本科 10 人,硕士 4 人,博士 5 人。参与者学部来源上,社科学部 5 人,人文学部 1 人,信息与工程学部 4 人,经管学部 3 人,理学学部 4 人,跨学科学部 1 人。在这些参与者中,超过 80% 的人员使用 ChatGPT 已超过了三个月及以上,70% 的人员平均每周使用 ChatGPT10 次以上,使用熟练程度均较高。
3.2 研究流程设计
首先,我们在校内学生活跃的论坛平台发放我们的招募问卷,明确参与的条件和具体要求。对所有的报名对象进行筛选,要求每位参与者签署知情同意书,并以问卷调查的形式了解参与者的使用情况及其基本信息,具体包括使用情况、对 ChatGPT 基本原理的了解程度、性别、学历、专业等信息。
参与者随后正式开展为期两周的日记提交工作,日记单的内容主要包括获取背景信息、了解参与者的使用过程和使用困难。另外,本文结合满意度、信息质量等用户体验指标,在问卷中设计了用户任务的完成度、用户满意度、回答准确性等评价类量表问题,以了解用户使用 ChatGPT 体验的基本情况。
为了便于参与者记录,日记单以问卷形式设计,要求参与者在每次登录自己的设备使用 ChatGPT 后,以填写问卷的方式记录使用的过程,并将同一问题下的所有会话进行截图并上传到问卷当中。为了防止参与者提交高度重复的内容,我们要求参与者每天至多提交 3 条使用记录,总数不超过 30 条。在参与者提交使用记录的两周内,为了确保用户及时提交,研究人员根据用户使用 ChatGPT 的时间及问卷提交时间,每日将提交情况及时反馈给参与者,以确保所收集到的用户使用记录数据的准确性。
使用日记收集结束后,我们也基于用户的使用记录对每位参与者进行了半结构化的访谈,重点围绕不清楚的条目、作为熟练用户对生成式人工智能未来发展的看法展开。
3.3 数据处理与分析
利用日记法与访谈法收集数据,本次研究共收集了 19 位参与者近 2-3 周的 ChatGPT 有效使用日记 498 条,以及 283 分钟的访谈录音数据。本研究利用 Excel 及 SPSS 来汇总和处理日记记录中的结构化数据,对于非结构化题目所产生的资料,经过人工检查和处理,采用主题分析方法进行编码。为保证研究结果的说服力,编码过程中两位编码人员独立进行,并在形成编码体系过程中多次讨论,最终通过了编码结果的一致性检验。
通过对日记及访谈所采集到的文本资料进行归纳性的内容分析,我们从中提炼出初始性编码语句,以自下而上的方式构建出二级编码,并结合 Bloom 提出的六个层次认知目标,从认知水平的角度将参与者利用 Gen AI 完成的任务类型归纳为以下五种类别。
4 研究结果
4.1 用户使用生成式人工智能的总体情况
首先,本文对参与者使用 ChatGPT 完成的任务类型及各维度进行了描述性统计。结果显示,信息获取型、操作型、创造表达型三类任务的出现频次较高,依次占比 41%、19%、15%。满意度上,用户对 ChatGPT 完成操作型任务的满意度最高(M=6.98),对创造表达型任务的满意度最低(M=4.00)。
本研究记录了用户使用 ChatGPT 的时长、对话轮次两个维度的交互情况,结果显示创造表达型任务所耗费的平均时长最高(M=9.29 分钟),信息获取型任务所耗费时长最低(M=5.75 分钟)。
另外,参与者在日记中也记录了用户在使用 ChatGPT 时所登入的设备、对其生成信息的采纳程度以及是否结合其他平台辅助自己完成任务。经分析发现,超过 80% 的参与者选择在电脑端进行登录,大多参与者表示在电脑端来处理信息任务比移动端便捷;超过一半的使用记录反映部分采纳了 ChatGPT 所提供的内容,参与者基本上都可以从生成式人工智能所给的反馈中获取一定的信息;只有 16% 的使用记录体现参与者会结合其他的平台例如 Google、Bing、百度、小红书、维基百科等其他平台来辅助信息获取或验证信息。
4.2 不同任务类型下用户对生成式人工智能的满意度评价
本节对参与者使用 ChatGPT 完成的任务类型的满意度进行了描述性统计,可以发现信息获取型、理解型、操作型任务下的二级任务类型满意度均较高,而分析评估型和创造表达型下的二级任务类型满意度较低。
1)信息获取型任务的满意度较高
信息获取型任务的满意度评价总体分数较高(M=6.06)。其中,参与者对主题搜集类任务的满意度评分集中在 6 分及以上的高分区域。对于来源查找类任务,用户的满意度评价分数波动程度较大,其满意度评分主要集中在 4 分及 5 分等中等分数区域。本文发现在来源查找类任务中,ChatGPT 向用户提供的信息获取渠道较为准确,例如图片素材、语言学习网站;但是 ChatGPT 无法给出指定论文或书籍等具体信息内容,对原文的定位准确度不高。因此,来源查找类任务的满意度波动程度较大。
2)理解型任务的满意度较高
理解型任务满意度得分较高(M=6.79)。对于信息解读类任务和文本翻译类任务,参与者满意度评分在 6 分及以上的占比超八成,呈现很高的满意度水平。然而,思维启发类任务的满意度相对较低,主要集中于中等评分区域,我们认为这可能与信息主题的复杂度相关,随着用户的信息主题愈加复杂,生成式人工智能的表现有所下降。
3)操作型任务的满意度评价呈较高的水平
操作型任务的满意度评价也呈现出较高的水平。其中,形式转换类任务(M=6.75)和操作指导类任务(M=7.00),均呈现较高的满意水平。在参与者提供的日记中,不少记录反映 ChatGPT 在代码写作以及对信息形式加工中的表现良好,能够根据需求生成不同的计算机语言,并且能够正常运行。
4)分析评估型任务的满意度略低
相比于前几类任务类型,分析评估型任务的满意度评价水平相对较低(M=4.45)。其中,问题分析类任务及交互学习类任务的满意度集中在中等评分区域,低分区域占比更高。我们认为对于分析评估型任务,一方面需要 Gen AI 能够理解用户表达出的需求,另一方面也需要用户采用合理的提示词来传达尽可能详细的信息以便 Gen AI 进行判别。因此,用户对生成式人工智能完成分析评估型任务的满意度较低的原因与 Gen AI 本身及用户需求表达两个方面相关。
5)创造表达型任务的满意度较低且存在较大差异
创造表达型任务的满意度总体较低,该任务下的不同二级任务的满意度差异较大,且低分评价的占比较高。创新表达类、概括总结类任务的满意度均集中在低分区域,相较于信息获取型等任务其满意度较低。基于此,我们认为虽然生成式人工智能具有完成概括总结、文本优化等深入到文本内容的功能,但是所提供内容的信息质量、信息结构、信息专业程度、信息逻辑程度仍然有限。
4.3 用户与生成式人工智能的交互特征
目前生成式人工智能已经成为用户日常生活中获取信息的新渠道,根据日记和访谈文本分析,本文发现用户在使用 Gen AI 的过程中呈现以下的交互特征。
1)不同任务类型之间的时长存在显著差异
本文探究了不同任务类型之间的时长是否存在显著差异,发现用户使用 Gen AI 完成创造表达任务(M=9.29 分钟)和操作型任务(M=8.81 分钟)比信息获取任务(M=5.75 分钟)需要耗费更长的时间。我们采用单因素方差分析验证不同任务类型之间的时长差异,由于不满足方差齐性(p<0.05),采用非参数检验 Kruskal-Wallis(以下简称 “K-W 检验”)分析任务类型之间的差异。结果显示,信息获取型任务和操作型任务、完成信息获取型和创造表达型任务的时长存在显著性差异,完成操作型任务和创造表达型任务需要耗费更长的时间,其余任务类型之间的时长没有显著差异。
进一步地,在二级任务类别上,相比于主题搜集类任务(M=5.85 分钟),文本优化类任务(M=9.30 分钟)往往需要耗费更长的时间。文本搜集类与文本优化类任务时长具有显著性差异。同样地,我们采用单因素方差分析验证二级不同任务类型之间的时长差异,由于不满足方差齐性(p<0.05),采用 K-W 检验进行分析。结果显示,文本搜集类与文本优化类任务的时间花费具有显著性差异,完成文本优化类任务需要耗费更长的时间,其余任务类型之间没有显著性差异。
2)不同任务类型之间的对话轮次并不存在显著的差异
本文发现五种任务类型下用户的对话轮次并不存在显著性差异。通过对五种任务类型下用户的对话轮次进行单因素方差分析,发现不同任务类型之间的对话轮次并不存在显著的差异(F=0.503,p>0.001)。一般来说,这些任务类型的对话是 2-3 轮次。
进一步地,二级任务类别之间也不存在显著性差异。我们对二级任务类型的对话轮次进行单因素方差分析,由于不满足方差齐性(p<0.05),采用 K-W 检验判断任务类型之间的对话轮次是否存在显著性差异。结果显示二级任务类型之间的对话轮次并不存在显著差异。
5 讨论与结论
5.1 从认知层次划分任务类型,有助于了解用户需求、评估 Gen AI 的表现
在信息搜索任务驱动下,越来越多的用户正将 ChatGPT 作为智能会话代理来帮助其快速获取和整合相关信息。从本研究收集到的数据来看,用户使用 ChatGPT 的行为,往往是在完成各类任务下出现的。在以往的针对用户使用生成式人工智能交互的研究中,有研究从主题角度将 Gen AI 用户信息需求分为:信息检索、解决问题、休闲和寻求创造力等类型。
本文试图从认知层次这一角度入手,不同于从任务的主题进行归纳,而是从认知复杂度出发对用户使用以 ChatGPT 为代表的生成式人工智能的任务类型进行分析。我们发现用户在使用生成式人工智能完成的任务类型可以从简单到困难依次划分为信息获取型、理解型、操作型、分析评估型和创造表达型等五种任务类型。
从认知复杂度的视角对用户使用 ChatGPT 完成的任务类型进行分类,不仅提供了一个全新的视角来深入理解用户的需求,而且对于未来理解和评估 Gen AI 的表现具有重要意义。通过分析用户与 ChatGPT 在不同任务类型下的交互模式和任务完成情况,研究者可以构建更加细致和可操作性的评价框架,以评估 Gen AI 在处理各种任务时的效率、准确性和用户满意度。这种认知层次的分析有助于揭示用户与 AI 交互的深层次动机和偏好,从而为改进 AI 的交互设计和功能提供指导。同时,这样的框架也为 AI 开发者和研究人员提供了一个标准化的工具,不会受到不同主题的限制和影响,以衡量和比较不同 AI 系统在相似任务上的表现,进而推动人工智能技术的持续进步和创新。
5.2 Gen AI 在用户的工作和生活中扮演着多元角色
相较于主要专注于辅助用户完成信息获取型任务的搜索引擎,辅助用户完成操作型、理解型、分析评估型和创造表达型任务是生成式人工智能的特色。传统情况下,用户在日常生活中有遇到各类问题时,如文本处理、图片处理等需求时,往往会自行寻找其他平台。但是,Gen AI 的出现使得用户意识到文本处理、分析理解、操作转换等任务都可以转变为信息需求,将生成式人工智能视为处理日常生活信息需求的综合性平台。
这也说明生成式人工智能在用户生活中具有 “人物化” 的特征,可能扮演着不同的角色。本文在对用户完成不同类型任务的交互行为和体验的分析基础上发现,Gen AI 可能扮演着工具、助手和替代三种不同的角色。用户在使用 Gen AI 解决计算、运用等操作性的问题时,可能会使用该工具去处理其中复杂的操作性的工作,并且会较大程度上直接采用 Gen AI 的结果,并将这个结果应用于自己的整体任务的完成,这种情况下,Gen AI 更具有工具属性。当用户需要快速地获取关于主题的信息或者完成信息理解、信息评估等任务时,Gen AI 可以依据用户的个性化提问给予解答,但是用户常常只是部分采纳其提供的结果,这种情况下,Gen AI 更多地扮演着助手的角色。另外,Gen AI 也可能完全替代用户完成某些工作,用户直接将整个任务交给 Gen AI 工具,这种情况下,它更像是人类的替代,完全地完成人需要完成的全部任务。通过本研究的分析,我们发现用户完全采纳 Gen AI 的情况占比并不高(35%)。Gen AI 在哪种类型的任务可能可以完全替代人类去完成,以及它在不同任务下的表现和可信赖程度,还需要未来更多更深入的分析。
5.3 Gen AI 的创造力仍然有限,人智协作将成为主流模式
Gen AI 已经成为了用户获取信息的关键渠道之一。用户选择使用生成式人工智能来获取信息是因为相比于传统的搜索引擎,生成式人工智能无须制定格式化的检索词,只需以自然语言的方式进行提问,而非传统方式下以数个网页呈现。这种呈现方式能够替代用户筛选并总结答案。从这一点来看,当用户需要初步或者浅层次地了解一些信息时,生成式人工智能往往有更高的效率和更直观的表达,无须用户再次从大量的检索结果中进行辨别与选择。
值得关注的是,随着任务的认知难度和复杂度的上升,从信息获取型任务到创造表达型任务,用户的满意度评价逐步降低。在已有的生成式人工智能用户研究中,同样发现由于 ChatGPT 创造性活动表现不佳而带来负面的用户体验。尤其是概括总结、文本优化和创新表达等任务,当用户有着从主题、内容、结构等各方面更复杂的处理需求时,ChatGPT 的表现往往受限。本文认为这一现象的主要原因是生成式人工智能在面对复杂任务时,其结果呈现的信息完整程度(例如呈现的维度及结构)、新颖程度(例如内容形式及创新水平)、可信程度(例如权威水平、逻辑程度、专业程度)等较为有限,可解释性也有限,导致与用户的预期不符,故而用户对这些任务呈现较低的满意度水平。因此,在未来一段时间内,人智协作将成为主流模式。
6 贡献与不足
6.1 研究贡献
本研究通过自下而上的方式分析和归纳生成式人工智能用户信息行为的任务类型,从用户满意度出发探索生成式人工智能产品的用户体验,并从时长和对话轮次两个关键维度分析用户交互行为特征。任务是影响信息搜寻的主要因素,本研究聚焦生成式人工智能新情境,从认知层次出发,不仅为未来 AIGC 提供可操作性的评价维度,也为构建智能交流时代用户信息行为模型、发掘用户信息需求做出理论贡献。
6.2 研究不足与未来展望
本次研究也存在一定的不足,尚未针对用户使用生成式人工智能的情境及信息内容深入挖掘,用户与生成式人工智能的交互行为维度记录有限。但是本文在 AI 赋能新兴话题下对用户信息行为进行开创性研究,不仅对信息行为研究领域具有学术意义,同时也对全球范围内生成式人工智能产品的产出和优化提供理论支撑。
本文在研究用户使用生成式人工智能的过程中积累到了非常宝贵的研究经验,后续可以基于日记收集用户与 Gen AI 成功对话的案例,开展更加深入的数据分析工作,例如从文本提示词重构等方面来挖掘更多内容,也可以进一步分析群体特性、任务属性以及情境等影响因素,以探讨它们如何影响人们与生成式人工智能的交互行为和交互体验。
王俊;谢青伶;刘畅,北京大学信息管探系,202502