一份面向数据可视化的自然语言界面的调查外文翻译资料

一份面向数据可视化的自然语言界面的调查

摘 要

利用面向可视化的自然语言界面（V-NLI）作为补充输入模式，直接操作可视化分析，可以提供引人入胜的用户体验。它使用户能够专注于自己的任务，而不用担心操作可视化工具的界面。在过去的二十年里，尤其是近几年，利用先进的自然语言处理技术，许多V-NLI系统已经在学术研究和商业软件中被开发出来。在本文中，我们对现有的V-NLI进行了全面的回顾。为了对每篇论文进行分类，我们开发了基于经典信息可视化管道的分类维度，并扩展了V-NLI层，分类维度分为以下七个层次：查询理解、数据转换、可视化映射、视图转换、人机交互、上下文管理和表示。最后，我们还阐明了社区未来工作的几个有前景的方向。

关键词：数据可视化，自然语言界面，调查

第一章 绪论

交互式可视化的使用在数据分析中越来越流行[17]。作为分析套件的常见部分，Windows、图标、菜单和指针（WIMP）界面在当前实践中被广泛用于促进交互式可视化分析。然而，这种交互范式在可视化工具中呈现出陡峭的学习曲线，因为它需要用户将其分析意图转化为特定工具的操作[127]，如图1上半部分所示。

多年来，自然语言处理（NLP）技术的快速发展为探索基于自然语言的数据可视化交互范例，提供了很大的机会[18]，[277]。在高级NLP工具包[1]、[3]、[21]、[83]、[156]的帮助下，最近出现了一种面向可视化的自然语言接口(V-NLI)。作为传统WIMP交互的补充输入方式，它支持根据用户的NL查询生成可视化。V-NLI的出现可以极大地提高可视化工具的可用性，包括：（a）方便且对新手友好。自然语言是一种公众所掌握的技能，通过利用自然语言与计算机交互，V-NLI向用户关闭了特定于工具的操作，如图1所示，为新手的分析流程提供了便利。（b）直观有效。人们普遍认为，当用户可以专注于自己的数据，而不是分析工具界面上的操作时，可视化分析是最有效的[85]。在V-NLI的帮助下，用户可以用自己的语言表达自己的分析任务。（c）人文关怀。我们现在获取的大量信息都是通过视觉手段支持的。V-NLI可以作为一种创新的非视觉访问手段，促进盲人和低视力（BLV）人群的参与。

图1 传统的交互模式要求用户将其分析意图转化为特定于工具的操作[127]。在V-NLI的帮助下，用户可以用自己的语言表达他们的分析意图。

V-NLI的时间线如图2所示。早在2001年，Cox等人[41]就提出了一个用于可视化的NLI的初始原型，它只能接受输入结构良好的查询。大约十年后，Clearing[241]引入了一个两步流程，从NL查询创建可视化。它首先提取用户的分析任务和数据属性，然后根据这些信息自动确定适当的可视化效果。尽管自然语言还不是一种普遍的交互方式，V-NLI系统仅限于简单的原型，但是初期的研究还是一个有希望的开端。然而，自从苹果将Siri[221]集成到iPhone中，NLIs开始吸引更多的关注。2013年前后，单词嵌入[162]的出现促进了NLP神经网络的发展，从而重新点燃了V-NLI的商业兴趣。2014年，IBM首次发布了基于NL的认知服务Watson Analytics[4]。微软Power BI [5]的Qamp;A和Tableaursquo;s的Ask数据[2]分别于2018年和2019年发布，提供了各种功能，如自动补全、未指定的话语推理等。DataTone[64]首先引入了歧义小部件来管理查询中的歧义，同时Eviza[207]探索了分析性对话。经过几年的技术积累，过去五年出现了V-NLI的爆发（见图2中每年发表的论文数量）。随着硬件设备的发展，协同多模态可视化界面得到了广泛关注。Orko[234]是第一个在平板设备上结合触摸和语音输入的系统，而Data@Hand[278]专注于智能手机。InChorus[229]将笔作为第三种方式，以获得一致的互动体验。从2018年开始，经过预训练的语言模型在各种NLP任务上获得了最新的成果，这为提高V-NLI的智力提供了巨大的机会[51]，[181]。Quda[62]和NLV[231]为可视化数据分析提供了NL查询数据集，nvBench生成了第一个V-NLI基准测试[150]。ADVISor[142]和ncNet[149]是针对V-NLI的基于深度学习的解决方案。除了数据探索，FlowSense[280]还使用V-NLI增强了基于数据流的可视化系统。NL4DV[174]工具包可以轻松集成到现有的可视化系统中，以提供V-NLI服务。

图2 V-NLI的时间表。我们将时间线简单地划分为婴儿期、发展期和爆发期。每年发表的论文数量见附件。时间线由四部分组成：学术研究、商业软件、NLP里程碑和数据集

关于V-NLI的研究文献正在迅速增长，涉及可视化（VIS）、人机交互（HCI）、自然语言处理（NLP）和数据挖掘与管理（DMM）等方面。因此，我们越来越需要更好地组织研究领域，对当前工作进行分类，确定知识差距，并帮初次进入这一发展领域的新手，理解社区中的挑战和微妙之处。为此，之前已经有几次尝试总结这一领域的进展。例如，Srinivasan和Stasko（EuroVis 2017[233]短文）对五个现有的V-NLI系统进行了简单的检查，根据它们允许用户执行的任务对它们进行了比较。他们（CGA2020[235]期刊论文）进一步强调了评估V-NLI性能的关键性挑战，并讨论了三种常见的任务框架策略，以及它们在应用时的益处和注意事项。尽管这两项调查可以为后续研究提供有价值的指导，但随着近年来V-NLI的爆发，仍有大量新的工作需要涵盖，细节有待讨论。据我们所知，本文是全面系统地回顾V-NLI的第一步。

本文的其余部分结构如下：首先，我们在第2节中明确了调查的范围和方法。在第3节中对现有项目进行分类概述。然后，对应于信息可视化管道中提取的七个阶段[30]，在第4、5、6、7、8、9和第10节中，会有综合调研。最后，我们在第11节中阐明了未来工作中几个有前景的方向，在第12节中总结调查结论。

第二章 调查情况

2.1调查范围

为了将调查范围缩小到可控范围内，我们重点研究了面向可视化的自然语言界面。该界面接受自然语言查询作为输入，并自动生成适当的可视化效果。用户可以通过多种方式输入自然语言，包括用键盘打字（如图7中的Datatone[64]）、用麦克风录音（如图9中的InChorus[229]）、从文章中节选文本（如图13中的Metoyer等人[161]），以及输入已有的文本描述（如图12中的Vis-Annotator[122]）。

此外，有几个与V-NLI密切相关的领域，如表2所示。为了使调查更全面，在以下章节介绍V-NLI时，我们将对上述相关领域进行额外的重要讨论，并解释其重要性以及与V-NLI的关系。例如，Visualization Recommension（VisRec）[189]，[295]充当V-NLI的后端引擎，来推荐可视化；数据库自然语言接口（NLIDB）[6]和软件可视化对话接口（CISV）[20]与V-NLI具有相似的原理。可视化自然语言描述生成（NLG4Vis）[143]、[178]和可视化问答（VQA）[111]、[157]用自然语言作为输出，补充了可视化的数据分析。注解[192]、[215]和叙述[244]通过结合文本和视觉元素呈现出迷人的视觉效果。

表1相关地点

2.2调查方法

为了全面调查V-NLI，我们对过去20年（2000-2021年）的相关期刊和会议进行了详尽的调查，这些期刊和会议广泛涵盖VIS、HCI、NLP和DMM社区。相关地点如表1所示。我们通过在Google Scholar中搜索关键字开始调查(“自然语言”和“可视化”) ，得到了1433篇论文（VIS:452、HCI:489、NLP:289和DMM:203）。此外，我们还搜索了早期或相关论文引用文献中出现的，具有代表性的相关作品。在审查过程中，我们首先检查了这些出版物的论文标题，以确定候选论文。然后，浏览候选论文的摘要，以进一步确定它们是否与V-NLI相关。如果我们不能从标题和摘要中获得明确的信息，将通读全文以做出最终决定。最后，我们收集了55篇关于V-NLI的论文，这些论文提及了自然语言作为输入，并输出可视化。表3列出了V-NLI系统的详细信息，包括应用的NLP工具包或技术、支持的图表类型、采用的可视化推荐算法，以及V-NLI中的各种特性，这些将在第4-10节中讨论。在此基础上，我们对55篇论文进行了综合分析，系统地了解了主要研究趋势。我们还收集了283篇第2.1节所述的相关论文。表2列出了每个专题的代表性论文，供参考。在接下来的章节中，我们将有选择地用V-NLI的特性讨论它们。

表2 V-NLI 代表性论文

图3 用V-NLI扩展Card

图3用V-NLI扩展Card等人[30]提出的经典信息可视化管道，它描述了V-NLI在构建可视化的每个阶段是如何工作的。它包括以下几个阶段：（A）查询理解，（B）数据转换，（C）可视化映射，（D）视图转换，（E）人机交互，（F）上下文管理，以及（G）表示

表3 V-NLI中代表性作品总结

*可视化类型的缩写：条形图（B）、表格（Ta）、信息图（I）、散点图（S）、雷达图（R）、直线图（L）、饼图（P）、箱线图（Bo）、图标图（Ic）、地图（M）、热图（H）、时间线（Tl）、面积图（A）、网络图（N）、树图（Tr）、条形图（St）、甜甜圈图（D）、甘特图（G）、字云图（Wc）、力图（Fg）、范围图（Ra）、单位柱状图（Uc）和图形（Gr）

表3前五列是名称、出版物、NLP工具包或应用的技术、支持的各种可视化类型和可视化推荐算法。左栏是第3节中描述的V-NLI的特征，其分类维度见下文。每一列的细节将在第4-10节讨论。

第三章 分类概述

我们简要回顾了Card等人[30]提出的信息可视化管道的主要元素（见图3），该管道描述了原始数据如何转化为可视化并与用户交互，它包括：（1）利用数据转换将原始数据转换为数据表。（2） 通过使用可视化映射将数据表转换为可视化结构。（3）应用视图转换将视觉结构转换为用户可见的视图。（4）用户与可视化界面交互，将分析任务反馈到管道中。

我们用额外的V-NLI层（图3中的绿色）扩展这个管道。在此基础上，我们通过关注V-NLI如何促进可视化生成，进而开发分类维度。参考McNabb等人[159]提出的的分类方法，为方便分类过程，在分类过程中采用了以下阶段：

查询理解（A）：查询理解是一个基础阶段。由于我们在管道中添加了V-NLI层，通常首先进行语义和语法分析，以发现NL查询的层次结构，以便系统能够根据数据属性和分析任务解析相关信息。由于自然语言的模糊性，处理不明确的话语是这一阶段的另一项重要任务。详情见第4节。

数据转换（B）：在原始管道中，此阶段主要起到将原始数据转换为数据表以及各种操作（例如聚合和透视）的作用。由于要分析的大多数原始数据已经是表格格式，所以我们将其重命名为转换数据。数据转换负责生成用于可视化的替代数据子集或派生。数据平面上的所有

剩余内容已隐藏，支付完成后下载完整资料

Towards Natural Language Interfaces for Data

Visualization: A Survey

ABSTRACT

Utilizing Visualization-oriented Natural Language Interfaces (V-NLI) as a complementary input modality to direct manipulation for visual analytics can provide an engaging user experience. It enables users to focus on their tasks rather than worrying about operating the interface to visualization tools. In the past two decades, leveraging advanced natural language processing technologies, numerous V-NLI systems have been developed both within academic research and commercial software, especially in recent years. In this article, we conduct a comprehensive review of the existing V-NLIs. In order to classify each paper, we develop categorical dimensions based on a classic information visualization pipeline with the extension of a V-NLI layer. The following seven stages are used: query understanding, data transformation, visual mapping, view transformation, human interaction, context management, and presentation. Finally, we also shed light on several promising directions for future work in the community.

Keywords: Data Visualization, Natural Language Interfaces, Survey

1 INTRODUCTION

The use of interactive visualization is becoming increasingly popular in data analytics [17]. As a common part of analytics suites, Windows, Icons, Menus, and Pointer (WIMP) interfaces have been widely employed to facilitate interactive visual analysis in current practice. However, this interaction paradigm presents a steep learning curve in visualization tools since it requires users to translate their analysis intents into tool-specific operations [127], as shown in the upper part of Figure 1.

Over the years, the rapid development of Natural Language Processing (NLP) technology has provided a great opportunity to explore a natural language based interaction paradigm for data visualization [18], [277]. With the help of advanced NLP toolkits [1], [3], [21], [83], [156], a surge of Visualization-oriented Natural Language Interfaces (V-NLI) emerged as a complementary input modality to traditional WIMP interaction recently, which supports generating visualizations according to the userrsquo;s NL queries. The emergence of V-NLI can greatly enhance the usability of visualization tools in terms of: (a) Convenient and novice- friendly. Natural language is a skill that is mastered by the public. By leveraging natural language to interact with computers, V-NLI closes the tool-specific manipulations to users as shown in Figure 1, facilitating the flow of analysis for novices. (b) Intuitive and effective. It is a consensus that visual analysis is most effective when users can focus on their data rather than the manipulation on interface of analysis tools [85]. With the help of V-NLI, users can express their analytic task in their own terms. (c) Humanistic care. A sizeable amount of information we access nowadays is supported by visual means. V-NLI can be an innovative means for non-visually accessing, which promotes the inclusion of blind and low vision (BLV) people.

Fig. 1. Traditional interaction paradigm requires users to translate their analysis intents into tool-specific operations [127]. With the help of V-NLI, users can express their analysis intent in their own terms.

Timeline of V-NLI is shown in Figure 2. Back in 2001, Cox et al. [41] presented an initial prototype of NLI for visualization which can only accept well-structured queries. Almost a decade later, Articulate [241] introduced a two-step process to create visualizations from NL queries. It first extracts the userrsquo;s analytic task and data attributes and then determines the appropriate visualizations based on those information automatically. Although the infancy-stage research studies were a promising start, as natural language was not yet a prevalent modality of interaction, the V- NLI systems were restricted to simple prototypes. However, since Apple integrated Siri [221] into iPhone, NLIs began to attract more attention. Around 2013, the advent of word embeddings [162] promoted the advances of neural networks for NLP, thus rekindling commercial interest in V-NLI. IBM firstly published their NL-based cognitive service, Watson Analytics [4], in 2014. Microsoft Power BIrsquo;s Qamp;A [5] and Tableaursquo;s Ask data [2] were announced in 2018 and 2019, respectively, offering various features like autocompletion, underspecified utterances inference, etc. DataTone [64] first introduced ambiguity widgets to manage ambiguities in the queries while Eviza [207] explored analytic conversations. After a few years of technology accumulation, the past five years have experienced outbreak of V-NLI (See number of yearly published papers in Figure 2). With the development of hardware devices, synergistic multimodal visualization interface gained notable interest. Orko [234] was the first system to combine touch and speech input on tablet devices, and Data@Hand [278] focused on smartphones. InChorus [229] incorporated a pen as a third modality for consistent interaction experience. The pretrained language models obtained new state-of-the-art results on various NLP tasks from 2018, which provided great opportunities to improve the intelligence of V-NLI [51], [181]. Quda [62] and NLV [231] contributed datasets of NL queries for visual data analytics and nvBench produced the first V-NLI benchmark [150]. ADVISor [142] and ncNet [149] were deep learning-based solutions for V-NLI. Beyond data exploration, FlowSense [280] augmented a dataflow-based visualization system with V-NLI. NL4DV [174] toolkit can be easily integrated into existing visualization systems to provide V-NLI service.

Fig. 2. Timeline of V-NLI. We briefly divide the timeline into infancy stage, development stage, and outbreak stage. The number of yearly published papers is att

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[596182]，资料为PDF文档或Word文档，PDF文档可免费转换为Word