问题
大规模语义网络(Semantic Networks, SNs)难以理解,尽管已有多种分区方法,但分区后的子网是否符合人类认知缺乏评估。
挑战
- 理解困难:大型语义网络由于节点和边的数量众多,其结构复杂,导致难以理解,尤其是在图形表示中,节点和边的交叉、重叠严重影响可读性。
- 方法有效性评估:已有的分区方法(包括算法式和语义式)缺乏对分区结果在人类专家视角下是否有意义的深入评估,难以确定这些方法生成的分区是否真正有助于对语义网络的理解和利用。
创新点
- 综合评估方法:首次将算法分区结果与专家手动分区结果进行对比,从人类认知的角度评估分区方法的有效性,提供了一种新的评估视角和方法。
- 可视化应用创新:提出利用网络分区生成语义网络的各种局部视图,通过部分视图帮助用户更好地理解和定位语义网络中的信息,这是在语义网络可视化和用户交互方面的创新应用。
贡献
- 评估分区方法:对文献 [4] 中的分区方法进行了全面评估,通过与专家分区对比,深入分析了该方法的优缺点,为语义网络分区方法的研究提供了实证依据。
- 应用展示:以统一医学语言系统(UMLS)语义网络为例,展示了如何利用分区生成局部视图,为语义网络在实际应用中的可视化和用户导向提供了范例。
提出的方法
- 分区方法评估
- 选择文献 [4] 中的分区算法对语义网络进行分区处理,该算法可能基于特定的结构或语义规则(论文未详细提及具体算法细节)。
- 组织专家团队对相同的语义网络进行手动分区,专家根据自身对语义网络的理解和领域知识进行划分。
- 将算法分区结果与专家分区结果进行对比分析,评估算法分区的有效性和合理性,对比维度可能包括分区的结构合理性、语义连贯性、对关键概念的划分等方面(论文未详细说明具体对比指标和方法)。
- 局部视图生成
- 基于分区后的语义网络,根据不同的应用需求和用户视角,选择特定的分区或分区组合来生成局部视图。例如,可以选择与特定主题或任务相关的分区,展示该部分语义网络的详细结构和关系。
- 通过图形化方式展示局部视图,突出显示节点、边和语义关系,帮助用户聚焦于感兴趣的部分,减少信息过载,提高对语义网络的理解效率。
指标
- 分区方法评估指标
- 未明确提及具体的量化指标,但从论文内容推测可能包括分区的结构相似性(如节点和边的分布相似性)、语义一致性(如概念在分区中的归属是否符合语义逻辑)、专家认可度(专家对算法分区结果与手动分区结果的相似度评价)等方面的定性或半定量评估。
- 局部视图效果指标
- 未明确提及,但可推测可能包括用户理解效率(如用户理解局部视图所需时间)、信息准确性(局部视图是否准确传达了相关语义信息)、用户满意度(用户对局部视图辅助理解语义网络的满意度)等方面的定性评估。
模型结构
论文未涉及特定的模型结构,主要研究语义网络的分区方法和基于分区的局部视图生成,不涉及基于模型架构的深度学习或机器学习模型。
结论
- 通过对比算法分区和专家分区结果,发现算法分区方法在一定程度上能够生成具有一定合理性的子网,但与专家分区仍存在差异,表明算法分区有改进空间,需要进一步优化以更好地符合人类认知。
- 利用网络分区生成的局部视图能够有效帮助用户理解和定位语义网络中的信息,提高了语义网络的可用性和可操作性,验证了这种方法在语义网络可视化和用户导向方面的价值。
剩余挑战和未来工作
- 分区方法优化:进一步改进分区算法,使其生成的分区更符合人类专家的认知和实际应用需求,可能需要结合更多的语义信息和领域知识来指导分区过程。
- 评估指标完善:建立更系统、准确的评估指标来衡量分区方法的有效性和局部视图的质量,以便更科学地比较不同方法和优化相关技术。
- 应用拓展:探索在更多领域和场景中应用语义网络分区和局部视图技术,如医疗信息系统中的知识导航、生物信息学中的基因关系分析等,进一步验证和扩展该方法的实用性。
抽象的:
介绍
语义网络 (SN) [1] – [3]是概念知识的极佳存储库。每个现有 SN 的标准表示都是图形语言;尽管在计算机内部,SN 由某种符号知识表示形式表示。精心设计的小型 SN 图易于理解和解释。然而,对于大型 SN,情况并非如此。同时,只有大型 SN 才有实际用途。大型 SN 的图表在最好的情况下令人困惑,而在最坏的情况下由于交叉和重叠而完全“不可读”。这种情况有点让人想起在模块化编程普及之前理解编程语言代码的困难。由于 SN 的非线性特性,开发类似于编程模块的结构花费了更长的时间。最近,用于生成此类模块的方法学方法已经以分区等名称出现。文献中出现了各种用于划分 SN 的方法。其中一些是算法性的,例如[4] – [6],而另一些是语义性的,例如[7] – [9]。然而,这些方法通常会留下一个问题,即所得到的划分在人类专家眼中是否有意义。在本文中,我们提出了一项研究,评估[4]的划分方法的结果。
我们仍然面临一个棘手的情况:小图有助于理解,而大型复杂图会让观看者不知所措。人们普遍认为“一图胜千言”。图解表示利用了人类视觉通道的高带宽。此外,某些操作是人类视觉系统中固有的,例如线检测。然而,在杂乱的交叉点中,很难检测和跟踪一条线。与普遍看法相反,在这种情况下缩放无济于事,因为它通常会使线的端点从视图表面消失。解决这一矛盾的唯一方法是从令人不知所措的 SN 图中挖掘出有意义的视图。这样的视图需要包含一些选定的元素,这些元素不是根据物理距离而是根据语义接近度来选择的。 [4]的划分允许我们制定符合这一原则的 SN 的几个部分视图,我们将在下面详细定义这些视图。
在医学信息学中可以发现 SN 的许多实际应用。在该领域中,可能分布最广泛的 SN 是统一医学语言系统 (UMLS) [11]的 SN [ 10 ] 。SN 是元词库 (META) 的高级抽象,而元词库是 UMLS 概念库。虽然[4]的方法完全是通用的,但我们选择了 UMLS SN 进行研究,因为很少有其他 SN 像它一样广为人知。
第二部分描述了我们如何通过将算法划分的 SN 与人类专家创建的 SN 划分进行比较来评估算法划分的 SN。第三部分讨论了如何通过提供视图来引导用户了解 UMLS SN,从而利用该划分。第四部分包含结论。
评估算法分区
本文的基本假设是,尽管[4]中的分割技术(产生了所谓的凝聚性分割)主要基于结构方面,但它仍然涵盖了语义方面的考虑。也就是说,尽管凝聚性分割是算法过程的结果,但它仍然会产生有意义且有用的(对人类而言)“图形模块”。从内容的角度来看,分割的每个元素(在[4]中称为语义类型集合)都应该是描述某个特定主题领域的统一节点组。换句话说,我们假设如果 UMLS SN 中的两个节点(称为语义类型)具有相同(甚至近似相同)的关系集,那么它们在语义上也接近。我们如何评估通过算法获得的分割对人类专家是否有意义?为了解决这个问题,我们将[4]中的算法分割提交给一位 UMLS 承包商进行审查。他的判断是——考虑到 Chen 等人[4]表达的限制——从语义角度来看,该分割看起来是可以接受的[12]。
然而,专家们所接受的语义上合理的划分与他们根据自己的语义考虑划分 SN 的任务之间存在差异。为了解决这个问题,进行了以下研究。这项研究的参与者是本文的五位作者、我们研究小组的另外两名博士生和一位额外的教授,他们都对 SN 有一些背景知识。他们将这项任务作为每周研究研讨会的一部分来执行。参与者没有时间限制,并在对工作满意时提交。每位参与者都收到一页说明(见附录)和两页 SN 的 IS-A 层次结构图表,即以事件和实体为根的两棵树。图 1以与向参与者展示的格式类似的格式显示了事件树。但是,附加在节点上的数字列表并未提供给参与者。这些数字是实验结果。
这些说明是我们之前用于划分 MED 术语[7]的 OODB 模式的人机方法的简化版本。简化的机会源于 MED 模式是 DAG,而 SN 是树。同时,它们考虑了内聚分区规则[4],例如,需要单根集合并禁止使用单例叶子。
请注意,尽管这些说明看起来相当复杂,但它们仅定义了结构限制,例如“不允许单个节点”或“组必须连接”。这些限制对于计算主体分区与算法获得的分区之间的有效比较分数是必不可少的。另一方面,我们的说明不限制主体的语义决策,他们仍然可以完全自由地将语义类型分配给他们选择的组。
参与者还得到了口头指示,关于如何解决以实体为根的子网络示例问题(见图2),大致如下。
“领域专家自上而下扫描该图以识别语义类型集合。由于Entity是树的根,因此它应该是语义类型集合的根。从Entity向下扫描,语义类型Physical Object仍然属于Entity的主题领域,因为两者都是非常通用的术语。但是,下一个语义类型Organism很重要,它开启了一个新的生物主题领域,它不同于Entity主题领域。Organism有七个子代,每个子代都是不同于Organism一般主题领域的特定生物。但是,其中五个是叶子,因此不符合开始单独的语义类型集合的条件。只有Organism的两个非叶子子代Plant和Animal开始新的语义类型集合。进一步向下扫描, Animal的唯一非叶子后代是Vertebrate和Mammal,它们被判断为位于以Animal为根的语义类型集合中。图 3包含四个语义类型集合(每个集合都包含在虚线气泡中),显示了最终的分区。”
最重要的是,参与者没有使用结构化分区方法所使用的非 IS-A 关系的任何知识。因此,参与者完全依赖于他们对语义类型的理解,这些理解基于 SN IS-A 层次结构中节点的名称和位置。除了 ZC 和 YP,参与者也没有研究凝聚分区的细节。(在进行研究之前,ZC 在 YP 的监督下手动应用了分区技术并审查了由此产生的凝聚分区。YP 审查了凝聚分区的各个部分。)
评估结果表明,不同参与者的划分方式截然不同。图 1为事件树,显示了每个节点被哪些参与者标记为根节点。(参与者编号从 1 到 8。数字 0 表示内聚划分[4]。)例如,活动被标记为 (3, 6, 7, 8),这意味着它被受试者 3、6、7 和 8 标记为根节点。由于未列出 0,因此活动未被内聚划分算法选为根节点。该图显示了语义决策的主观性。
表明受试者的反应具有高度的可变性。该表显示了受试者之间的一致性。行号表一 demonstrates the high variability of subject responses. The table shows intersubject agreement. The number in row 我和列 and column 杰表示有多少个根 indicates how many roots subject 我和主题杰同意。例如,受试者 3 和 5 对 21 个词根表示同意。表 II显示了凝聚性分区和受试者分区之间的一致性。受试者间平均一致性为 21.22。受试者对凝聚性分区的平均一致性为 21.125。
虽然个别参与者的回答差异很大,但在汇总所有回答时,大多数受试者都会做出一些选择。我们的方法是,如果至少满足以下条件,则将概念识别为语义类型集合的根电视参与的受试者选择这个概念作为根。我们随后计算了回忆率(右)和精度(页)与[4]的结果相比,人类受试者的电视作为截止值。然后我们改变电视作为独立变量并计算R和磷在所有层次概念上作为因变量。我们还计算了 Rijsbergen 的F将精度和召回率合并为一个数字的值
在表三中,各列为:截止值电视;至少标记有电视主题;至少标记的根数电视也通过内聚分区识别的主题;召回率;精确度;F价值。
这F值在截止值 6 处达到峰值。然而,F对于截止值 3、4、5 和 6,值几乎相同。F值约为 0.8,表示凝聚性分区与由至少电视主题(吨= 3 , 4 , 5 , 6 )。
当然,召回率和精确度之间存在权衡。例如,在令人印象深刻的 0.909 精确度下,至少有 6 名受试者标记了内聚分区的 28 个根中的 20 个,对应的召回率为 0.714。当至少有 3 名受试者标记了内聚分区的 28 个根中的 25 个时,召回率增加到 0.892,但精确度降低到 0.714。对于截止值为 5,获得了 3 和 6 之间的中间点,平衡了召回率和精确度。至少有 5 名受试者标记了内聚分区的 28 个根中的 23 个,精确度为 0.766。因此,我们的评估表明了内聚分区的实用性以及受试者获得的分区的高度一致性。这支持了内聚分区是 SN 的有效语义分区的说法。
使用分区定位 SN
上文中,我们比较了软件开发中对模块化的需求与 SN 中对分区的需求。程序代码对模块化的需求主要源于维护日益增长的已安装软件库的困难。同样,如果将 SN 划分为节点组,维护 SN 应该会更容易。
在本节中,我们将展示如何使用 SN 的有意义的分区来生成它的部分视图,这些视图比整个网络更容易理解。我们再次强调,部分视图绝不是特定于 UMLS SN 的。但是,由于[4]中的所有示例都是基于 SN 给出的,因此我们继续使用它。
维护 UMLS 的 META 的专业人员需要很好地适应 META,执行诸如添加新概念、拆分被发现具有两个不同含义(同音异义词)的概念、更改概念的语义类型分类等操作。由于 META 的大小和复杂性,实现这种适应性很困难。SN 提供的 META 抽象视图可以帮助实现这种适应性。但是,SN 本身太大太复杂,无法在计算机屏幕上布局。SN 的分区提供了 SN 的紧凑部分视图,可以在这方面为我们提供帮助。
我们的目的是提供各种视图,使用户能够研究 SN 的每个元素,即每个语义类型和每个关系(IS-A 关系或语义关系),这些关系在一个足够小的网络中,可以方便地显示在计算机屏幕上。这些视图显示了语义类型及其在相关相邻语义类型附近的关系。正确使用这些视图将使用户能够理解 SN 或感兴趣的 SN 的部分。
我们首先列出各种视图,然后举例说明。之后,我们将描述用户使用一系列此类视图来实现令人满意的定向度的场景。我们需要以下定义。
定义(诱导子网络):
让Let G = (V,埃)成为一个网络 be a network where 五是节点集, is the set of nodes and 埃是边的集合。设 is the set of edges. Let 五′⊂ V是节点的子集。诱导子网络 be a subset of nodes. The induced subnetwork of 五′是 is 格′= (V′,埃′)在哪里 where 埃′= E∩ (V′×五′), 那是,, that is, 埃′包含边缘 contains edges of 埃这条边的两个节点都在 where both nodes of such an edge are in 五′。.
定义(C-Collection子网):
让Let 碳是 SN 的内聚分区的语义类型集合。 be a semantic-type collection of the cohesive partition of the SN. The 碳-collection 子网络是-collection subnetwork is the induced subnetwork of 碳。.
集合子网络包含集合内部的边。图 4显示了行为-集合子网络。它包含三种语义类型、两种 IS-A 关系和三种语义关系。
集合子网络显示了集合的内部连接。然而,这不足以研究集合语义类型的全部意义,因为它不包括这些语义类型的外部关系。为了考虑集合的外部关系,我们需要以下内容。
定义(C-Collection 环境):
让碳是 SN 的内聚分区的语义类型集合。碳-收集环境是一个包含碳-collection 子网络和 SN 的所有(外部)关系,其中只有一个语义类型属于碳。
此类关系的另一种语义类型不包含在环境中。环境之外的每种语义类型都标有“?”。图 5显示了Behavior -collection 环境,其中包含三种语义类型的集合和三种内部关系。Behavior -collection子网络节点上有 22 种外部关系,其中 13 种(五种)正在退出集合,9 种(四种)正在进入集合。这 22 种关系属于图 5中显示的七种关系(两种关系既进入又退出) 。我们没有显示所有 22 种关系,因为关系另一端的语义类型(可以区分关系的出现)不在图中。包含 22 种外部关系及其“另一端”语义类型的图太大,无法在屏幕上清晰显示,并且对定位没有帮助。请注意,Behavior及其子级从Event继承的关系issue _ in未显示。此外,为了避免混乱,图 5中未显示两个子级继承的行为的现有关系。可以使用继承规则推断它们。唯一的例外是与现有的个体行为相关联的关系,因为其目标已被细化。
我们现在需要以下两个定义。
定义(相邻集合):
两种语义类型集合碳和德(SN 的内聚分区)如果存在语义类型,则相邻丙在碳和语义类型d在德这样就存在一个关系(IS-A 或语义)连接丙到d或者在 SN 中反之亦然。
定义[(C,D)-邻接子网]:
让碳和德是两个相邻的语义类型集合。(C, D )-邻接子网包含碳-收集子网络,德-collection 子网络,以及 SN 中具有同一语义类型的所有关系碳以及一个语义类型德。
图 6显示了(行为,病理功能)邻接子网络。除了两个集合子网络之外,它还显示了它们的语义类型之间的交互。有一条边从行为到精神或行为功能障碍,还有一条边在相反方向。还有一条边从病理功能到行为,还有一条边从个体行为到病理功能。
现在我们将介绍一个场景,展示用户如何使用一系列此类视图来实现 SN 的定位。请注意,这些视图中的每一个都可以方便地显示在计算机屏幕上。
SN 的凝聚分区中有 28 个语义类型集合。每个集合都以其唯一的根语义类型命名。因此,用户可以(根据搜索兴趣)识别所需的语义类型集合,该集合称为焦点语义类型集合。例如,让焦点语义类型集合为行为集合。接下来,用户可以查看焦点语义类型集合的语义类型集合子网络。图 4给出了行为集合子网络的示例,其中用户可以看到它的三种语义类型以及连接它们的关系。但是,如果不查看所有外部关系,用户就无法完全理解这些语义类型。焦点语义类型集合环境捕获了焦点语义类型集合的语义类型的所有外部关系。图 5显示了行为集合环境。该环境定义了许多关系,但图 5中未显示。如果将该环境的所有关系都包含在图中,它将不再适合一个屏幕。此外,集合环境视图不包括外部关系另一侧的语义类型,而这些语义类型是全面研究语义类型结构所必需的。(请注意,用户将无法使用碳-collection 环境视图,因为它通常太大。此处描述它只是为了演示查看所有这些外部关系的必要性。)
为了克服这种信息过载,我们将使用适合计算机屏幕的视图,将审查焦点集合的所有外部关系的任务划分为一系列小任务。
根据包含关系另一端语义类型的集合,将焦点语义类型集合的外部关系划分为不相交的集合。例如,根据包含关系另一端的语义类型集合,将行为集合的 22 个外部关系划分为十个不同的集合。例如,考虑行为集合和病理功能集合之间的外部边。为了查看这样一组有限的外部关系,用户使用(C, D )- 相邻子网络碳和德集合。例如,图 6显示了(行为、病理功能)邻接子网络。它显示了行为集合的 22 个外部关系中的 4 个,并且可以方便地显示在屏幕上。通过查看十个这样的邻接子网络,可以查看行为集合的所有外部关系,每个子网络都足够小,可以显示和研究。当然,如果只对其中一些外部关系感兴趣,则需要更少的此类邻接子网络视图。
显然,从图 4和图6等图形中单独了解集合的每个语义类型及其之间的相互作用要比从 SN 的完整图表中获取此类知识容易得多。在网络中,这些方面隐藏在大图的整体结构中,甚至不显示继承的关系。用户只需一次集中精力于两个语义类型集合的语义类型之间的联系,就可以应对小型网络和有限数量的关系。这样的网络小到可以显示在计算机屏幕上,并且更容易让用户理解。通过将整个 SN 的定位任务划分为理解许多小网络的子任务,可以显著降低任务的难度。
结论
在本文中,我们解决了对 SN 划分方法的一个常见批评,即它们的结果可能与人类专家关于如何将 SN 划分为有意义的概念组的直觉不一致。我们通过将[4]的划分方法的结果与专家的结果进行比较来评估该方法,专家根据他们对领域的理解将 SN 划分为有意义的逻辑单元。我们发现,平均而言,一致性很好,峰值 F 值为 0.799。
然后,我们基于内聚划分[4]构建了 UMLS SN 的几种视图,这使得对 SN 或其中精心挑选的部分进行有组织的研究变得容易。这些视图非常通用。我们用 UMLS 的 SN 来演示它们,因为它是众所周知的。由于 SN 本身是 UMLS META 的抽象,我们的视图将使研究、理解和使用 META 变得更容易。
致谢
作者感谢 L. Zhang 和 Y. Peng 对本文研究分析的帮助。他们还要感谢 J. Cimino 博士对本文初稿的评论。
附录 实验对象须知
您将获得两张表。每张表包含一个树形图。每个树形图都是 SN(称为 UMLS)的一部分。树中的每个节点代表一个医学类别。每个箭头将特定类别连接到更一般的类别。叶节点是没有子节点的节点。
本实验的目的是将每个类别树划分为子树,以便每个子树的类别形成一个描述一个主题的逻辑组。单个叶节点不构成一个组。您的任务如下。
-
从树的根节点开始。
-
向下扫描树。
-
当你判断某个非叶子类很重要并且与其父类有很大不同时,就用星号标记它。这个类将被称为“新根”。
-
标记的类别在它下面开始一个组。
-
标记类别的名称也是其下方组的名称。
-
每个未标记的类别都属于其上方最近的根类别的组。