目的：早期肺癌患者术前的CT对淋巴结（LN）状态的评估缺乏较高的准确性，错误的评估会导致治疗方案不当，增加并发症的风险。本研究的目的是建立一个基于CT影像和既往临床经验的跨模式三维神经网络，以准确预测临床T1期肺腺癌的淋巴结转移。
病例与方法：选择临床分期为T1期的肺腺癌患者例。资料包括：获得相应的CT三维结节中心斑片、既往临床特征及LN状态的病理学标志。我们提出了一个跨模式的深度学习系统，它可以成功地将先前的临床知识和CT图像整合到一个3D神经网络中，来预测淋巴结转移。我们用个案例对系统进行了培训和验证，并用个案例测试了系统的性能。结果与logistic回归整合模型、无临床知识整合的单一深度学习模式、放射组学方法和放射科医生手工评估的结果进行比较。
结果：DensePriNet模型的AUC为0.，明显高于logistic回归积分模型（0.）、单一深度学习模型（0.）和放射组学方法（0.）。DensePriNet的Matthews相关系数（MCC）为0.，显著高于1名高级放射科医生（0.）和1名初级放射科医生（0.）的手工分类。结论：单一深度学习法的诊断性能明显高于放射组学方法和放射科医生，将先前的临床知识融入到深度学习模型中，提高了LN状态的诊断精度，有利于精准医学的应用。
一、引言
近年来，由于使用低剂量计算机断层扫描（CT）进行肺癌筛查，越来越多的早期肺癌被发现。临床上T1期肺腺癌的治疗主要有肺叶切除联合系统性淋巴结清扫（LND）和局限性（下叶）切除加选择性LND。淋巴结状态是进行区别治疗的重要指标之一。然而，目前影像学对LN的评价主要取决于影像学诊断的准确性。对LN状态的错误评估可能导致治疗不足或过度，增加复发和术后并发症的风险。
现在的一些研究，包括我们的研究，已经表明肿瘤的定量放射影像学特征可以作为LN状态的生物指标。并成功地预测了淋巴结的转移。但是，传统的放射组学既冗杂又费时。并且，在分割过程中可能存在重复性差和易受人为错误影响的问题。因此，需要一种更客观、更精确、更方便的方法来精确评估LN的状态。
近年来，深度学习在疾病检测和分类方面取得了显著的成功。这些研究仅仅基于图像扫描，而与疾病相关的临床特征，如年龄、性别、分子标记、基因组学和吸烟史，却被忽略了。几乎没有研究将先前的临床知识应用到深度学习的框架之中。例如，谢等，提出了一种以临床知识为基础的协同的深度学习方法来用于肺良恶性结节的分型。然而，这些知识仍然来源于CT图像本身（即形状和纹理特征），本质上没有额外的临床知识融合。另外，如果应用logistic回归与先前的临床特征进行单纯整合来预测LN的转移风险，其效果并不理想，AUC为0.。
因此，在这项研究中，我们提出了一个新的基于临床知识的预测框架DensePriNet，它整合了3D-DenseNet和先前的临床特征，以准确评估T1期肺腺癌LN转移的风险。此外，为了探索深度学习网络的视觉解释，使用排列特征重要性来估计所有因素（图像和临床特征）的重要性，并使用梯度加权类激活映射（Grad-CAM）来生成定位图，用于识别结节中心斑块的重要区域，来预测淋巴结转移。
二、病例和方法
（一）数据收集
本回顾性分析经我院伦理审查委员会批准，无需获得知情同意（编号：SL）。患者的纳入和排除标准如图S1所示。为了提高模型的通用性，共有名符合这些标准的患者（例为转移性LN；例为非转移性LN，采用五种不同的扫描仪进行扫描），扫描参数的详细信息见表S1。采用随机抽样将患者平均分为5个亚组。采用嵌套交叉验证方法对模型进行选择和评价。首先使用内部交叉验证方法来调整超参数（优化器、学习速率和早期停止时段的数量）并选择最佳模型。然后，采用外交叉验证对内交叉验证所选择的模型进行评价。最后，报告每个子集的结果和所有子集的平均结果。
（二）临床特征评价
术前薄层CT图像由两位独立的胸外科放射科医师(一位经验4年[初级]，另一位经验13年[高级])进行解读，他们对病理结果不知情。如果对形态学特征的解释存在差异，则通过小组讨论达成最终共识。肿瘤最大直径是指最大横断面的最长直径。根据薄层CT表现，肿瘤衰减分为三组:(a)纯磨玻璃结节(pGGNs)、(b)混合磨玻璃结节(mGGNs)、(c)实体结节。如果病变区域的血管纹理未被覆盖，其密度略有增加，则该结节被归类为pGGNs。mGGN被定义为具有毛玻璃混浊(GGO)和实体成分两种特征的肿瘤，而实体结节被定义为不含GGO成分的实体肿瘤。当结节表面呈波浪状或扇贝状时，就表示结节的分叶化。刺状指的是从肺病灶边缘放射到肺实质的短线，但与胸膜表面没有连接。支气管空气征定义为肿瘤内支气管扩张、扭曲或切断。胸膜回缩是指一个连接肿瘤与胸膜表面的线性结构，向肿瘤方向回缩。液泡征是指肺结节内1-2mm(或5mm)的小空腔或间隙。根据吸烟情况将患者分为不吸烟者和吸烟者。CEA水平的阈值分为≤5ng/mL、5~20ng/mL和≥20ng/mL三个水平。如果肺门或纵隔淋巴结的短轴测量在CT扫描上1cm，则认为是转移淋巴结。
（三）深度学习算法的进展
该模型的输入是来自胸部CT扫描的48mm×48mm×48mm的立方块和数据预处理部分所示的先验临床特征向量。为了合并不同的输入源（图像和文本），需要一种合适的跨模式合并技术。在这个研究中，我们提出了一个端到端的深度学习架构DensePriNet，它可以融合图像特征和先前的临床特征，如下图所示。
1.数据预处理
登记的CT扫描被转换成Hounsfield单位；然后用三线性插值法将图像的尺寸调整为1mm×1mm×1mm。强度被剪裁成[-，]，并且被线性归一化方法归一化，最后，将每个患者的图像强度转换为[-1,1]，如下所示：
该模型的图像输入是利用人工标记结节的质心法对预处理图像进行裁剪生成的三维面片。同时，为了考虑结节及其周围环境的信息，获得了患者p的48×48×48体素贴片，即图1中示出了四个示例。
为了在卷积神经网络（CNN）的背景下生成足够的培训数据，图像增强是一种常用的方法，它可以在数据集不足的情况下带给网络期待的不变性和稳定性。在本研究中，我们采用左右翻转、四个不同角度（0°、90°、°、°）的旋转，以及在不同轴上的三个体素进行少量的换位。通过完成0-2次转换（从上述内容中随机选择）来生成新图像，我们的训练数据集在训练过程中扩充了训练数据集。
以往与淋巴结转移相关的可以被设计用来组成一个培训特征向量的临床特征的细节，如下所示。
对于患者p的一个离散特征i，包括毛刺、分叶、胸膜凹陷、衰减、空气支气管造影、空泡和吸烟状态，这些特征可定义如下：
对于病变衰减和CEA水平，可定义如下：
T1肺腺癌最大肿瘤直径在[0,3]cm范围内是一个连续变量，除以3在[0,1]cm范围内归一化。最后，将所有的临床特征值连在一起，生成患者p的先前临床特征向量，表示如下：
2、DensePriNet体系结构
被称为DensePriNet的框架，它基于三维卷积神经网络，包括以下两个阶段：第一阶段通过基本网络自动提取与淋巴结状态相关的图像特征表示。然后，将先前的临床特征与图像特征表示合并，输出两个类型（转移、非转移）的分类概率。所提议的DensePriNet的架构如图2（a）所示。详情如下所示。
对于第一阶段，鉴于医学数据量并不大，因此基础网络应该非常紧凑，参数较少，使训练过程相对容易。DenseNet满足了上述要求，并且在自然图像分类方面取得了一些突破性的成果。考虑到本研究中的结节是三维的，本研究采用三维密度网。三维DenseNet的体系结构如图2（b）所示。它由三个密集的块组成，每个块由四个卷积模块组成，如图2（c）所示。在每个卷积模块中，有1×1×1的卷积核和64个滤波器，然后是3×3×3个卷积核和16个滤波器，如图2（d）所示。批处理标准化（BN）层用于减少内部协方差偏移，校正的线性单元（ReLU）降低了梯度消失的概率。全局池层用于获得个通道表示。最后，为了保证临床特征向量（长度=9）不被图像特征表示所淹没，接着是一个完全连通的层，设计了9个数量与临床特征向量长度相当的输出图像特征表示。
对于第二阶段，采用跨模态融合方法将图像信息与临床信息融合。将9种图像特征表示与临床特征向量串联，形成长度为18的融合特征向量，再由一个完全连通层和一个BN层将两种特征充分融合。最后，使用softmax激活来输出淋巴结转移的风险概率。DensePriNet的详细架构如表S2所示。
此外，先前的研究表明，增加特征选择程序可能有助于提高机器学习模型的最终性能。本研究采用Spearman分析方法来衡量临床特征与LN状态的相关性。根据相关系数由大到小的顺序，绝对相关度越高，则相关性越大；前2、4、6、8个临床特征分别作为4个不同的特征向量，通过向量与图像特征表示相连接。然后，对不同数量临床特征整合的模型的性能进行评估。
（四）培训
培训所提出的DensePriNet的损失函数是二进制交叉熵，它可以重写如下：
其中是LN状态的基本真实值，θ是模型需要优化的参数集，P是DensePriNet的风险概率预测。θ中的所有参数都是用“he-uniform”初始化的。在培训过程中，本研究以1:1的比例对2个批量为10的集合的培训数据进行抽样，并使用学习率为3.e?4的Adam优化器去更新模型参数。我们在70代之后提早停止了培训。
（五）预测
培训后，通过最小化损失函数得到θ。我们使用具有固定参数θ的模型来预测测试集之中的转移概率。考虑到神经网络优化过程中可能会引入一些随机性，为了减小误差方差，在固定超参数下引入5次实验的平均结果。因此，我们根据以下公式预测淋巴结转移风险：
该网络使用基于TensorFlow1.5.0和Keras2.2.4的Python3.6来实现。该模型在配备1个IntelXeonCPU的Ubuntu16.04电脑上进行培训，使用NVIDIAGTXTi8GbGPU进行培训和测试，可用内存为32GB。
（六）模型解释
为了阐明临床特征和图像等不同因素的重要性，采用一种称为“排列特征重要性”的模型检验技术来估计它们的重要性。排列特征重要性被定义为当单个特征值被随机洗牌时模型得分的减少量。因此，在评估每个临床特征的重要性时，我们在值区间内随机分配一个特征值给每个因素。对于CT图像的重要性，DensePriNet的所有图像特征表示值被随机分配（介于0和1之间）。AUC的衰减率越高，说明该因子的重要性越高。然后将AUCs的减量标准化为[0,1]，以显示所有因素的相对重要性顺序。同时，为了确定对诊断网络预测决策贡献最大的区域，GradCAM被用于生成热图，以可视化图像中最能指示淋巴结转移的区域。当深度学习模型预测LN的状态时，它告知临床医生受到最大