数据合成在时序成像以及持续学习和联邦学习在医疗中的应用与创新

浙江大学英国正版365官方网站第172期青年学术沙龙活动暨研究生科研能力提升系列活动，于2023年5月4日下午如期在周亦卿大楼二楼会议室举行。英属哥伦比亚大学助理教授李霄霄作“数据合成在时序成像以及持续学习和联邦学习在医疗健康中的应用与创新”的专题报告。英国正版365官方网站许迎科教授主持活动。

李霄霄，英属哥伦比亚大学助理教授。于2020年获得耶鲁大学生物医学工程博士学位，曾在普林斯顿大学担任博士后研究员。研究领域为医疗健康AI可靠性，研究成果在顶级机器学习学术会议和期刊上广泛发表，包括NeurIPS、ICML、ICLR、MICCAI、IPMI、ECCV、TMI、TNNLS、Medical Image Analysis和Nature Methods。

李霄霄教授介绍了其在英属哥伦比亚大学的课题组Trusted and Efficient AI(TEA) LAB和团队的研究方向，及英属哥伦比亚大学博士生项目和交换生项目，欢迎有志于研究Trustworthy AI、合作学习系统、机器学习算法和优化、图学习、医学影像处理分析的同学申请加入她的实验室。

李霄霄教授专题报告从生成式的学习出发，围绕细粒度和粗粒度的数据生成原理及其在医疗健康领域应用，详细分享了团队的科研成果。

李霄霄教授从扩散模型及基本框架出发，讲解了运用细粒度数据生成（或者称为强数据生成）原理和技术，论证在时序MRI图像预测领域中的可行性，并解决了one to one模型准确度不足、缺乏对时序的感知以及在实际运用中MRI图像在时间序列上的缺失等问题。此外，还介绍了如何利用Transformer结构增加对时序的感知能力，应用MASK技术补足MRI图像缺失的问题，构建了many to one的模型，显著提高了通过已有的不同时间点的MRI图像预测未来的MRI的准确性。

李霄霄教授从其能够解决传统联邦学习中潜在的隐私问题引出，指出了粗粒度的数据生成（或者称为弱数据生成）在未来临床应用中的优势。传统联邦学习需要各个医院共享数据到云端，而弱数据生成通过将原医学图像数据通过神经网络，产生基本不同于原图像的数据，但能保留特征信息，使得云端训练时基本不损失或者损失很少的性能，改进了传统联邦学习的范式，增强了对病人隐私的保护。其中涉及的数据异质性问题和数据不平衡问题李教授大致给同学们介绍了解决的思路，并给出了实际训练的基本框架。

沙龙开展气氛热烈，师生们提出了许多有价值的问题，与李霄霄教授展开了热烈的探讨。例如在时序MRI图像预测中为什么基于序列的预测会比one to one模型会更好，序列预测是否会在一步步的生成中积累误差导致方差变大，如何从马尔可夫链的模型去理论上证明这个思路的正确性，模型训练中数据集使用正常人MRI图像的必要性，MRI图像在transformer的Encoder中额外病理信息进行编码及不收敛性等。

图：李知阳

文：李知阳