可信联邦学习秋令营·上海站由上海交通大学计算机科学与工程系、微众银行、FATE开源社区学术专委会、ACM中国上海分会、上海市计算机学会普适计算与嵌入式专业委员会联合举办,于10月19日在上海交通大学正式开营。
此次秋令营是继第一期北京清华夏令营、第二期西安西交大夏令营、第三期成都西南财大冬令营、第四期杭州西湖大学冬令营、第五期深圳港中深春令营、第六期新加坡科技局(A*STAR)夏令营、第七期青岛山东大学夏令营、第八期西安西交大秋令营之后的第九期活动。
活动围绕“联邦大模型”主题,探讨可信联邦学习、联邦大模型等前沿研究方向。吸引了来自北京大学、武汉大学、山东大学、华东师范大学、华南理工大学、上海科技大学、上海大学、西南财经大学、东华大学、南京邮电大学、昆山杜克大学、新加坡管理大学、上海电力大学、上海交通大学等二十余所高校以及微众银行、上海联通等知名企业的20余位可信联邦学习研究领域的专家导师和70余位优秀本硕博学生的积极参与,凝结了10多个子课题汇报总结。在为期3个月的秋令营中,来自全国各高校的学员们将结合自身研究背景和兴趣,快速掌握TFL的基本原理。在可信联邦学习研究领域专家的指导下聚焦于“可信联邦学习(TFL)”这一前沿研究方向,在联邦大小模型协同机制、联邦持续学习演进机理等多个研究方向完成研究与实践,形成论文,于2025年2月开展研究成果评比,最终评选出优秀研究成果。
上海交通大学计算机科学与工程系主任吴帆教授致开场辞,向参与此次活动的导师和学员们表达了热烈的欢迎,并且表达了对未来更多老师和学生加入这一学术共同体的期待,对秋令营系列活动能够促进学术界和产业界的交流与合作表示了充分的信心。
加拿大工程院与皇家科学院院士、微众银行首席人工智能官、FATE开源社区技术指导委员会主席杨强教授围绕《联邦大模型的10个研究问题》,就联邦学习的发展路径及前沿研究问题进行了系统性介绍,鼓励更多青年学者加入联邦学习领域的研究,为可信联邦学习生态的发展带来新的繁荣。
上海交通大学计算机科学与工程系主任吴帆教授以《大小模型端云协同智能计算》为主题,就大小模型云端协同学习与联邦学习的优势进行了对比,描述了云侧大模型、端侧小模型按照端云两侧不同特点和实际需求进行各项资源分配的方案。
东华大学常姗教授围绕《基于合作夏普利值的联邦学习激励机制》主题,从联邦学习的激励机制、基于夏普利值的激励计算、基于合作夏普利值的激励设计、实验评估角度出发,为合理评估贡献设计了激励机制。
上海交通大学陈思衡副教授围绕《基于联邦学习的大模型微调训练》主题,探讨了联邦大模型学习,着重介绍了面向分布式私域数据的模型训练、大语言模型联邦微调训练框架OpenFedLLM、大模型联邦训练数据基准FedLLM-Bench等最新研究成果。
武汉大学计算机学院叶茫教授以《异构联邦学习:泛化性,鲁棒性,个性化,图学习》为主题,分享了异构联邦学习研究方面的思考和探索,叶老师指导多名本科生发表高水平论文让在场的学员备受鼓舞。
微众银行人工智能首席科学家范力欣做了《可信联邦学习问题探究》主题报告,强调了创新性思维方式的重要性,指导学员们如何在实践中充分利用现有工具箱中的资源来解决问题,并分享了科技论文写作的关键步骤和结构。
西南财经大学计算机与人工智能学院副院长杨新教授围绕《联邦持续学习研究进展》主题,通过深入剖析持续学习与联邦持续学习相结合的核心理论和方法,探讨它们在实际应用时面临的挑战,分享了团队在联邦持续学习方面的一些重要进展。
北京大学副教授王乐业以《A Survey for Federated Learning Evaluations: Goals and Measures》为题,探讨联邦学习评估目标、联邦学习评估措施,并就联邦学习未来发展方向进行了探讨。
上海科技大学信息科学与技术学院教授石远明围绕《卫星联邦学习方法与应用》,对天基算力网络的机遇与挑战、卫星联邦学习、星地协同传输进行了详细介绍。
昆山杜克大学罗冰助理教授以《FedCampus: A Real-World Privacy-preserving Data Platform for Smart Campus via FL & FA》为主题,分享了团队在联邦学习系统平台搭建的最新成果,以智慧医疗与健康为案例,在昆山杜克大学校园搭建了100多个终端的联邦数据分析平台。
新加坡管理大学胡铭研究员以《联邦学习算法优化与框架设计》为题,对联邦学习算法优化、联邦学习框架设计进行了介绍。
在小组讨论环节中,学员们结合自身的研究背景和兴趣,在专家导师的指导下形成小组,确定研究主题进行讨论,其中包括联邦大小模型协同机制、联邦持续学习演进机理、高效异构联邦学习系统、联邦多智能体协同机制、联邦学习多目标优化(模型性能、隐私安全、公平性)、联邦学习激励机制设计等。
在经过2天的头脑风暴后,学员们在10月20日下午进行了小组课题汇报,产出了10多个细分课题,导师们对每个细分课题做出了详细点评,带来了联邦学习与大模型领域的学术火花碰撞。秋令营后半阶段,学员们将在联邦大小模型协同机制、联邦持续学习演进机理等多个研究方向完成研究与实践,形成论文,于2025年2月开展研究成果评比,最终评选出优秀研究成果。
参加秋令营的部分学员已经在领域专家的指导下确定了研究课题,并完成了开题报告答辩。