人工智能安全论坛

2022年11月25日（8:30-12:30）

---

论坛简介

随着人工智能技术在社会、经济和生活领域的不断渗透和应用，人工智能的安全问题也得到研究人员的广泛关注。以深度学习为代表的人工智能技术存在鲁棒性、模型后门、公平性和隐私等问题，并且由于神经网络模型的高复杂性和难解释性，导致这些安全隐患无法得到有效的检测和防御。特别在航空航天、智慧医疗、无人驾驶等安全攸关领域对人工智能的可信、可靠和可解释上提出更高的要求，因此如何保障人工智能的安全成为国内外研究的趋势及热点。ChinaSoft 2022人工智能安全Track将围绕人工智能安全的基础理论、攻防技术、原型系统以及产业实践等展开，征集国内外有关人工智能安全的高水平研究成果，并探讨和总结未来人工智能安全的发展趋势和应用前景。

论坛日程

时间	报告题目	讲者/嘉宾
08:30-08:35	开幕式
08:35-09:05	特邀报告：一种基于抽象的构造正确性深度强化学习技术	张民（华东师范大学）
09:05-09:35	特邀报告：强化学习系统的变异测试	孙猛（北京大学）
09:35-09:50	论文报告：保护用户数量信息的安全虹膜识别方案	周宇、向剑文、郑倩荣、赵冬冬
09:50-10:05	论文报告：基于分治法的神经网络修复方法	孙朔、严俊、晏荣杰
10:05-10:20	论文报告：基于BFV同态加密神经网络参数设置实证研究	杨 涛、贺宇、董建锋
10:20-10:35	论文报告：基于健壮半径求解的循环神经网络形式化验证方法	赵亮、戚润川、段鑫民、王小兵
10:35-10:50	论文报告：基于深度学习的跨自然语言与程序语言生成任务综述	宋小祎、张若定、张妍、张梅山、黎家通
10:50-11:05	论文报告：Tenda AX12路由器0-Day栈溢出漏洞挖掘方法	郑炜、许晴晴、李奇、陈翔、孙家泽
11:05-11:20	论文报告：IoT固件同源性智能检测研究	孔凯薇、霍冬冬、苏东楠、徐震
11:20-11:35	论文报告：基于模型驱动的分治并行函数式程序生成及自动验证	王昌晶、王忠文、潘丞、黄箐、罗海梅、左正康
11:35-11:50	论文报告：基于联邦学习的第三方库流量识别	崔华俊、孟国柱、李玥琦、张棪、代玥玥、杨慧然、朱大立、王伟平
11:50–11:55	闭幕式

论坛嘉宾

1.论坛嘉宾：张民（华东师范大学）

报告题目：一种基于抽象的构造正确性深度强化学习技术

摘要： 深度强化学习系统由于其系统状态的无限连续性、深度神经网络的难以解释性以及系统行为的非线性特征，系统的安全性难以被严格的形式化验证，因此系统难以被用于那些对安全性要求较高的领域。本报告将介绍一种将验证引入训练环节的构造正确性深度强化学习技术。为了保证验证的准确性与高效性，我们在训练中即对系统进行抽象，并在抽象状态上完成训练，训练后的系统可以在抽象状态上建模成为一个有限状态的迁移系统，进而可通过已有的模型检查技术和工具验证系统的安全性。基于验证结果对抽象状态不断精化，直至系统满足所有预设的安全需求。我们设计并开发了原型工具Trainify，并应用于强化学习中六个经典的控制问题以说明方法的有效性。

简介： 张民，华东师范大学软件工程学院教授，博士生导师。主要研究方向为可信软件理论、可信人工智能和分布式系统。研究受到国家自然基金委、华为全球创新研究计划、国家留学基金委以及法国高等教育署等国家级和国际合作项目的资助，2019年入选中法“蔡元培”人才培养计划，2019-2020年入选法国尼斯大学高级访问教授计划。代表性成果发表在CAV、TCS、OOPSLA、ASE、AAAI等权威会议和期刊上。获得第26届IEEE亚太软件工程会议APSEC唯一最佳论文奖，FSE2020和RE2019会议最佳论文提名奖。中国计算机学会形式化方法专委会、系统软件专委会委员。

2.论坛嘉宾：孙猛（北京大学）

报告题目：强化学习系统的变异测试

摘要： 强化学习（RL）是近年来人工智能中的热点研究领域，在诸多方面发挥着重要作用，其安全问题也受到越来越多的关注。本次报告将介绍一种可用于RL系统安全保障的变异测试方法。我们提出了一系列变异算子，用于模拟RL系统可能遇到的错误，并展示如何使用这些算子对RL系统进行综合变异。此外，我们还提供测试环境以揭示RL系统中可能的问题，定义RL系统专用的变异分数用于分析潜在故障的程度和评估测试环境的质量。实验结果验证了这一技术的实用性。

简介： 孙猛，北京大学数学科学学院信息与计算科学系教授，博士生导师，中国计算机学会形式化方法专委会委员，中国工业与应用数学学会区块链专委会委员，曾任职于荷兰数学与计算机科学研究中心（CWI）、新加坡国立大学、联合国大学国际软件技术研究所（UNU-IIST），主要研究领域为程序理论、软件形式化方法。主持及作为主要成员参加国家及省部级项目十余项，在IEEE Transactions on Software Engineering、ICSE、ESEC/FSE、AAAI、FM等期刊及会议发表论文百余篇，获TASE 2015、SBMF 2017等多个国际会议最佳论文奖，任ICFEM 2018、TASE 2023等国际会议程序委员会主席，FM 2019、TACAS 2019等多个国际会议程序委员会委员。

论坛主席

1.论坛主席：孟国柱（中国科学院信息工程研究所）

简介： 中国科学院信息工程研究所副研究员 ，2017年博士毕业于新加坡南洋理工大学，曾获北京科技新星、ACM SIGSAC中国科技新星。主要研究领域包括人工智能安全与隐私、移动安全分析和测试，在USENIX Security、CCS、ICSE等国际会议和期刊发表论文30余篇。主持和参与了多项国家和省部级项目，如科技部重点研发、中科院重点部署项目、CCF科研基金等。

2.论坛主席：陈恺（中国科学院信息工程研究所）

简介： 陈恺，中国科学院信息工程研究所研究员，中国科学院大学教授/博士生导师，信息安全国家重点实验室副主任。主要研究领域包括系统安全、人工智能安全。在IEEE S&P、USENIX Security、ACM CCS等发表论文100余篇；曾主持国家自然科学基金（重点项目）等国家、部委课题40余项。担任S&P、USENIX Security、CCS等A类会议程序委员会成员。获得国家高层次人才计划领军人才、中国科学院青年科学家奖、CCF-IEEE CS青年科学家奖、北京市“杰出青年”基金、北京市智源青年科学家、CCF杰出演讲者、中国科学院青年创新促进会（优秀会员）等。

3.论坛主席：卜磊（南京大学）

简介： 卜磊，南京大学软件学院教授，博导。主要研究领域是软件工程与形式化方法，包括模型检验技术，实时混成系统，信息物理融合系统等方向。 2010年在南京大学获取计算机博士学位。曾在CMU、MSRA等科研机构进行访学与合作研究。相关工作发表于领域重要期刊与会议如TCAD、TC、TDSC、TCPS、TPDS、RTSS、HSCC等。入选国家级青年人才计划，NASAC青年软件创新奖，高校计算机专业优秀教师奖励计划，CCF青年科技奖等。

4.论坛主席：蒲戈光（华东师范大学）

简介： 蒲戈光，华东师范大学教授博导，上海工业控制安全创新科科技有限公司总经理。研究聚焦形式化方法与软件工程领域，在软件验证理论与算法，与工业级验证工具研发等方面做出了创新贡献。目前担任科技部重点研发计划专项“人工智能安全可信理论及验证平台”首席科学家。研究成果曾获ACM 杰出论文奖，上海市科技进步特等奖，北京市科技进步一等奖等奖项。主导研发的多种创新验证与测试算法对发现真实软件缺陷非常有效，其中研发的两款工业级软件验证工具服务了30余家企业，有效提升了企业软件开发的质量与效率，并成功支撑嫦娥五号飞行器、北斗二号卫星、上海无人驾驶17号线等重大工程的顺利实施。