1-机器学习基础及工具 2-深度学习第一性原理、熵测量及行为分析

发布时间:2021-05-08浏览次数:60

时间:512日,星期三,下午 400 - 600

地点:数学学院 B327

报告题目:机器学习基础及工具(刘丁)

深度学习第一性原理、熵测量及行为分析(周寅张浩) 

机器学习基础及工具

刘丁(计算机科学与技术系)

摘要: 当前机器学习技术已经深入渗透至包括数学、物理、生物、材料等等领域的研究中,引起了各个领域研究者们的广泛关注。本报告将简要介绍机器学习的基本概念、模型、方法和工具,希望能够为各位老师、同学开展机器学习研究、拓展相关科研合作提供一些有益的帮助。 

深度学习第一性原理、熵测量及行为分析

周寅张浩(计算机科学与技术系)

摘要:用信息论刻画神经网络行为是一种理解神经网络的重要途径。在对神经网络进行信息学分析时,不可避免地会碰到信息熵的测量。但当前网络使用的数据往往维度高,数据量大,带来的种种性质让当前熵的度量结果并不可靠。因此,许多工作对网络的分析结果往往因人而异,无法得到有效的结论。本报告主要介绍信息论视角下的深度学习理论(信息瓶颈,MCR2第一性原理),和近期我们提出的深度学习中的信息熵测量方法LogDet,和用其分析神经网络的发现。受“MCR2第一性原理工作的启发,我们发现该测量方法可以拓展多种应用,例如构造优化目标,自动编码器等等,报告将同时介绍未来可能的方向。 

报告人简介

刘丁,天津工业大学计算机科学与技术系讲师,2014年博士毕业于清华大学,2016年至2017年为西班牙光子科学研究所(ICFO)量子信息理论组公派博士后。目前主要研究方向为量子机器学习、机器学习。在New Journal of PhysicsPhysical Review BPattern Recognition LettersNeural Processing LettersACL等学术期刊和会议发表论文十余篇。担任学术期刊Neural ComputationMachine Learning Science and Technology、学术会议NeurIPS 2020 workshop on quantum tensor networks in machine learning审稿人、天津市人工智能学会理事。 

周寅张皓,天津工业大学计算机科学与技术系2017级人工智能实验班本科生。近期在刘丁老师的指导下进行深度学习理论分析方面的工作,希望和大家分享交流工作的进展。