近年来,机器学习已经广泛地应用于图像识别、游戏、自然语言以及物理系统的研究 [1-3]。尽管机器学习取得了巨大成功,但人们对其背后的机制了解依然有限,这给机器学习的进一步发展带来了挑战。
相变与临界现象是统计物理及凝聚态物理和复杂系统研究中的一个重要方向。普适类是临界现象(连续相变)的重要概念,属于同一普适类的不同临界现象具有相同的临界行为。最近,北京师范大学系统科学学院陈晓松教授团队将机器学习应用于不同普适类的临界现象,将临界现象机器学习的神经网络与普适类联系起来。作者利用机器学习研究了不同二维格点网络的渗流相变。通过调节长程连接概率的控制参数 σ,可以获得不同普适类下的渗流相变 [4]。研究结果表明,对于属于同一普适类的不同网络的渗流相变,可采用相同的神经网络进行机器学习。而对于属于不同普适类的不同渗流相变,则必须采用不同的神经网络。基于这些结果,作者们提出了临界现象机器学习的普适类。
图1. 不同节点连接概率的二维格点网络,连接概率对距离的依赖为:。(a),随机网络 (b), 格点网络 (c)。
进一步,作者们还打开了机器学习的“黑匣子”,直接研究了不同普适类的神经网络,发现神经网络的结构特征与临界所涌现相的特征相对应。这将有助于我们理解机器学习背后的机制及推动机器学习的进一步发展。
该论文以 “universality class of machine learning for critical phenomena”为题于2023年10月17日正式发表在 science china physics, mechanics & astronomy。北京师范大学系统科学学院的博士后胡高科为论文的第一作者,陈晓松教授为论文的通讯作者。该论文的研究得到了国家自然基金重点项目“复杂系统相变临界现象”(项目编号: 12135003)的支持。
论文信息:
gaoke hu, yu sun, teng liu, yongwen zhang, maoxin liu, jingfang fan, wei chen, and xiaosong chen, universality class of machine learning for critical phenomena, science china physics, mechanics & astronomy, 66, 120511 (2023)
文章链接:
参考文献:
[1] i. goodfellow,y. bengio, and a. courville, deep learning (mit press, 2016), http://www.deeplearningbook.org.
[2] m. i. jordan, and t. m. mitchell, machine learning: trends, perspectives, and prospects, science 349, 255-260 (2015).
[3] y. lecun, y. bengio, and g. hinton, deep learning, nature 521, 436-444 (2015).
[4] z. q. yang, m. x. liu, and x. s. chen, criticality of networks with long-range connections, science china physics, mechanics & astronomy 60, 020521 (2017).
供稿:胡高科
编辑:郝林青
审核:王大辉