飞鱼博客 
在人工智能(AI)正在改变从医疗保健到金融等行业的时代，了解这些数字大脑如何学习比以往任何时候都更加重要。现在，来自EPFL的两名研究人员Antonia Sclocchi和Matthieu Wyart已经阐明了这一过程，重点是一种被称为随机梯度下降(SGD)的流行方法。
人工智能学习过程的核心是算法:指导人工智能根据所提供的数据进行改进的规则集。SGD就是其中一种算法，就像一颗引导星，帮助人工智能在复杂的信息环境中导航，一次找到最好的解决方案。
然而，并不是所有的学习路径都是一样的。EPFL的研究发表在《美国国家科学院院刊》上，揭示了SGD的不同方法如何显著影响人工智能学习的效率和质量。具体来说，研究人员研究了改变两个关键变量如何导致截然不同的学习结果。
这两个变量分别是AI每次学习的数据样本的大小(这被称为“批处理大小”)和它的学习步骤的大小(这被称为“学习率”)。他们确定了三种不同的场景(“制度”)，每一种都有独特的特征，以不同的方式影响人工智能的学习过程。
在第一个场景中，就像在没有地图的情况下探索一个新城市一样，AI采取小而随机的步骤，使用小批量和高学习率，这使得它能够偶然发现它可能无法找到的解决方案。这种方法有利于探索广泛的可能性，但可能是混乱和不可预测的。
第二种情况是，人工智能根据第一印象采取重要的初始步骤，使用更大的批量和学习率，然后是更小的探索性步骤。这种制度可以加快学习过程，但有可能错过更谨慎的方法可能发现的更好的解决方案。
第三个场景类似于使用详细的地图直接导航到已知的目的地。在这里，AI使用大批量和较小的学习率，使其学习过程更可预测，更不容易随机探索。这种方法是有效的，但可能并不总是导致最具创造性或最佳的解决方案。
该研究提供了对训练人工智能模型所涉及的权衡的更深入的理解，并强调了根据每个应用程序的特定需求定制学习过程的重要性。例如，医疗诊断可能受益于更具探索性的方法，其中准确性至关重要，而语音识别可能倾向于更直接的学习路径，以提高速度和效率。
更多信息:Antonio Sclocchi等人，关于随机梯度下降的不同制度，美国国家科学院院刊(2024)。DOI: 10.1073 / pnas.2316301121期刊信息:美国国家科学院院刊由洛桑联邦理工学院提供引文:绘制人工智能学习的新路径:改变两个变量如何导致截然不同的结果(2024年，2月21日)检索自https://techxplore.com/news/2024-02-paths-ai-variables-vastly-outcomes.html本文受版权保护。除为私人学习或研究目的而进行的任何公平交易外，未经书面许可，不得转载任何部分。内容仅供参考之用。
