斯坦福最新Sophia优化器：比Adam快2倍的Yolov8优化方案

Sophia优化器是一种新的模型预训练优化器，它是一种轻量级二阶优化器，使用Hessian对角线的廉价随机估计作为预调节器，并通过限幅机制来控制最坏情况下的更新大小。在GPT-2等预训练语言模型上，Sophia以比Adam少了50%的步骤，且实现了相同的预训练损失。\[1\] YOLO是一种目标检测算法，而Yolov8魔术师是一篇关于Yolov8的专栏文章，提供了每一步步骤和源码，帮助读者轻松上手魔改网络。通过阅读这篇专栏文章，读者可以了解如何在Yolov8中进行网络的魔改，包括在不同位置（Backbone、head、detect、loss等）进行创新和改进。\[3\] #### 引用[.reference_title] - *1* *2* [首发Yolov8优化：Adam该换了！斯坦福最新Sophia优化器，比Adam快2倍 | 2023.5月斯坦福最新成果](https://blog.csdn.net/m0_63774211/article/details/130912702)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [《YOLOv8魔术师》专栏介绍 & CSDN独家改进创新实战&专栏目录](https://blog.csdn.net/m0_63774211/article/details/131519223)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]