专题：OpenAI开启12天狂欢

　　开头：华尔街见闻

　　OpenAI研究员演示，强化微调后的o1 mini测试通过率致使比郑再版o1高24%，比未强化微调的o1 mini普及了82%。

　　OpenAI衔接12天“王炸”的第二弹来了。不同于第一日聚焦东谈主工智能（AI）模子，第二日的王炸专注于就业企业等组织的一款新功能，天然看起来不太侧重于庸碌铺张者，但据先容它致使不错肤浅版推理模子o1 mini的遵守进步本周四发布的郑再版o1、即所谓满血o1。

　　好意思东时刻12月6日周五，OpenAI在外交媒体X公布第二日步履的主题是新功能“强化微调”（Reinforcement Fine-Tuning）。这个主题是指，企业组织将粗略通过“强化微调”微调o1 mini，知足他们的特定需求。

　　OpenAI CEO Sam Altman在X发帖称，强化微调的遵守荒谬棒，是他本年最大的惊喜之一，期待看到各人利用这种功能的创造。

　　OpenAI的研究员本周五先容，科学家、开辟东谈主员和研究东谈主员不错字据我方的数据、而不是只是使用公开可用的数据，量身定制OpenAI的雄壮推理模子o1。不同业业的东谈主不错使用强化学习来创建基于 o1 的大众模子，从而普及该规模的举座专科常识水平。开辟者、研究者和机器学习工程师将初次能诓骗强化学习，打造在耀眼他们各自专科规模的大众模子。

　　OpenAI的研究员称，强化微调并不是单单教模子模子输出，它的运作边幅是，当模子发现一个问题的时候，研究者给模子空间区仔细念念考这个问题，然后评估模子给出的最终解答，诓骗强化学习，研究者不错强化产生正确谜底的念念路，扼制产生空虚谜底的念念路，只需要“几十个例子”（a few dozen examples）、致使12个例子，模子就能以有用的新边幅学习特定规模的推理。

　　通过强化学习，用户不错用大模子在特定数据上教师其他模子。这关于触及到多数数据的复杂规模或需要大众规模常识的新研究荒谬有用。研究者例如称，最近和汤森路透互助，诓骗强化微调微调o1 mini，让充任法务助理，匡助他们的法律专科东谈主士完成大部分分析责任流。

　　OpenAI称，OpenAI的定制模子平台将支撑强化学习，强化学习亦然OpenAI里面用于教师自家前沿模子的本领，如GPT-4o和o1系列模子。在OpenAi的内测中，强化微调依然在生逝世学、安全、法律和医疗保健规模取得得胜。OpenAI权术，2025岁首让强化微调面向公众发布，目下已对企业、大学和研究院灵通肯求测试通谈。

　　伯克利大学荒原遗传病研究员 Justin Reese参与了OpenAI本周五对o1 mini模子的现场演示。演示中，研究者试图从样本数据池中获得可能导致疾病的模子 ID 基因。

　　研究员展示了一个评估表，下图可见，第一溜是本周四OpenAI发布的郑再版o1测评阐述，第二行是o1 mini的测评适度 ，第三行适度来自过程最终强化微调的o1 mini。研究员进行了三类评估，其中，top @1是测试模子给出的正确谜底出当今列表最前哨中的概率，top@5是正确谜底出当今前五列的概率，top@max是谜底出当今系数正确谜底列表的概率。

　　如图所示，郑再版o1的测试通过率为25%，o1 mini为17%，而强化微调后的o1 mini果真达到31%，进步了郑再版o1，比郑再版o1的测评适度高24%，何况比拟未强化微调前，微调后的适度普及了82.3%。

　　据OpenAI所说，用户不错概述诓骗o1、微团结数据创建定制的袖珍 o1模子 o1 mini。用户要作念的即是提供数据，然后在强化微调方面，建设一个数据集和一个“评分器”，字据教师和考证数据集评估模子的性能，其他责任交给OpenAI。

　　风险辅导及免责要求

　　市集有风险，投资需严慎。本文不组成个东谈主投资提倡，也未推敲到个别用户独特的投资主义、财务气象或需要。用户应试虑本文中的任何见地、不雅点或论断是否合适其特定气象。据此投资，累赘自夸。

累赘裁剪：陈钰嘉 开云体育