洱海新闻

张一鸣罕见现身:字节落后也不走蒸馏捷径

来源:洱海新闻 分类:科技
张一鸣罕见现身:字节落后也不走蒸馏捷径

市场传出的消息称,上个月Seed团队举行的全员大会上,字节跳动创始人张一鸣难得地表明了立场。他表示,字节不会把蒸馏当作提升AI模型能力的快速通道,即使这个决定让公司目前在国内竞争中暂时落后。

今年国内AI大模型的比赛异常激烈,几乎每隔几天就有新的模型亮相。蒸馏技术能让新模型直接学习现有高级模型的推理过程,因而能节省大量时间和成本。

但张一鸣坚持,为了更长远的发展,字节愿意牺牲一些眼前的利益。

有字节员工透露,Seed团队内部对于是否应转向蒸馏的讨论由来已久。每当国内出现新的开源模型时,这场讨论总是变得更加激烈。目前大多数AI公司更专注于开源模型,只有字节跳动是国内主要AI企业中几乎全部大语言模型都是专有模型的代表。

据了解,字节跳动内部严禁蒸馏开源模型,并且通过API检测等方法加强内部限制。张一鸣认为,蒸馏会阻碍真正意义上的长期技术进步。

分析人士认为,张一鸣的这种表态,是在字节Seed内部定下基调,为团队技术方向指明了更清晰的道路。

此前今日资本创始人徐新在一次播客节目中说过,目前张一鸣一半的时间都放在Seed上面。

相关推荐