大神karpathy已经不满足于用c语言造llama了！

他给自己的最新挑战：复现OpenAI经典成果，从基础版GPT-2开始。

挑战成功本身并不意外，但是只花费20美元、90分钟完成训练，Loss和评测还超越原版，就！有！点！过！分！了！。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

不仅如此，他把复现过程写成了完整教程，果不其然再次火爆。

由于Karpathy自己租用的是A100云服务，训练124M版本花费20了美元。

不过有人按照教程用H100跑了一把，不仅训练时间更短，还更省钱了：43分钟完成，只花14美元。

另外Karpathy还自掏腰包200美元，为大家复现了350M版本的GPT-2。

但1.5B大杯版，照计算要花1周时间和2500美元，有点玩不起了，主要他手里也没有H100。

还好各路卡壕非常仗义，该出手时就出手：

有需要随时给你用！

只收你2美元一小时！

90分钟复现GPT-2

这次Karpathy复现GPT-2，还是基于他的llama.c代码库，端到端完成训练。

代码库这些日子被他不断完善，现在启动训练非常简单：

具体来说，网络结构是GPT-2，但许多超参数设置遵循了GPT-3的那一套。

Karpathy分析，按照Chinchilla定律的标准，GPT-2在100B tokens上训练应该属于过度训练了，后面收益递减，124M模型按计算2.5Btokens就够。

不过他自己训练了10B tokens，训练数据也用刚刚发布不久FineWeb，比起OpenAI原版WebText数据集token质量更高。

原版WebText从未公开，无法在控制变量在相同条件下实验，另外今天的互联网数据分布，也可能与5年前大不相同了。

据推测，评测分数比原版更高的原因可能就在这些差别了。

易标AI

告别低效手工，迎接AI标书新时代！3分钟智能生成，行业唯一具备查重功能，自动避雷废标项

135 查看详情

另外有网友注意到，训练时的GPU利用效率也比OpenAI的工作高，不过Karpathy表示主要是由于用了单个云服务节点，不需要考虑服务器间通信问题。

最后，对于已训练完的350M版本GPT-2，同样取得了超越原版的成绩。

掌声响起来～

大神也不是那么卷

自今年二月份再次从OpenAI辞职之后，Karpathy已经用C语言搞出不少大模型成果，从Llama到GPT玩了一遍。

观察他的GitHub热力图，只有刚开始休息了一段时间，进入4月以后就越来越卷了。

这是辞职在家还要997的节奏？

其实Karpathy这段时间也旅游过，也分享过在打的游戏，并没那么卷。

根据他晒出的一周时间表：在职时975，离职后工作4-20小时不等，看心情。

• 周一工作4小时，
• 周二工作14小时到晚上11点
• 周三失眠了，4点爬起来写代码，到中午崩溃
• 周四干了20小时
• 周五休息
• 周六12小时
• 周日4小时
• 然后出去旅游两周。

大家看到这里也比较好奇，是规律的安排感觉更好，还是随心所欲能有奇效呢？

Karpathy自己也不确定，不过混乱的日程安排肯定更有趣。

最后他还分享了一条自由职业心得：

起床后直接开始工作，不看任何消息，吃完午饭再上网，避免外界信息分散注意力。

有条件的朋友可以试试了。

教程：https://github.com/karpathy/llm.c/discussions/481。

参考链接：
[1]https://x.com/karpathy/status/1795484547267834137。
[2]https://www.threads.net/@karpathy。

以上就是Karpathy新教程爆火，网友抢着送他H100：从头复现GPT-2训练的详细内容，更多请关注其它相关文章！

# karpathy  # gpt-2  # git  # c语言  # llama  # 抢着  # 人工智能  # seo删除引擎搜索  # 网络推广是seo手下  # 网站外部链接优化工具  # 网站优化影响什么  # 个人的网络营销推广  # 教育网站优化维护  # 荔湾区网站建设客服电话  # 抖音seo营销费用  # php自适应建设网站  # 日本营销与品牌推广公司  # 这是  # 的是  # 结构化  # 自己的  # 开源  # 大杯  # 更高  # 大神  # 送他 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： 折叠屏手机为什么凉凉  统计学中power值是什么意思  为什么要用typescript6  33000日元等于多少人民币  cmd如何定时执行命令  固态硬盘如何安装win10系统安装  空调主板单片机怎么拆开  ping命令如何看问题  如何注释typescript  什么是typescript  冰柜power是什么意思这个黄灯怎么不亮  dos命令如何复制目录结构  苹果16充电方式有哪些  固态硬盘如何4k对其  夸克po什么意思  折叠屏手机选择哪个好  j*a怎么让数组倒换  j*a整形怎么转数组  命令行如何运行j*a  j*a数组怎么比较abc  焊机上power指示灯亮是什么意思  市盈率底下 18A 19E 是什么意思  为什么学typescript  基金市盈率是什么意思  J*a数组静态怎么打  路由器上面的power红灯是什么意思  为什么夸克下载不到  划水是什么意思  如何用dos命令启动u盘  苹果16有哪些黑科技  meet是什么意思  春运抢票可以抢几次啊  linux如何合并分区命令  路由器power闪红绿灯闪是什么意思  怎么关360壁纸广告  干股是什么意思  春运抢票最快几天能成功  苹果16系统网站有哪些  如何打开win10命令  如何进入 dos 命令行  如何查看硬盘是固态硬盘  linux命令行如何使用中文输入法  苹果16都有哪些型号  苹果16promax有哪些颜色  固态硬盘如何接主机  记录仪power灯亮是什么意思  typescript怎么写call方法  苹果16会升级哪些  夸克是什么空间单位  夸克投屏为什么那么卡