谷歌大脑科学家Yi Tay：639天创业血泪史
谷歌大脑科学家Yi Tay：639天创业血泪史
从谷歌大脑高级研究科学家到创业公司联合创始人，再回到谷歌DeepMind，Yi Tay的639天创业历程充满了挑战与成长。
重返谷歌：新的开始
创业一年半后，前谷歌大脑高级研究科学家、Reka首席科学家兼联合创始人Yi Tay宣布已重返谷歌！他回到了谷歌DeepMind，回到了他的前经理Quoc Le手下工作，职位为高级资深研究科学家，继续从事人工智能和大语言模型（LLM）的研究。
创业之路：639天的挑战与成长
在Reka的时光里，Yi Tay学到了很多关于谷歌外部基础设施的知识，包括使用PyTorch、GPU等外部资源。此外，他还学会了如何应对不稳定的GPU、供应商和计算资源（相关博客文章见下）。博客地址：https://www.yitay.net/blog/training-great-llms-entirely-from-ground-zero-in-the-wilderness
他和Reka的创始团队成员一起，以成本最优的方式构建了一些出色的模型。今年5月，Reka Core的表现跻身Lmsys的前五名，模型本身排名第七，并成功超越了GPT-4的早期版本。在资源（资金、算力和人力）远少于其他实验室的情况下，他们取得了这一成绩，Yi Tay为此感到十分骄傲。要知道，他们的技术团队总共不到15人。
在这段日子里，Yi Tay也参与了许多技术分享。包括在WebConf的LLM日做主题演讲、越南的GenAI峰会、swyx的Latent Space播客节目，以及受TechInAsia邀请进行的一场炉边谈话。
与此同时，作为创业者，他学到了许多关于创业、商业和从零开始建立公司的知识。对他来说，这是一段极为紧张的时期。就在他离开谷歌开始创业时，得知妻子怀上了他们的第一个孩子。为了同时处理这么多事情，他的身心健康受到了严重影响，由于高强度的工作和不健康的生活方式，他的体重增加了15公斤。
今年3月，Yi Tay还写了一篇长帖，回顾了创业一年并兼任「奶爸」的艰难过程，并分享了全天24小时的日程。
创业者的日常：24小时的忙碌
[下午3:00] 正式起床。
[下午3:30] 摇摇晃晃走到书桌前，检查睡前跑的任务。没有收到任务挂掉的消息提示（Clustermon安静无事），谢天谢地！和妻子、宝宝说声「早安」。喝杯咖啡提神。
[下午4:00] 和另一家公司开线上会议，他们有意与我们合作。
[下午4:30] 边写代码边吃家人帮我买的外卖午餐。欧洲的同事开始上线。
[下午4:30] 给宝宝洗澡。
[下午5:00] 回到书桌继续写代码，再来一杯咖啡。
[下午6:00] 和几位同事临时线上讨论技术问题。
[下午7:00] 查看妻子和宝宝是否一切安好。妻子给宝宝换尿布，我帮忙准备她的晚餐。
[晚上8:00] 再次检查任务，继续写代码。感受Cuda和GPU的痛苦。两个任务挂掉了。真是绝了！
[晚上9:00] 躺在床上休息片刻，刷X。用匿名小号@agihippo发个辛辣观点。
[晚上9:30] 有点疲惫地继续写代码，同时在Reka的Slack随机频道发几条搞笑消息。
[晚上10:00] 吃家里的晚饭。虽然有点凉，但无所谓了。
[晚上10:30] 团队全员同步会议，跨时区的大家都上线了！
[晚上11:30] 妻子睡觉，我接管哄娃任务。
[午夜12:00] 喂宝宝，让她重新入睡（希望她这次能睡久一点！）
[凌晨1:00] 和@DaniYogatama聊天一个小时。
[凌晨2:00] 检查任务，继续写代码和调试。不能再喝咖啡了:( 亚洲同事们大多下线了，只剩下我和美国的同事在Slack上聊天。
[凌晨3:00] 有点饿了，点了一份照烧鸡肉饭外卖。
[凌晨3:30] 喂宝宝！她开始闹腾，不肯入睡。我抱着她走了半小时。
[凌晨4:30] 终于回到书桌前。外卖到了，开吃！边吃边用Reka Flash和Reka Core做一些测试。又一次感受到「为人父母」的奇妙体验。
[凌晨5:00] 感到疲惫和被Bug折磨的挫败感。跑去另一间房，看看宝宝睡得是否安稳。
[凌晨6:00] 回到Slack回复消息，检查任务。又有一个任务挂了，重启任务。
[早晨7:00] 刷X和TikTok，思考要不要睡觉。反思人生。再发一条@agihippo的辛辣观点。
[早晨7:30] 天开始亮了，我在家里随便走走，向已经醒着的家人道「早安」。
[早晨8:00] 上床睡觉。今天的班结束了。妻子起床接着带宝宝。把宝宝交到她的手中，感到心安。
[早晨8:30] 手机忘了静音，被消息吵醒，深感疲惫，想到还有不到4小时就得起来参加下午1点的线下工作会议，倍感压力。
[早晨9:00] 好了，这次是真的睡觉了（希望能睡着）。
星创联创纷纷卖身大厂
Reka成立于2022年，团队由谷歌和Meta的研究人员组成。截至2023年6月，该公司已成功筹集5750万美元，估值达到3亿美元。然而，今年几乎没有什么重大进展——唯一值得注意的是，今年5月，Reka与Snowflake的10亿美元收购谈判破裂，交易最终流产。
今年，前谷歌员工创办的初创企业几乎都在面临一个艰难的「寒冬」时刻。许多创始人纷纷跳船。
3月，Inflection的CEO Mustafa Suleyman离开公司，转投微软；
6月，Adept的CEO David Luan跳槽到了亚马逊；
8月，Character.AI的CEO Naom Shazeer携总裁Daniel De Freitas集体跑路，重返老东家谷歌；
可见，这一年大家都不好过。
或许你也会忍不住问，初创们的生存为何如此艰难？毕竟，这些出走谷歌的大佬们，基本上在创业前一直都在埋头搞研究。谷歌部门更像是「学术研究机构」，并非迫切需要产生现金流，专注研究是核心。而商业化策略，是决策者的事。一旦出门创业，两种环境所需的技能截然不同。对于学术界的研究者来说，擅长研究，往往并不意味着擅长管理/经营一家公司。其次，人员也是一大难题。即使最好的初创公司，往往也面临内部混乱，创始人出现分歧的事并不罕见。再加上，「学者出身」的创始人，可能并不适应企业的管理结构，增加了冲突的可能性。此外，AI开发的高昂成本，以及现有公司激烈竞争，这些因素使得这些初创公司，从一开始就面临艰难的处境。而且，即使是最优秀的AI初创，如果没有像谷歌、亚马逊、微软等大公司提供财务支持和云服务，也难以独立生存。
参考资料：
https://www.yitay.net/blog/returning-to-google-deepmind
本文原文来自澎湃新闻