“硅谷NEC Lab的群星闪耀，是中国互联网企业迈入AI时代的序曲。”
2012 年春节前夕，李彦宏特地抽出时间，在北京接见了一位从硅谷飞来、在国内名不见经传的技术青年。这人三十来岁，戴着黑框眼镜，圆脸，个子不高，但口中所言句句都让李彦宏兴奋不已。 这个人，就是时任硅谷NEC Lab主任的余凯，一位深度学习早期的少数派和虔诚信徒。 眼下，他有种强烈的感受，人工智能将很快在产业中爆发其技术潜力，而国内如火如荼的互联网正是一片沃土，这是回国的好时机。 李彦宏就在这时找到了余凯。谷歌全面退出中国内地市场后，百度正是春风得意。对技术敏感的李彦宏紧跟国内外顶尖科技团队动态，很快察觉到人工智能会为百度带来新的机会，开始四处寻找人才。 两人见面，余凯布道深度学习，李彦宏则大谈自己对语音识别和图像识别的兴趣。双方内心都有一种相见恨晚的激动与澎湃。 也就是在这一天，余凯与李彦宏为百度和中国 AI 做了一次历史性的相互选择：李彦宏抛出橄榄枝，邀请余凯回国。在大时代洪流的驱使下，余凯毅然结束了硅谷六年生涯，回国加入百度，成立多媒体部，开始研究语音识别和图像识别。 此前，百度在 AI 方面的研究积累几乎为零，余凯加入后，百度才率先注入深度学习的基因。余凯在短短几个月里，为李彦宏兜售了深度学习的潜力。李彦宏一次次受到震撼，甚至给全公司的产品经理发信，要求他们必须重视「深度学习」这门技术。深度学习的另一代名词「神经网络」也开始在国内传开，百度首先养活了国内最早一批做数据标注的公司。 不过，真正让李彦宏下定决心「重仓」深度学习的，是 2012 年 12 月余凯代表百度参加的一场竞拍失利。 Geoffrey Hinton 团队研发出的神经网络 AlexNet 在全球顶级图像识别大赛 ImageNet 上一举夺冠，在世界范围内引起轰动，余凯作为曾经的冠军深受感触，也更知道 AlexNet 所代表的 AI 技术范式的颠覆性。于是，他立即给 Hinton 发去一封邮件，表达想要合作的迫切期待。 这封邮件启发了 Hinton 在当年 NIPS 大会上发起一场秘密竞拍，吸引了全球四家也是如今在 AI 领域大名鼎鼎的领头羊：谷歌、微软、百度与 DeepMind。百度出价到数千万美元，最终惜败谷歌。但借余凯的眼，李彦宏目睹了美国的有力对手追求深度学习的疯狂，感受到了危机。 次年 1 月，李彦宏即筹备成立了全球第一家以「深度学习」命名的 AI 实验室——百度深度学习研究院（IDL）。李彦宏亲任院长，余凯担任常务副院长。
01
各路贤才齐聚「硅谷心脏」
009 年 10 月，国际视觉挑战赛 Pascal VOC 的结果在日本京都的 ICCV 大会上揭晓，一个来自 UIUC 与 NEC 的合作团队摘得分类赛道冠军，图像识别精度甩开第二名 5%。硅谷NEC Lab开始声名远扬。 Pascal VOC 在当时被誉为计算机视觉界的「世界杯」。时任 NEC 主任的龚怡宏聚集了实验室里几个最擅长图像研究的青年人才，如余凯、徐伟、王进军、吕凤军，与 UIUC 「华人视觉之父」黄煦涛的学生杨建朝和周曦一起，投入五个月，研发出一个新的稀疏编码模型来做图像识别，没想一举世界杯夺冠。 龚怡宏有些意外。那一年，正好是他加入 NEC 硅谷的十周年。 十年前，1999年，硅谷 NEC 一个华人科学家也没有，他是第一个加入 NEC 的华人。十年后，NEC 已经聚集一批优秀的青年 AI 研究者。尽管人工智能在当时仍是不温不火，但在他们的带领下，NEC 美国研究院逐渐成为了国际机器学习重镇之一。
上世纪 80 年代末是日本经济的最高峰时，日本电气股份有限公司（NEC）在美国设立研究院，分为普林斯顿总部和硅谷分部。
龚怡宏是中国最早一批日本公派留学生，在 1983 年赴东京大学留学，一路念完本硕博。毕业后，他曾先后短暂在新加坡南洋理工大学和美国卡内基梅隆大学（CMU）任教过，但都只干了短暂几年，最终偶然的机会来到硅谷NEC Lab媒体分析部，事业开始稳步腾飞。
林元庆来到 NEC 是在 2008 年，由余凯和朱胜火介绍。他们三人第一次见面是 2007 年的 12 月温哥华举办的 NIPS 会议上。
当时是林元庆在宾夕法尼亚大学读博最后一年，他的论文被 NIPS 接收为 Oral（口头报告）。先前他在清华读光学工程硕士，博士则专攻机器学习。 林元庆作报告时，余凯和朱胜火注意到了他。两人都认为他的研究水准很高，而且做的是与实验室很相关的稀疏学习（Sparse Learning）方向。他们就与林元庆聊了一番研究，听林元庆说正找工作，两人马上告诉他，NEC 还要招人。林元庆没有悬念地表示出了兴趣，次年毕业后就正式入职。 这一时期，硅谷NEC Lab群贤毕至。他们大都从国内名校毕业，再到海外留学，然后聚在硅谷。这当中有不少清华子弟，除了上面提到的徐伟、朱胜火、林元庆等，还有 07 和 08 年进来的吕凤军与杨铭，两人都是清华本硕毕业，吕凤军是个编程大神，本科就出版过一本书叫《数字图像编程处理入门》，杨铭则十分擅长计算机视觉。 在许多人的讲述中，NEC 是他们待过的研究自由度最大的地方，匠心如云。研究人员业务交付压力小，比如模型做出来后，业务还会谨慎复现一遍，原始代码不一定能用上，所以大家会开玩笑，「反正做的东西也用不到产品中」。NEC 的经费来源结构也很特殊，公司直接提供 70%，仅 30% 需要从 BU 获取，这就让他们更能专注做研究。 在这种研究环境下，他们很快就取得了杰出的研究成果，尤其是深度学习。尽管后来深度学习爆发地不在 NEC，但 NEC 是世界上最早研究卷积神经网络（CNN）的实验室之一。 90 年代的中美两地，分别有一个人坚持坐着神经网络的冷板凳——徐伟在清华大学将神经网络用在语言模型中，Yann LeCun 则在贝尔实验室研究 ATM 的支票识别。 后来 LeCun 的团队解散，去了 NEC 普林斯顿总部，徐伟则是硅谷分部做深度学习的代表。徐伟动手能力极强，自己写了实验室的第一个卷积神经网络。后来 Caffe、PyTorch 等模型参数配置化的搞法，在徐伟当年实现的 CNN 当中都已经有了。 余凯到来后，也成了实验室做深度学习的主力。他很感激地认为，结识徐伟是他进NEC「最大的一个收获」，是徐伟领他进入了深度学习领域。
02
余凯创造黄金时代
在龚怡宏走后，NEC 找到在团队里颇有号召力的余凯，问他如果找个人来当实验室的头儿，谁比较合适？ 余凯脱口而出「徐伟」。他当时也很焦灼，觉得公司不一定能撑得下去，就去外面找工作，拿了雅虎的offer。 公司又去问徐伟的意见，徐伟则未经犹豫地答「余凯」。可见两人对彼此有足够的信任，也都想在离开前为团队选一个好的带头人。 余凯领导力强，经常在家里组织聚会，大家甚至怀疑每周末全硅谷的华人科学家都聚在了他家。大家对带团队没太大兴趣，更愿意埋头做研究，杂事有人愿意去做就最好了。后来余凯对此「无奈」笑道，「这帮家伙鬼精鬼精的。」 不过，徐伟先余凯一步离开去了 Facebook。他离职前，余凯把大家聚到一起拍了一段视频，视频里大家做着滑稽的表演，说着告别的话。他们彼此感情很好，中午一起开车出去吃饭，买单后还会拿剩下的零钱去买个彩票，幻想中了大奖下周就不用来上班了。周末约出去玩，他们聊天话题从一开始的天南海北到后来的家庭和育儿，对彼此了解很深。所以分别时刻，不无感伤。 回过头看，2009 年这一波人才出走，更多是因为外部经济因素，而不是 AI 迎来了风口。但在深度学习爆发之前，留守在这幢小楼里的这群人，依然造就了 NEC 最后的辉煌，也为 2012 年之后在中国工业界掀起 AI 热潮做好了「无意」的准备。 其中，余凯就是那个带领 NEC 走出「寒冬」的转折点。 2009 年的年末，余凯还是决定留下来，他觉得自己有责任把 NEC 的力量重新凝聚起来。他设下两个目标，「向业界证明我们能够吸引最顶级的人才，做出世界上最优秀的成果」。 接管实验室第一天，余凯就提出，大家以后在办公室不要再讲中文了，要更开放地广招人才。这一发话，大家就都从善如流。实验室这些年招的大都是华人，总部还为此抱怨多样性不够，要求他们招人要多元化。但没办法，那些白人、印度人往往都过不了面试。NEC 的面试也向来严格，实验室人少，宁缺毋滥。 这次余凯亲自面试，招进来两个大神。一位是黄畅，清华本硕博毕业。他本科时就对图像识别很有热情，但直到博士毕业时，他还没想清楚图像识别如何在工业界大规模应用，就先去了南加州大学做博士后。直到 10 年，黄畅重燃对工业界的兴趣，经朋友引荐找到了余凯。在余凯眼里，黄畅「也跟徐伟一样，是个天才」，在人脸识别领域的研究是世界一流。 另一位是印度人 Manmohan Chandraker，包揽多个最佳论文奖，余凯评价他是「3D 视觉做得最好的一个」。后来他接了林元庆的班，如今也还在 NEC 领导计算机视觉部门。 余凯作为大家长，为实验室创造了很好的研究条件。他揽下大部分杂活，经常出差、跑项目，把实验室与总部的关系维系得相当好，经费很充裕。余凯还与学界和业界建立了广泛合作，对外交流很活跃，比如与吴恩达等学界研究者合作论文，受邀去斯坦福大学授课。 余凯与吴恩达的相识，是在 2009 年 6 月的加拿大蒙特利尔。为了复兴神经网络研究，余凯与后来的深度学习三巨头 Yann LeCun、Geoffrey Hinton 和 Yoshua Bengio，在国际机器学习大会 ICML 上组织了一场深度学习研讨会，并邀请了时任斯坦福大学教授的吴恩达做报告。 那一次，余凯就记住了吴恩达这个与他同龄、说话温文尔雅的高个子，之后两人保持着很好的交情。 有趣的是，同样在 2009 年，冬天，余凯从温哥华前往惠斯勒 NIPS 分会场，与几位研究者拼了一辆越野车上山。当时驾车的人是另一位中国深度学习引领者邓力。彼时邓力正在微软用神经网络发起语音识别革命，余凯则还不知道，不久后他也将在中国掀起一场深度学习产业变革的风暴。 风暴前夕，便是硅谷NEC Lab最后的黄金时代。 2010 年，余凯与黄煦涛再次合作，把林元庆、朱胜火、杨铭、吕凤军等人，UIUC 的实习生曹亮亮、周曦，以及罗格斯大学的教授张潼集中到一起，拿下了首届 ImageNet 挑战赛冠军。 后来余凯自评，他进入工业界之后的第一件漂亮事儿，就是打赢了这场比赛，「可以说，在 2012 年 AlexNet 之前，我们用非监督的卷积深度学习算法做图像识别，是被广泛证明的最好算法。」 实验室声誉高涨，大家此前的悲观情绪一扫而空，NEC 也继续吸引着优秀青年进来实习。 2011 年，余凯收到一封来自伯克利 Trevor Darrell 教授的邮件，说他有个特别聪明的学生想做深度学习，但伯克利没有项目可做，想推荐到 NEC 实习。 这个学生就是贾扬清。余凯觉得贾扬清资质很高，就立即找了黄畅一起来指导他。贾扬清正是从这里开始接触的深度学习，那段时间他所显示出的强大数学功底和工程代码能力，让所有人都毫不怀疑，这个年轻人不久就将在深度学习领域拿出惊人的东西来。
03
林元庆紧追深度学习浪潮
相比当了时代「炮灰」的龚怡宏，余凯的出走更为幸运。2012 年，他在最好的时机回国，为百度带去了 NEC 的人才。 离开之前，余凯强烈推荐了林元庆做实验室主任。林元庆有很强的闭环感，做事从一而终，余凯非常欣赏他这一点。
04
那些从 UIUC 来的人
龚怡宏、余凯、林元庆，这三位带头人将硅谷NEC Lab建设成了最强的人工智能实验室之一。这里因此逐渐成了华人尤其是青年学生实习必去的一个地方。 那时，美国各个名校都有博士来 NEC 实习，比如前面提到的贾扬清、谢赛宁等，不过这当中为 NEC 输送了最多青年人才的，还是 UIUC 的黄煦涛。 2006 年，龚怡宏去黄煦涛组里访问，双方建立了稳定的合作。NEC 为黄煦涛提供研究经费，后者则每年派出组里 1 到 2 名优秀学生去实习。高校研究资金有限，学生在学校大多「过得苦哈哈」，而 NEC 的待遇和环境特别好，所以他们很愿意来。每年暑假，他们到 NEC 开展研究，到了 9、10 月份开始撰写论文，11 月向 CVPR 会议投稿，第二年中了稿到 3、4 月份去参加会议，就是这样一个流程。 UIUC 的计算机学科非常强，是美国唯一能与「四大」并列的高校。作为计算机视觉泰斗黄煦涛的弟子，他的学生也都是天之骄子。宁华中、杨建朝、周曦、曹亮亮等人，都先后到 NEC 实习过，而且还都是中国科技大学校友。 宁华中是中科大 96 级少年班毕业，硕士继续在中科大师从谭铁牛院士。他去 NEC 实习次数最多，连续去了三年。大家因此开玩笑说，宁华中这是卖给 NEC 了。杨建朝形容，那时候宁华中去实习，相当于组里跟 NEC 的一个结合部。
2009 年，与杨建朝一起作为 Pascal VOC 比赛主力的还有周曦。周曦是中科大 9923 班毕业，硕士也在中科大做模式识别研究。2006 年到 UIUC，从语音转向图像，拿过六次世界智能识别大赛冠军。后来有次跟颜水成合作，周曦仅花了不到三天，就把颜水成先前耗了一个月的项目算法给实现了，让颜水成感叹不已。
另外还有曹亮亮，中科大 9806 班毕业，硕士去了香港中文大学汤晓鸥的多媒体实验室，2010 年来 NEC 实习。许多人的印象是，他不光聪明，还是「这批人里面的大帅哥」。
05
归来，开拓中国 AI 疆土
说回到余凯与百度的故事。 IDL 成立后，余凯开始为百度寻找全世界的顶级人才。他先为李彦宏介绍了他昔日在 NEC 的老友。 有天中午，余凯在饭桌上跟李彦宏讲，要搞深度学习，就一定要招世界上最好的人才。李彦宏问招谁，余凯跟四年前那次一样，毫不犹豫地说出了徐伟的名字。 李彦宏接着问如何才能把徐伟吸引过来，余凯就半开玩笑地信口说了一句，「你得请他吃饭才行。」 没想到李彦宏马上就安排了这顿饭。余凯便把徐伟从美国「忽悠」回北京，把他带到百度的招待室，随后李彦宏进来。 说起李彦宏给徐伟的入职待遇，余凯十分羡慕。李彦宏邀他来百度的时候都没有请吃饭，后面徐伟入职时，李彦宏更是发了全体员工信，称徐伟的加入将推动百度的技术研发为全人类进步做出贡献。足见李彦宏对徐伟的重视。 徐伟加入百度后与余凯讨论工作，一致认为要做一个深度学习平台。为了快速推动项目，余凯专门申请了一个会议室，贴上门牌「Paddle 封闭作战室」，并立即拉来四个人跟徐伟一起做。他们从早干到晚，很快做出了 PaddlePaddle 的第一个版本，在 IDL 和其他部门都用了起来。徐伟因此成为百度飞桨的创始者和奠基人。 在余凯的影响下，当时正在百度美国研发中心的黄畅也回了国，负责百度架构方面的工作，还与余凯一起为百度搭建了图像识别这一技术路线。张潼紧接着也离开学术界，加入 IDL，后来以研究院副院长的身份组建了百度大数据实验室。 2014 年，李彦宏启动百度「少帅计划」，余凯亲自招募了李沐、李磊、顾嘉唯三位少帅。 李沐是在余凯的带领下开始做深度学习的。当时余凯破例创造条件，让李沐在 CMU 读博的同时加入「少帅计划」，指导他做深度学习。 后来李沐与陈天奇等人开发 MXNet 框架，也在余凯那里有一个源头。余凯曾主张开源 PaddlePaddle，但遭百度内部集体否决，觉得很可惜，认为开源框架即使不在百度做，也要有其他人在别处去做。于是余凯在某个周末把李沐约到清华科技园的咖啡馆，跟他说开源深度学习平台很值得尝试。李沐深以为然，回到 CMU 后就开始了行动。 前不久，李沐与其导师 Alex Smola 离职创业，据称要做当下最热门的大模型。其实李沐在百度时就曾与余凯讨论过大模型，当时余凯认为，把百度的语音、图像、视频等项目结合起来，可以训练出一个大模型，类似今天的 ChatGPT。只可惜没有真正去做，一是资源投入太大，二是李沐优先去做开源平台了。 （预告：深度学习崛起之时，贾扬清、李沐、陈天奇等一批先行者以及以百度为代表的国内公司率先进入深度学习框架研究，雷峰网后续将另撰文《AI 框架的中国先行者们》，请持续关注，欢迎添加微信 Fiona190913 交流。） 李磊是现任加州大学圣巴巴拉分校助理教授，当初他也是在余凯的极力建议下加入 IDL 做深度学习。两年后，李磊有天打电话给余凯，说他想去百度新闻做推荐系统。接到电话的余凯正在外面为地平线忙着跑融资，他马上停站到路边，花了两个小时劝说李磊，应该去一个推荐业务更受重视的公司，哪怕是一家小公司。 这通电话结束后，余凯马上就亲自把李磊推荐给了张一鸣本人，最后李磊出任今日头条科学家兼头条实验室总监。后来余凯总跟人感慨，「你看我把李磊劝过去，这个决策很对吧？」当时张一鸣求贤若渴，满世界找机器学习人才，还曾公开说谁能给他推荐机器学习顶尖人才，就送谁一辆汽车。尽管余凯迄今为止也没有见过汽车的影子，但这个伯乐他当得是十分开心。 第三位少帅是顾嘉唯。余凯当初找到他时，更是花了大半年才说服他从 MSRA 离开，加入 IDL。他主要负责人机交互方面的架构研发，领导过百度智能眼镜、智能自行车等项目。 在招募少帅的同时，余凯还在 IDL 组建了中国第一个自动驾驶军团。他招的第一批人，包括倪凯、杨文利、张天雷等，如今都是自动驾驶领域的明星人物。 后来自动驾驶单独成立事业部，王劲（现中智行创始人）任总经理，背后也有余凯的助推。当时王劲因其部门被并到大搜索而心灰意冷，想要走人，即将离职的余凯看在眼里也很同情，随口跟他说了句，「要不然你把自动驾驶接过去」。过后李彦宏也确实将自动驾驶交付给了王劲。 在 2014 年，百度的大事件中还包括余凯引进吴恩达。 那段时间，余凯为网罗人才常往返于湾区，百度也在库比蒂诺设立了前哨实验室、吸引北美人才。这年 2 月，余凯去美出差，就住在了离这个实验室不远的帕洛阿尔托喜来登酒店。 那天，吴恩达也正巧在这家酒店。两人有两年没见，就在酒店游泳池边上聊各自最近的进展，许久之后意犹未尽，便约了晚上餐厅再叙。吴恩达说到自己离开谷歌大脑后做的在线教育 Coursera，余凯隐约感到他的事业进展不顺。百度首席科学家的位置已经空了一年多，这正是揽下吴恩达的好时机。 就像乔布斯当年说的「想卖一辈子糖水，还是想跟我一起改变世界」那句话，余凯向面前的好友试探道，「你与其在这里搞在线教育，还不如回到真正打动你、你热情所在的 AI 事业上来。」 这句话让失意的吴恩达一下子打开了心扉。见吴恩达有几分动容，余凯接着说，「百度愿意敞开大门吸引你过来。」 后面的事情大家都知道了。吴恩达先后与百度高级副总裁王劲和李彦宏见面，5 月正式入职。
