CYL699.VIP
距离 Deepmind 说合科学家 Felix Hill 在 X 平台上最近一次发声还是往日接近两个月了。
不幸的是,这位说合科学家因耐久与严重精神疾病反水于昨年 12 月 5 日缺憾离开东说念主世。
而这一音问也由斯坦福大学兼职讲解、Contextual AI CEO Douwe Kiela 在 X 平台阐发。
凶信传出后,许多 AI 圈东说念主士纷繁在 Douwe Kiela 的指摘区系念起这位一又友。
即就是与 Felix 有过学术不对的 Gary Marcus 也示意:
vivo S20 Pro的多巴胺动态照片功能能够获奖,主要归因于其创新性和用户体验的显著提升。该功能利用AI算法实时分析照片主体,使照片边框能够根据Live内容动态变化,为静态图像增添流动的生命力。这种动态变化的边框不仅提升了照片的趣味性和互动性,还完美融合了记录情感与动态美学,满足了年轻用户对于个性化和新颖内容的追求。此外,该功能与vivo S20 Pro的强大影像系统相辅相成,共同为用户带来了更加生动、有趣的拍照体验。因此,多巴胺动态照片功能备受用户赞誉。
尽管咱们偶然会在学问层面产生不对,但听到这个音问我感到相配缺憾。愿他安息。
Udio CEO 连合首创东说念主 David Ding、Google 高等说合科学家 Nataniel Ruiz、Meta 及 OpenAI 等多位说合科学家也纷繁发文抒发哀念念。
愿死人安息,向他的一又友和家东说念主致以深远的漫骂。
闻明 AI 说合者、纽约大学讲解 Kyunghyun Cho 曾与 Felix 在2014年夏天于蒙特利尔相识,后续也发文回忆旧事。那时 Kyunghyun 是博士后,而 Felix 是拜谒学生。
他们因为一次对于语法结构的学术商量而成为好友。
一说念进行说合办事后,他们取得的其中一项后果是在 2016 年发表的论文中创造了「开阔表格」的趋势,这个立场在尔后的 3-5 年里被学术界日常效仿。
东说念主虽已逝,但 Felix Hill 留住的不雅点色泽永存。
即就是未尝谋面的同业也为其所顺服。英伟达高等说合科学家 Jim Fan 今天也在 X 平台转发 Felix Hill 博客,并借此系念这位一又友。
这是我读过的最令东说念主肉痛的博客,因为它是如斯真实,如斯面临内心。
作家还是不在咱们身边了。我忍不住流下了眼泪……
我从未有幸在现实中相识 Felix,但我爱好他的说合视角,并为他的每一篇新论文成就了 Google Scholar 领导。
他在智能体和 VLM 规模的办事对我的说合产生了深远影响。他本不错成为一个好一又友。我的确想要了解他,但现在还是再也莫得契机了。
他指导 AI 说合团队,却无法战胜我方内心的恶魔Linkedin 的公开贵寓显现, Felix Hill 是一个无为真义上得益优异的勤学生。
他本科毕业于牛津大学的数学专科,曾经担任牛津大学羽毛球队队长。说合生实习则在墨西哥国立自治大学,专科标的是认识科学、讲话学和赞成,专注于多学科交叉规模(认识科学和讲话学)。
这段经验不仅丰富了他的外欧化视线,也拓宽了学术趣味。
2011 年-2016 年, 他在剑桥大学先后攻读讲话学和筹办讲话学,技艺还担任高尔夫球队队长。
步入职场后,Felix 的职业发展也可谓顺风顺水。
他曾投身赞成职业,担任 14 个月的数学西席,指导 14-18 岁的学生备考和请求大学;同期热心公益,守旧当地赞成非政府组织。
2016 年后,Felix 曾耐久在 Google Deepmind 办事。
在离世前,他在 Deepmind 主要负责指令着一个说合讲话与通用智能交互的团队。与此同期,他也运行将要点转上前沿科技说合,专注于讲话学、机器学习和 AI 模子开拓。
Google 学术贵寓显现,其论文总援用次数达 19680 次,h 指数为42,其中 2020 年后的援用更高达 16608 次,对干系规模产生日常的影响。
在 X 平台,这位一又友在自我先容中写说念:
我试图庄重念念考每一条推文的内容,尤其是对于 90 年代足球和 80 年代音乐的部分。我的不雅点全皆是我我方的,毫不代表他东说念主。
然则,这位在无为眼中取得开阔得手的 AI 说合科学家,却一直与严重的精神疾病反水。在 Felix 的博客中,他也纪录了我方东说念主生终末阶段的的心路历程:
2023 年 4 月,他的母亲因阿尔茨海默病示寂,同期他因急性神经病入院治愈,可能是压力诱发。尔后 12 个月一直处于绝顶心焦和深度抑郁气象。
在得到了老板的领略和守旧,包括治愈守旧和精神关怀,以及经过 6 个月危及人命的抑郁期后运行好转,运行念念考并纪录我方对压力与心焦的不雅察和领略。
然则,荣幸往往弄东说念主。昨年 12 月 5 日,这位一又友最终如故过早地离开东说念主世。
R.I.P.🕯️
附上 Jim Fan 转发 Felix Hill 的博客原文2000 亿权重的办事
当代 AI 办事的压力
作家:Felix Hill,2024 年 10 月
在往日两年里,AI 规模发生了不可逆转的变化。
ChatGPT 的月活跃用户已接近 2 亿东说念主次。Gemini 在 2024 年 5 月的拜谒量接近 3.2 亿次。如今,AI 爱好者以致不错使用 AI 微波炉、AI 牙刷,以致是 AI 足球。
然则,对于咱们许多从事 AI 办事的东说念主来说,这种民众趣味的激增既是一种福祉,亦然一种包袱。如实,薪资水平提高了,股票价钱和商场估值也随之高涨。但与此同期,这种变化也带来了一种特有的压力。
这篇博客是对于当代 AI 带来的压力的。它的目标读者是那些从事 AI 办事的东说念主(据保守测度,这简短占天下东说念主口的 87%),尤其是那些从事 AI 说合的东说念主员。
最终,我但愿通过商量 AI 说合中让东说念主感到压力的身分,好像让那些有幸从事这一规模的东说念主生活变得愈加欢快。因为尽管面前一派紊乱,这依然是一份好意思好而充实的办事;一个有后劲解答许多科学、形而上学乃至东说念主类自身伟大问题的办事。
无处遮掩
几个月前,我过问了一个一又友的 40 岁寿辰派对。咱们是密友,是以我相识派对上的不少来宾,有些东说念主还相配熟谙。但也有一些东说念主是我全皆不相识的。
在那些我不太熟谙的东说念主中,我提神到一个奇怪的气候。
尽管我那时身体不太好(稍后会提到这个),赫然也不太想主动参与交谈,但周围如故排起了一小队东说念主,只因为全球知说念我在 DeepMind 办事,好多东说念主想和我交谈。
这些对话并不是对于足球或 80 年代音乐这么让东说念主减弱的话题,而是对于我最想幸免的一个话题:AI。诚然全球对我的办事感趣味让我感到闻宠若惊,但这也让我意志到往日两年间发生了何等开阔的变化。银内行、讼师、医师和照料照管人皆想让我对 ChatGPT 发表见识;尽管他们中的很少东说念主获胜在办事中使用这些 LLM,但他们皆信服 AI 正在发生一些遑急的变化,而这是他们必须了解的。
算作又名说合东说念主员,我信赖你能领略那种在酬酢局势无法「关闭开关」的嗅觉。
但事情变得更糟了。以致在我我方家里,我也无法逃离。
我早已不看新闻,因为发怵激发心焦。但即使在看足球、VH1、蒙塔尔巴诺探长,或者那部精彩的《那不勒斯四部曲》的改编电视剧时,告白中也充满了对 AI 的说起。
在这段时辰,我不时想打理行李,跳跃大陆,彩娱乐邀请码加入一个隐居的宗教团体。尽管我不会感到惊诧,以致 Vipassana 瑜伽现在可能也在某种进程上被 AI 浸透了。
隐含的竞争
几家大公司似乎在竞争开拓最大、最强劲的大型讲话模子,这自身就带来了开阔的压力;岂论你为哪家公司办事。
在面前的 AI 说合中,偶然会让东说念主嗅觉像是在参与一场战争。从阿说念夫·希特勒到荷兰·舒尔茨,咱们皆知说念,参与战争可能会导致严重的后果,包括精神疾病、远隔和自裁。
天然,这并不是将参与 AI 说合等同于「简直战争」中的身体战斗。但根据我的躬行经验,这两者之间的相似性尽管略显牵强,却是真实存在的。
影响公司底线
频频来说,从事工业说合的说合东说念主员并不风气于我方的办事会对老板的底线产生获胜而即时的影响。
天然,许多说合东说念主员盼愿着能有这么的契机。但往日这频频只是十年才会发生一次的事情。
如今,基础说合对 LLM 的舍弃频频仅能导致模子性能的隐微、短期的波动。然则,由于公众对 LLM 性能的高度关注,这些波动可能反过来导致股价的数十亿好意思元波动。
这种动态赫然相配具有压力,而这并不是 AI 说合东说念主员在说合生院、博士后以致 2022 年之前的办事中所能被考研支吾的。
财富,财富,财富
大多数 AI 说合东说念主员,尤其是那些杰出一定年岁的东说念主,从事说合的初志并不是为了获利。为我方爱好的办事赚到一大笔钱听起来像是一剂良药,但这雷同可能激发浓烈的心焦感。绝顶是当促使收入加多的外部身分不在我方掌控之中,或者这些身分让我方对这份办事的爱好减退时,这种心焦尤为较着。
岂论是否与 AI 关联,大批笔据标明,顷刻间集会财富可能激发多样问题;只需望望那些经过多年发奋终于今夜成名的演员或歌手就知说念了。成瘾、离散的关系、破灭的友谊,以致自裁,皆是一些较为常见的后果。这些问题让我个东说念主深有体会。
科学家无须武之地
LLM 的规模、纵情性和高效性使得科学说合很难变得「干系」,也就是说,很难获胜匡助普及 LLM 的性能。
许多顶尖的 LLM 说合东说念主员还是运行崇尚 Rich Sutton 的「苦涩训戒」:险些不需要任何超越规模扩张除外的转换。
即使表面上存在进行实质性转换的可能性(毫无疑问是存在的),要兑现这些转换往往需要在不同要求下反复考研最大规模的 LLM。这以致是面前最大的公司皆难以承担的事情。对于又名「普通」的说合科学家来说,这种情况可能令东说念主心力交瘁。
这些要求对那些风气于在小团队(5-10 东说念主)中办事的工业科学家来说还是相配严峻。而对于学术界的 PhD、博士后以及 AI/CS/ML 的教职东说念主员来说,这种压力无疑愈加重烈。
发表论文
尽管学术界的说合东说念主员不错(况且应该)持续发表他们从 LLM 实验中取得的见地,但对于工业界的科学家来说,发表论文是否仍然是说合的一种可行舍弃却变得越来越不祥情。
发表论文耐久以来一直是科学经由的中枢部分,亦然 AI 说合的遑急原则。大多数我交谈过的 AI 说合东说念主员,绝顶是说合科学家,皆认为发表论文是咱们办事生存中不可或缺的一部分。
然则,至少在工业界,在往日两年中,是否将说合后果发表算作一种可行的遴选变得越来越不祥情。即就是好像稍稍改善 LLM 性能的一些小手段,也可能成为 LLM 战争中的要害「火器」。是否应该公开这些「奥密」,以及这是否对资助说合的机构有益,永恒是一个奥密的问题。
这一切皆意味着说合东说念主员不时无法舍弃我方想法的荣幸。而至少对我来说,这种情况会激发极大的压力。
初创企业
天然,从这些担忧中逃离的一种可能途径是酿成一个科学愿景,筹集资金,创建一家初创企业。事实上,面前 AI 初创企业(岂论大小)的激增标明,许多科学家还是遴选了这条说念路。
然则,成为首创东说念主并弗成保证你好像开脱与压力干系的问题。事实上,这条说念路以其高压力而著明。即便在面前投资者矜恤飞扬的情况下,许多资金糟蹋的 AI 初创企业仍然失败。根据我的躬行经验,算作又名首创东说念主是一段绝顶孤独的旅程。这无疑是面前有抱负的科学家的一种可行遴选,但它并不会让科学说合变得松驰,也不会减轻压力。
为什么我遴选写一篇对于压力的博客?
往日两年对 AI 天下来说是紊乱而放荡的,同期对我个东说念主而言,亦然绝顶涟漪的时间。
在 2023 年 4 月,我的母亲在与阿尔茨海默病耐久斗争后示寂了。而那时,我因急性神经病住在神经医院,压力很可能是诱发这一切的遑急身分。在接下来的 12 个月里,我表面上是在复原,但推行上却一直处于绝顶心焦和深度抑郁的气象。在这段时辰里,我相配侥幸领有领略我处境的老板(以及认同我对公司孝顺的价值),他们为我提供了捏续的治愈守旧和说念德上的关怀。
又经过了 6 个月的危及人命的抑郁期后,我终于运行感到好转,最近也以为有才智写下我方的经验。我意志到,压力和心焦老是坐卧不离;事实上,它们可能推行上是并吞趟事。天然,像任何一种合乎性特色一样,心焦在一定进程上是有益的(举例它不错普及分娩力),但当心焦变得恶性时,后来果可能会相配严重。
恰是在回归往日两年 AI 规模的经验,同期发奋再行学习怎样成为又名 AI 说合员的经由中,我得到了我在这篇博客均共享的见地。天然,只是共享这些见地并弗成处置所有问题,但在我最昏黑的时刻,独一让我看到但愿的事情之一是知说念我并不零丁。要是你现在正处于糟糕之中,请信赖我——你并不零丁。
酬酢心焦
我还是商量了许多可能让面前从事 AI 说合的东说念主感到压力或心焦的原因。但还有一种压力现象我尚未说起,因为我很侥幸我方从未经验过。这种压力就是酬酢心焦。
根据一又友们的描绘,那些有酬酢心焦的东说念主会以为群体互动充满挑战。而在当代 AI 的天下里,这么的难题尤为隆起,因为大型款式团队和跨洲际合营还是成为必不可少的部分。现在行业内的高流动率只会让问题变得更为严峻,因为还是缔造的团队(频频被视为一种酬酢「安全网」)可能在今夜之间被毁坏。而东说念主员的频繁流动也会导致信任问题,因为曾经可靠的盟友可能会加入「脑怒」的说合团队。
好音问是,正如我之前商量的所有心焦或压力的阐述一样,酬酢心焦亦然不错被克服的。克服的经由始于培养天然的守旧辘集,举例依靠家东说念主和「非 AI」规模的一又友。但要害的第二步是,咱们所有从事 AI 办事的东说念主运行并捏续进行对于压力的坦诚对话。
因此,请通过推文或指摘共享你的经验。让咱们一说念发奋,让 AI 说合不单是是一个充满活力、充满智商挑战的场所CYL699.VIP,更是一个充满轸恤和睦意的规模。