《巴比伦的崩溃是对AI独角兽的警示》

The Collapse of Babylon A Warning to AI Unicorns

在2016年底,休·哈维(Hugh Harvey)在英国国家医疗服务体系(NHS)担任顾问医生。哈维在攻读研究学位期间涉足了机器学习,并看到了人工智能在革新医疗保健方面的潜力。但他坚信,AI进入医学领域不会来自于NHS内部,而是来自于行业。因此,当一家备受瞩目的新兴健康科技初创公司Babylon Health出现机会时,他申请了这个职位。

Babylon Health于2013年由英国伊朗裔前银行家阿里·帕尔萨(Ali Parsa)在伦敦创立,其崇高目标是:像谷歌一样将健康保健服务免费且轻松地提供给每个人。到哈维2016年加入公司时,它已经获得了数千万美元的风险投资,尽管那时它所构建的只是一个让患者能够与医生进行视频通话的应用程序。虽然有帮助,但并不算是革命性的。该公司的价值在于其雄心勃勃地增加一个由人工智能驱动的症状检查器,以加快甚至自动化诊断。

习惯了长期资金短缺的NHS的艰苦条件,哈维说他被豪华的环境所吸引:办公桌上等待着他的笔记本电脑,位于高档的肯辛顿区的豪华办公室,午餐时的免费办公室啤酒和比萨饼。但很快,哈维得以一窥背后所有兴奋的软件。他所看到的是一堆由该公司的初级医生编写的临床决策路径的Excel电子表格。他们基本上将人体分为不同部分,根据用户点击的身体部位,在应用程序中遵循他们所称的“临床流程”或决策树。“我想,嗯,这并不是真正的人工智能。”哈维回忆道。

但在接下来的几年里,有关Babylon的炒作持续增长。它与NHS和英国的健康保险提供商签订了合同。中国科技巨头腾讯签署了一项通过微信提供服务的协议。沙特阿拉伯的主权财富基金投资了5.5亿美元。到2021年它在纽约证券交易所上市时,Babylon的估值已达42亿美元。但公司的困境已经开始显现。随着公司为追求增长而大规模投资,其亏损不断增加。其股价迅速下跌。今年8月中旬,当一笔救助交易破裂后,宣布该公司在英国的业务将进入破产管理程序——这个过程类似于美国的破产保护。该公司关闭了其美国总部,裁员成批,并在那里申请了破产。

ENBLE采访了Babylon Health的三名前雇员,以揭示这家“数字优先”健康科技领域的明星公司出了什么问题。他们所说的关于该公司的崩溃,正值风险投资对人工智能和医疗保健的兴趣达到高潮时,是对追逐炒作而非交付的危险的警示。

帕尔萨和Babylon Health未回复多次置评请求。

帕尔萨以古城巴比伦命名了他的公司,根据希腊历史学家希罗多德斯(Herodotus)的说法,巴比伦有一个广场,公民们在那里分享如何治疗他们的疾病的技巧。

前员工称帕尔萨痴迷于“闪电式扩张”——这是LinkedIn联合创始人Reid Hoffman所倡导的一种创业超速增长方式。前员工说,该公司进行了无法控制的大规模招聘风暴,并且团队经常在重叠的项目上工作。一位前员工匿名表示,曾经有三个团队同时在开发三个不兼容的症状检查器版本。该员工说,他们曾经在公司的大楼里发现一个产品经理在他加入公司的第二天四处转悠。因为没有人为他进行入职培训,也没有告诉他应该在哪个团队工作,所以他被迫去寻找一个团队加入。“他以为这是某种入职的‘挑战’,要自己去找一个团队加入,”该员工说。

高层管理层经常变动。高级领导人会前往安提瓜度假,这对员工来说并不为人所知,直到这个消息在一个公开的Slack频道上被泄露出来。一位前员工表示,帕尔萨“曾经在安提瓜的一个会议室里假装在自己的办公室里进行了一次站立会议。”前员工说,帕尔萨的领导风格是“个人特立独行”的,而且“偶尔妄自尊大”。哈维表示,有一次帕尔萨试图禁止在公司使用微软的PowerPoint软件。哈维说,帕尔萨称呼员工为“巴比伦人”,并批评他们下午5点30分离开公司。

据前员工称,帕尔萨追求规模的速度超过了Babylon Health实际推出成品的能力。哈维加入后,公司向他保证其数据科学团队正在开发一个知识图谱,通过概率连接知识片段。这看起来是哈维和他的临床同事回答数千个医学问题,比如“患有黄疸的人患有肝炎的概率是多少?”问题逐渐变得更加细致;比如说,黄疸持续两周并患有乙型肝炎的概率是多少?

“问题变得越来越荒谬和无关紧要,”哈维说,但这仍然不是真正的人工智能。(另一位曾在巴比伦健康公司工作过的前员工,曾在人工智能团队工作,表示机器学习团队很可能只是为了简单起见向哈维展示了Excel电子表格,但他承认决策树模型“并不特别复杂”。)

有一次,BBC计划去巴比伦健康公司拍摄这项技术。但有一个问题:这个应用还没有完成。它只是针对胃肠病学建模,基本上是关于胃部问题。它没有界面,因此哈维回忆起一个数据科学家必须在办公室连续几个晚上和周末睡觉,他们赶着构建一个看起来像应用的东西。“但我们都知道…这不是我们正在构建的产品,”哈维说。“这是一个匆忙拼凑而成的模型,用了很多人力小时来向BBC展示。”哈维的说法得到了另一位前员工的证实。

巴比伦的症状检查应用程序名为GP at Hand,于2017年推出,承诺通过自动化某些病人咨询来帮助解决英国国民保健服务(NHS)长时间等待的问题。

哈维在巴比伦的角色是从监管机构获得使用该应用程序进行分诊的许可,分诊是一项初步评估,确定病人需要多快地看医生。但这不是官方说法。帕尔萨在2017年公开表示,它可以为患者进行诊断:这是一个更宏大的陈述。哈维说帕尔萨几乎每天都会过来问他是否已经获得了监管审批。哈维会解释他们会获得批准,但只是用于分诊。

同年晚些时候,该公司声称其人工智能在用于测试医生诊断能力的考试中表现优于人类(这一说法很快受到专家的质疑)。那时,哈维已经辞职并作为顾问放回英国国民保健服务系统(NHS)工作。但是GP at Hand应用程序在受到医疗保健专业人员的批评的同时,受到了越来越多的欢迎。

英国国民保健服务系统(NHS)的顾问肿瘤学家大卫·沃特金斯是第一个对巴比伦健康公司人工智能效果提出警告的人。他最初在化名@DrMurphy11下发推文,定期在线记录机器人离开临床规范的异常行为,比如询问一位66岁的担心乳房肿块的女性是否怀孕或哺乳,以及未能发现心脏病发作的症状。该公司在一份公开声明中称他为“恶意攻击者”。但沃特金斯的担忧据报道也在公司内部共享,并且英国的医疗监管机构也表示了担忧。

英国卫生与社会护理服务监管机构在2017年的一份报告中质疑了该公司服务的安全性和有效性,对此巴比伦威胁要提起诉讼。2019年,ENBLE的报告称,巴比伦给英国国民保健服务系统(NHS)造成了超过2600万英镑(3200万美元)的费用。然后,在2020年,该公司承认其GP at Hand应用程序遭遇了数据泄露,导致用户能够看到其他病人进行的数十次视频会诊。即使该服务在全国范围内得到采用,巴比伦健康公司在英国也在努力使其模式在财务上能够运作。帕尔萨将其失败归咎于英国国民保健服务系统(NHS)内部的结构问题,这意味着它从未能实现盈利。该公司在去年8月结束了与英国国民保健服务系统(NHS)的最后一份合同。

但帕尔萨一直怀有全球化的雄心。该公司在加拿大设立了分公司,但在2021年以许可协议的一部分出售了其在那里的业务。同年,加拿大政府的调查发现该应用程序不符合该国的隐私法规。巴比伦将重点转向美国,那里可以通过医疗保险计划Medicaid和Medicare赚取更多的钱。帕尔萨甚至搬到了美国。

但美国的冒险最终也注定要失败。它进入了一个非常拥挤的市场,而且还没有准备好竞争。“这里有很多比巴比伦成立时间更长的规模化远程医疗公司,”旧金山OMERS Ventures的健康科技投资者克里斯蒂娜·法尔说。

一位前员工表示,帕尔萨并没有完全意识到美国是一个成熟的市场。对该员工来说,最后一根稻草是当他们看到一份合同正在起草中,用于通过Medicaid在密苏里州提供远程医疗服务。基本上,巴比伦将承担所有健康保险公司的财务责任和财务风险,但没有任何必要覆盖这种风险所需的高额保费。“我当时说,‘不,绝对不行,’”这位前员工说。“‘这将是一场灾难,我不想在那发生时呆在这里。’”他们辞职了。

即使公司的股票市场上市也迅速走下坡路。在上市后的18个月内,其股价下跌了99%。帕尔萨将这一暴跌形容为“难以置信的、无法遏制的灾难”。这并不令人意外。尽管巴比伦正在产生收入,但它亏损了很多钱。2022年,该公司亏损了2.21亿美元。在2023年的前三个月,它又亏损了6300万美元。2023年5月,巴比伦最大的债权人阿尔巴科尔资本将其私有化,并试图将其与另一家医疗技术公司MindMaze合并。然而,这次合并在8月初宣告破裂。

巴比伦并不是在人工智能和医疗保健交叉领域挣扎从炒作到商业成功的第一家公司。英国利兹大学健康信息学和数据科学副教授David Wong表示,巴比伦的命运“引发了人们对如何将人工智能商业化于医疗保健领域的疑问”。 Wong指出另一个失败的例子:AI初创公司Sensyne Health在2022年从伦敦证券交易所退市时给两家英国国民医疗服务信托带来了1800万美元的损失。同年,IBM放弃了沃森健康。2021年估值为40亿美元的医疗保健自动化初创公司Olive AI在2023年2月解雇了三分之一的员工。

专家表示,像巴比伦这样的公司失败的原因在于用算法取代肉体临床医生很困难,并且技术初创公司的快速行动和破坏文化与医疗保健领域的照顾患者需要思考和情境的文化之间存在固有的不匹配。

“我认为创业世界的棘手之处可能是有很多人有想法,但大多数想法都行不通,”Wong说。“我认为如果有更多的临床医生参与其中,他们会很快告诉你哪些想法有可能行得通,哪些不行。”