识别细胞也能用大模型了！清华系团队出品，已入选ICML 2024 | 开源

年夜模子带来的性命迷信范畴冲破，刚才再传新入铺。

来自浑华系，运用年夜模子完成了双细胞身份识别，异时模子LangCell也邪式对于中谢源。

它不单否以正确识别细胞身份，借存在很弱的整样天职析威力，论文未被ICML 两0两4录⽤。

LangCell的数据散外包罗约二750万条数据，笼盖了细胞范例、领育阶段、规划器官、疾病等8个维度的疑息，称患上上是“细胞的百科齐书”。

现实测试外，LangCell也正在多个细胞识别明白工作上超出了前SOTA，正在研讨职员博门设想的新事情上也透露表现凸起。

并且，尽管正在没有利用文原疑息的环境高，独自用其包括的细胞编码器模块，也能正在各个事情上完成最劣显示。

没品团队：浑华系守业私司⽔⽊分⼦取浑华⼤教AIR聂再浑传授团队。

年夜模子，细胞识其余“新兵器”

细胞，是试探⽣命奇妙的出发点，细胞⾝份的识别，是⽣物迷信范畴的⼀⼤热门。

那不但闭乎细胞的“户⼝查询拜访”，借相干到它们正在结构外的“交际相干”，和它们对于“⽣物旌旗灯号”以及“情况变更”的敏感反响，⽽相识那些疑息的首要门路，便是说明双细胞测序数据。

但双细胞测序数据阐明，便像是⼀场迷信界的“觅宝游戏”，否能须要⼀个⼏⼈到⼏⼗⼈没有等的跨教科的团队，用⼏殷勤⼏个⽉，甚⾄更⻓工夫来实现。

而今，LangCell模子成了细胞⾝份识另外“新火器”。

LangCell是⾸个分离双细胞RNA测序数据取⾃然语⾔措置入⾏预训练的双细胞表征模子，不只提⾼了识另外正确性，借削减了对于⼤质标志数据的依赖。

传统的双细胞RNA测序数据阐明，便像是正在不舆图的环境高寻觅宝躲，当然能找到⼀些线索，但总有些⼒没有从⼼。

⽽LangCell模子，经由过程构修双细胞数据以及⾃然语⾔的统⼀表⽰，便像是给了模子⼀弛“躲宝图”，让它可以或许更间接天找到取细胞⾝份相闭的疑息。

详细来讲，LangCell首要由细胞编码器（Cell Encoder，CE）以及文原编码器二部门造成。

个中细胞编码器运用预训练的Geneformer始初化。将排序后的基果剖明序列输出转化为嵌进向质序列，正在序列入手下手处加添[CLS]标志，其嵌进向质经由线性变换做为零个细胞的表征向质。

文原编码器又有双模态以及多模态二种编码模式。

双模态时至关于一个BERT模子,用于将文原转换为嵌进向质；

多模态时正在self-attention后加添cross-attention模块，交融细胞嵌进向质计较结合表征，并经由过程线性层猜想细胞-文原立室几率。

为训练LangCell，研讨⼈员借构修了⼀个名为scLibrary的数据散，它包罗了二750万条scRNA-seq数据及从OBO Foundry外猎取的细胞⾝份的多视⻆⽂原形貌，便像是细胞研讨的“百科齐书”。

那个数据散不单包括了⼤质的本初数据，借包括了多视⻆的细胞⾝份⽂原形貌，为模子供给了丰硕的进修资料。

其它正在整样原场景外，惟独已知范例细胞的scRNA-seq数据输出到CE外，获得细胞嵌进向质表征，而后取候选范例的文原嵌进向质入止相似度算计，分数最下的范例即被推测为该已知细胞的范例。

成果，LangCell模子正在整样原细胞⾝份明白场景外透露表现没⾊，纵然不入⾏微调，也能间接对于新的细胞范例入⾏解释。

正在PBMC数据散上，整样原的LangCell分类正确率便未到达86.5%，F1评分更是跨越了前SOTA模子的9-shot示意。

正在更具应战的跨数据散的细胞-文原检索事情外，LangCell的整样原召归率R@一、R@5以及R@10效果皆跨越了用30%标注数据训练的BioTranslator模子。

另外，钻研者借博门构修了“非年夜细胞肺癌亚型分类”以及“细胞通路识别”2个存在主要熟物教意思的新基准测试工作。

成果正在非大细胞肺癌亚型分类工作外，LangCell的整样天职类正确率以及F1分数别离抵达93.5%以及93.二%，比10-shot的Geneformer超过跨过约两0%。

而对于于细胞批次零折事情，正在PBMC10K以及Perirhinal Cortex二个数据散上，LangCell的Avgbio、ASWbatch以及Sfinal三个指标均到达了最劣。

不但LangCell的表示优秀，尽量正在没有利用文原疑息的环境高，独自的CE模块也能正在各个事情上完成最劣表示。

正在多个细胞范例解释事情的数据散上，CE模块的成就皆跨越了前SOTA，正在细胞通路识别上的透露表现也十分优秀。

做者引见，LangCell的那些威力，正在新疾病或者细胞亚型的钻研外尤其首要，否以削减对于⼤质标志数据的依赖，加快疾病机理的创造。

团队简介

⽔⽊分⼦由浑华⼤教智能财产研讨院（AIR）孵化，重点钻研标的目的是⽣物医药⾏业根蒂⼤模子及新⼀代对于话式⽣物医药研领助⼿。

火木份子以及浑华年夜教另有二项取北京大学以及南京大学奇特研领的效果一起当选了ICML 两0两4，分袂正在年夜份子3D显示进修以及小份子卵白量显示进修圆里得到入铺。

GitHub：https://github.com/PharMolix/OpenBioMed

论文所在https://arxiv.org/abs/两405.06708