來(lái)源：器械之家，未經(jīng)授權(quán)不得轉(zhuǎn)載，且24小時(shí)后方可轉(zhuǎn)載

近期，中國(guó)手術(shù)機(jī)器人實(shí)現(xiàn)了手術(shù)機(jī)器人“自主化”手術(shù)的歷史性創(chuàng)舉。國(guó)產(chǎn)手術(shù)機(jī)器人企業(yè)康諾思騰聯(lián)合香港中文大學(xué)多學(xué)科研究團(tuán)隊(duì)，實(shí)現(xiàn)了全球首例「臨床場(chǎng)景下自主手術(shù)」驗(yàn)證，并于頂級(jí)期刊《Science》的機(jī)器人領(lǐng)域子刊《Science Robotics》（IF=27.5, 5年影響因子為32.9）發(fā)表論文。

就在不久前，美國(guó)約翰霍普金斯團(tuán)隊(duì)通過(guò)手術(shù)機(jī)器人，自主完成離體豬膽囊切除的消息曾轟動(dòng)全球。而國(guó)內(nèi)團(tuán)隊(duì)完成的這項(xiàng)研究堪稱(chēng)2.0版本，主要實(shí)現(xiàn)了兩大技術(shù)躍遷：

• 手術(shù)在活體動(dòng)物內(nèi)進(jìn)行，須面臨諸多動(dòng)態(tài)的手術(shù)場(chǎng)景干擾（如多樣化的組織結(jié)構(gòu)特征、呼吸運(yùn)動(dòng)等），實(shí)現(xiàn)難度更高；

• 應(yīng)用的是已經(jīng)獲批的商業(yè)化手術(shù)機(jī)器人——康諾思騰自主研發(fā)的Sentire思騰®腔鏡手術(shù)機(jī)器人，而非專(zhuān)為研究定制的模型機(jī)，為技術(shù)轉(zhuǎn)化鋪平了道路，更具現(xiàn)實(shí)意義。

這意味著，此項(xiàng)研究是目前為止全球范圍內(nèi)，最接近真實(shí)臨床場(chǎng)景的機(jī)器人自主手術(shù)，標(biāo)志著人類(lèi)向自動(dòng)化醫(yī)療邁進(jìn)了一大步。

01

手術(shù)機(jī)器人的“ChatGPT時(shí)刻”

本次研究采用了活豬進(jìn)行試驗(yàn)，全程僅依靠手術(shù)機(jī)器人內(nèi)窺鏡視覺(jué)反饋，在算法的驅(qū)動(dòng)下，由Sentire思騰®自主執(zhí)行了三項(xiàng)內(nèi)窺鏡手術(shù)常見(jiàn)操作，即紗布抓取、血管夾閉和軟組織牽引。

這些看似簡(jiǎn)單的基礎(chǔ)操作，完全憑借手術(shù)機(jī)器人自主運(yùn)行，涉及許多復(fù)雜的挑戰(zhàn)。

比如，在紗布抓取場(chǎng)景中，放置在體內(nèi)的紗布往往會(huì)被血液染色，使其與周?chē)浗M織混為一體，難以識(shí)別。這就要求視覺(jué)算法，不能僅基于顏色特征進(jìn)行識(shí)別，還須具備更高水平的場(chǎng)景理解。此外，在抓取過(guò)程中動(dòng)物的呼吸運(yùn)動(dòng)不停，機(jī)器人須準(zhǔn)確識(shí)別紗布的中心，才能避免失誤。同樣，呼吸運(yùn)動(dòng)下血管夾閉任務(wù)的血管定位和機(jī)器人路徑規(guī)劃十分復(fù)雜，這要求手術(shù)機(jī)器人的手眼校準(zhǔn)要十分精準(zhǔn)。而在軟組織牽引中，各種軟組織外觀、方向和表面光反射均有差異，對(duì)圖像質(zhì)量要求極高，能否充分按壓組織也是一大難題。

為了實(shí)現(xiàn)以上高難度任務(wù)，研究團(tuán)隊(duì)首先進(jìn)行了虛擬環(huán)境中的模擬。采用自研手術(shù)機(jī)器人具身智能模擬器SurRoL，進(jìn)行多項(xiàng)任務(wù)預(yù)訓(xùn)練，驗(yàn)證了團(tuán)隊(duì)研發(fā)的自動(dòng)化方案能夠成功運(yùn)作。

接下來(lái)，將上述算法嵌入Sentire思騰®腔鏡手術(shù)機(jī)器人，在離體動(dòng)物上進(jìn)行真實(shí)世界驗(yàn)證。這種方法被稱(chēng)為“零樣本學(xué)習(xí)”（zero-shot），即將仿真訓(xùn)練的AI策略直接部署到真實(shí)手術(shù)機(jī)器人中，旨在模仿人類(lèi)的推理過(guò)程，不僅能識(shí)別出訓(xùn)練集中已有的數(shù)據(jù)類(lèi)別，還可以對(duì)未見(jiàn)過(guò)的數(shù)據(jù)進(jìn)行區(qū)分。這意味著訓(xùn)練成本將大幅縮減，模擬與現(xiàn)實(shí)之間的差距被無(wú)限拉近。

在真實(shí)世界的試驗(yàn)中，手術(shù)機(jī)器人自身性能須達(dá)到一定條件，才能媲美人類(lèi)操作。首先是“眼”，Sentire思騰®腔鏡手術(shù)機(jī)器人內(nèi)窺鏡提供1080p的高分辨率立體視頻流，為視覺(jué)識(shí)別提供保障；其次是“腦”與“手”，Sentire思騰®最先進(jìn)的機(jī)電一體化平臺(tái)，能夠減少系統(tǒng)延遲，實(shí)現(xiàn)更快的控制響應(yīng)和更精確的機(jī)械運(yùn)動(dòng)。

研究人員采用了保留左右胃網(wǎng)膜動(dòng)脈的豬胃組織切片作為離體試驗(yàn)樣本，在不同光照、煙霧等環(huán)境條件下，成功實(shí)現(xiàn)了內(nèi)窺鏡攝像頭調(diào)整、針加持、紗布抓取、軟組織牽引和血管夾閉五項(xiàng)自主任務(wù)。

最后在活體豬內(nèi)，進(jìn)行了三項(xiàng)相對(duì)復(fù)雜，且體內(nèi)外場(chǎng)景差異明顯的任務(wù)，即紗布抓取、軟組織牽引和血管夾閉。結(jié)果表明，在無(wú)人員介入的情況下，Sentire思騰®能夠準(zhǔn)確且高效地完成自主操作，三項(xiàng)任務(wù)的成功率分別高達(dá)83%、77%和67%，且對(duì)于所有在體實(shí)驗(yàn)，神經(jīng)網(wǎng)絡(luò)均實(shí)現(xiàn)了實(shí)時(shí)推理速度。

其中，圖像感知模塊處理單幀圖像的時(shí)間僅為40毫秒（目標(biāo)物體分割）和300毫秒（立體深度估計(jì)）。策略預(yù)測(cè)模塊速度更快，僅需7毫秒即可完成場(chǎng)景狀態(tài)評(píng)估，并據(jù)此預(yù)測(cè)機(jī)械臂末端執(zhí)行器的動(dòng)作。最終的視覺(jué)伺服低級(jí)控制器耗時(shí)2毫秒。

出于安全考量及便于人工實(shí)時(shí)監(jiān)控，研究人員還適當(dāng)降低了機(jī)器的運(yùn)行速度，結(jié)果顯示紗布抓取任務(wù)平均耗時(shí)19.2秒，軟組織牽引任務(wù)17.0秒，血管夾閉任務(wù)8.3秒。這表明，在未來(lái)的實(shí)際應(yīng)用中，運(yùn)行速度不會(huì)成為自動(dòng)化機(jī)器人手術(shù)的發(fā)展瓶頸。

02

醫(yī)療終極暢想，照進(jìn)現(xiàn)實(shí)

此次國(guó)內(nèi)團(tuán)隊(duì)?wèi)?yīng)用純國(guó)產(chǎn)自研手術(shù)機(jī)器人，實(shí)現(xiàn)全球首例「臨床場(chǎng)景下自主手術(shù)」具有重大的意義。

人機(jī)協(xié)作，生產(chǎn)力倍增

當(dāng)前，手術(shù)機(jī)器人超越人類(lèi)的執(zhí)行精度，已經(jīng)得到了充分驗(yàn)證。如何更進(jìn)一步，賦予手術(shù)機(jī)器人自主決策的能力，成為醫(yī)生真正的得力助手，不僅是涉及到算法、機(jī)械運(yùn)行的頂級(jí)技術(shù)難題，更是臨床中普遍存在的迫切需求。

比如，即便手術(shù)機(jī)器人在很大程度上節(jié)約了醫(yī)生的體力，減少了助手的數(shù)量，但在操作過(guò)程中，仍存在大量簡(jiǎn)單重復(fù)的任務(wù)，需要醫(yī)生切換機(jī)械臂進(jìn)行操作。若能將這些繁瑣的任務(wù)交由手術(shù)機(jī)器人自動(dòng)執(zhí)行，醫(yī)生的精力就能夠充分投入到困難費(fèi)時(shí)的精細(xì)操作上。

在本次研究中，團(tuán)隊(duì)探索了人機(jī)協(xié)作的手術(shù)模式。由Sentire思騰®的第三只機(jī)械臂自動(dòng)牽引小腸，為醫(yī)生操控的另外兩只機(jī)械臂提供腸系膜解剖空間。醫(yī)生可以專(zhuān)注于兩只機(jī)械臂的操作，而無(wú)須頻頻中斷手術(shù)，執(zhí)行軟組織牽引，極大程度上提升手術(shù)效率和護(hù)理質(zhì)量。

AI指引，提升教學(xué)效率

在手術(shù)機(jī)器人培訓(xùn)的提升上，此項(xiàng)研究同樣具有重要價(jià)值。研究人員用RL預(yù)測(cè)軌跡驅(qū)動(dòng)機(jī)器人控制端操作主手，為學(xué)員提供實(shí)時(shí)力引導(dǎo)。初步結(jié)果顯示，新手在AI輔助訓(xùn)練下，任務(wù)完成速度快了近一倍。此研究有望給外科醫(yī)生培訓(xùn)資源稀缺問(wèn)題帶來(lái)解決方案，降低醫(yī)療教育門(mén)檻。

開(kāi)源平臺(tái)，能力指數(shù)級(jí)成長(zhǎng)

團(tuán)隊(duì)自研了開(kāi)源手術(shù)機(jī)器人學(xué)習(xí)平臺(tái)SurRoL，進(jìn)行算法研究和AI策略訓(xùn)練。目前，該平臺(tái)在全球范圍內(nèi)被廣泛應(yīng)用，谷歌學(xué)術(shù)引用已達(dá)到100篇，被譽(yù)為手術(shù)機(jī)器人的「Android系統(tǒng)」。這意味著，全球機(jī)構(gòu)的應(yīng)用數(shù)據(jù)都能推動(dòng)平臺(tái)進(jìn)步。

安全概念同步跟進(jìn)

本次研究，還對(duì)未來(lái)機(jī)器人自主手術(shù)的應(yīng)用，進(jìn)行了安全框架的探索。團(tuán)隊(duì)創(chuàng)新引入了“自主監(jiān)督”的概念，允許醫(yī)生隨時(shí)接管手術(shù)機(jī)器人的自主任務(wù)。并且在軟組織牽引任務(wù)中，可以由醫(yī)生提前勾畫(huà)出手術(shù)機(jī)器人安全執(zhí)行操作的目標(biāo)組織。這些安全理念的提出，具有很高的指導(dǎo)意義和參考價(jià)值。

國(guó)產(chǎn)廠家參與

此外，本次研究基于國(guó)產(chǎn)廠家康諾思騰自主研發(fā)的商業(yè)化手術(shù)機(jī)器人Sentire思騰®，且康諾思騰團(tuán)隊(duì)深入?yún)⑴c到研究中。除了香港中文大學(xué)竇琪教授團(tuán)隊(duì)外，康諾思騰聯(lián)合創(chuàng)始人、首席技術(shù)官兼首席運(yùn)營(yíng)官王澤睿博士作為通訊作者共同領(lǐng)導(dǎo)了該項(xiàng)研究。

王澤睿博士

獨(dú)角獸企業(yè)康諾思騰聯(lián)合創(chuàng)始人、首席技術(shù)官兼首席運(yùn)營(yíng)官

曾任香港中文大學(xué)機(jī)械與自動(dòng)化工程學(xué)系研究助理教授，

專(zhuān)注于手術(shù)機(jī)器人核心技術(shù)研發(fā)逾十年，深度參與國(guó)家藥監(jiān)局手術(shù)機(jī)器人行業(yè)標(biāo)準(zhǔn)制定

竇琪教授

香港中文大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)系助理教授，博導(dǎo)，國(guó)家級(jí)青年人才

港中文智能醫(yī)療與擴(kuò)展現(xiàn)實(shí)研究所副所長(zhǎng)

港中文天石機(jī)器人研究所研究員，香港InnoHK醫(yī)療機(jī)械人創(chuàng)新技術(shù)中心研究員

結(jié)合其廣泛的臨床經(jīng)驗(yàn)，以及手術(shù)機(jī)器人的開(kāi)發(fā)經(jīng)驗(yàn)，能夠更加高效的實(shí)現(xiàn)自動(dòng)化手術(shù)的落地探索。舉例來(lái)說(shuō)，早在構(gòu)建產(chǎn)品之初，康諾思騰便秉持了全棧自研與垂直整合的思路，成就了本次研究的基礎(chǔ)。Sentire 思騰®的系統(tǒng)架構(gòu)具備卓越的可擴(kuò)展性，其獨(dú)特的AI就緒且AI友好特性，在研究中完整實(shí)現(xiàn)了從算法到系統(tǒng)的優(yōu)化閉環(huán)。其跨平臺(tái)部署能力不僅驗(yàn)證了核心技術(shù)的商業(yè)化潛力，也推動(dòng)了自主手術(shù)從概念走向臨床應(yīng)用。

具備自主意識(shí)的，能自動(dòng)執(zhí)行任務(wù)的手術(shù)機(jī)器人，一直是醫(yī)療領(lǐng)域的終極暢想，國(guó)內(nèi)團(tuán)隊(duì)能夠率先在該領(lǐng)域拿下“全球首個(gè)”，不僅彰顯了中國(guó)領(lǐng)先的科研能力，也充分證實(shí)了國(guó)產(chǎn)手術(shù)機(jī)器人的先進(jìn)性能。這項(xiàng)技術(shù)的實(shí)現(xiàn)，代表了中國(guó)在手術(shù)機(jī)器人高難度應(yīng)用的探索上，處于領(lǐng)先地位，令人十分振奮。相信隨著研究的推動(dòng)，未來(lái)我們可以看到機(jī)器人參與到更多、更復(fù)雜的醫(yī)療任務(wù)中，真正實(shí)現(xiàn)高端醫(yī)療技術(shù)的民主化。