本案例獲得CHIMA 2020醫(yī)院新興技術(shù)創(chuàng)新應(yīng)用典型案例“醫(yī)學(xué)人工智能創(chuàng)新應(yīng)用”方向二等獎(jiǎng)。

國務(wù)院于2017年正式印發(fā)《新一代人工智能發(fā)展規(guī)劃》，隨后多部委陸續(xù)頒發(fā)相關(guān)政策，包括：科技部于2019年8月正式印發(fā)《國家新一代人工智能開放創(chuàng)新平臺(tái)建設(shè)工作指引》等，進(jìn)一步明確了我國新一代人工智能發(fā)展的戰(zhàn)略目標(biāo)：預(yù)期到2030年，人工智能理論、技術(shù)與應(yīng)用總體達(dá)到世界領(lǐng)先水平，我國成為世界主要人工智能創(chuàng)新中心。隨著醫(yī)療信息化技術(shù)的不斷完善，如何通過人工智能技術(shù)為醫(yī)務(wù)工作者提供幫助，成為醫(yī)療信息化領(lǐng)域的重要研究方向。

近五年，北京協(xié)和醫(yī)院（以下簡稱“我院”）陸續(xù)引人工智能技術(shù)，尤其是將語音識(shí)別技術(shù)應(yīng)用到臨床，包括：病房、醫(yī)技科室、手術(shù)休息區(qū)等區(qū)域，在語音病例錄入等方面的研究已經(jīng)取得了良好效果。2018年，我院患者APP中成功實(shí)現(xiàn)語音模塊嵌入，患者持手機(jī)即可進(jìn)行語音查詢醫(yī)生介紹和出診信息等功能。

基于上述成功項(xiàng)目的經(jīng)驗(yàn)基礎(chǔ)，結(jié)合語音識(shí)別技術(shù)最新發(fā)展動(dòng)態(tài)，我院于2018年開始積極探討語音識(shí)別技術(shù)在醫(yī)技科室的應(yīng)用。以超聲醫(yī)學(xué)科為例，一套完整的檢查報(bào)告流程包括：患者叫號(hào)、病情問詢、超聲檢查操作、檢查內(nèi)容記錄、書寫檢查內(nèi)容和報(bào)告，打印報(bào)告和簽字確認(rèn)等。一方面，單個(gè)患者等檢查時(shí)間長、醫(yī)生操作內(nèi)容繁多、候診患者等待時(shí)間長且體驗(yàn)差；另一方面，醫(yī)生雙手同時(shí)操作超聲設(shè)備，造成檢查操作和書寫診斷過程分離，醫(yī)生在叫號(hào)、檢查、診斷、打印等流程切換，往返于叫號(hào)程序、超聲設(shè)備、電子病歷、打印機(jī)等場景，部分情況下還會(huì)采用人工助手協(xié)助，增加了工作中的人力成本。

為緩解超聲科醫(yī)生工作強(qiáng)度高、工作效率較低等問題，我院率先嘗試并探索了基于語音識(shí)別技術(shù)的超聲檢查模式創(chuàng)新，實(shí)現(xiàn)醫(yī)生通過語音操控超聲系統(tǒng)和填寫超聲報(bào)告，為醫(yī)生減負(fù)的同時(shí)提升超聲檢查效率。

（1）服務(wù)對象：醫(yī)院的檢查科室，如：超聲科、放射科等。

（2）覆蓋范圍：在超聲科部分診室開展使用。

（1）語音操作覆蓋檢查全流程：通過前期調(diào)研和問題梳理，我們制定出一套適應(yīng)超聲檢查的超聲助手軟件產(chǎn)品，實(shí)現(xiàn)全流程語音操控，保證超聲檢查醫(yī)生在不需要鼠標(biāo)、鍵盤的情況下，可以完成所有檢查報(bào)告書寫工作（包括：選擇圖像、查閱歷史檢查、復(fù)查患者、檢查數(shù)值錄入等）。

（2）硬件產(chǎn)品選型和定制開發(fā)：考慮到超聲醫(yī)學(xué)科環(huán)境較為復(fù)雜，固定式麥克風(fēng)、鵝頸麥克風(fēng)都難以適用此場景，所以我們需要定制開發(fā)移動(dòng)麥克風(fēng)的硬件進(jìn)行采音。硬件產(chǎn)品選型過程中經(jīng)三次改版，從兩個(gè)維度考量：一方面是指向性麥克風(fēng)，指向性是話筒對來自空間各個(gè)方向聲音靈感度的一個(gè)描述，以心形指向性麥克風(fēng)為例，在指向性正向語音信號(hào)不衰減，在反向和側(cè)面語音信號(hào)急劇衰減；另一方面是麥克風(fēng)近講特性，在指定距離（如一米外）的錄音時(shí)信號(hào)急劇衰減。

我院研發(fā)定制了頭戴式無線麥克風(fēng)，結(jié)合指向性和近講性兩個(gè)維度，在聲源上實(shí)現(xiàn)對環(huán)境噪聲的有效抑制，如圖1所示。此外，在麥克風(fēng)內(nèi)部采用減震、加固等方法，降低了麥克風(fēng)自身的震動(dòng)和噪聲。

               圖1 麥克風(fēng)指向性效果圖

（3）無效語音過濾等關(guān)鍵技術(shù)：在實(shí)際采音過程中，語音內(nèi)容不僅包括醫(yī)生檢查報(bào)告信息，而且包括醫(yī)生與患者口語交流的內(nèi)容?？紤]到超聲醫(yī)學(xué)科的場景—不同病房，在檢查過程中醫(yī)生與患者的交流頻繁，經(jīng)常出現(xiàn)口語化內(nèi)容。因此，需要對醫(yī)生口述的內(nèi)容進(jìn)行無效語音過濾，才能形成有效的錄入和檢查報(bào)告。此外，在語音識(shí)別技術(shù)與超聲系統(tǒng)融合的過程中，還涉及多項(xiàng)關(guān)鍵技術(shù)，如圖2所示，包括：超聲醫(yī)學(xué)科復(fù)雜醫(yī)學(xué)環(huán)境下的語音抗噪音處理的技術(shù)、不同角色語音識(shí)別結(jié)果的分類技術(shù)、日常口語內(nèi)容書面化技術(shù)、語音識(shí)別文本的結(jié)構(gòu)化技術(shù)、語音識(shí)別內(nèi)容的完整性技術(shù)、在不連續(xù)識(shí)別文本下智能標(biāo)點(diǎn)符號(hào)標(biāo)記技術(shù)和語音識(shí)別系統(tǒng)與超聲醫(yī)學(xué)科業(yè)務(wù)系統(tǒng)結(jié)合下產(chǎn)品易用性和便捷性的實(shí)現(xiàn)方式等。

圖2 超聲語音應(yīng)用關(guān)鍵技術(shù)分解圖

（4）語音應(yīng)用集成方案設(shè)計(jì)：將語音識(shí)別應(yīng)用到超聲系統(tǒng)中，實(shí)現(xiàn)語音命令控制、語音書寫等功能，系統(tǒng)集成方案如圖3所示。語音識(shí)別系統(tǒng)與原超聲系統(tǒng)是各自獨(dú)立的兩個(gè)應(yīng)用程序，將語音識(shí)別系統(tǒng)的嵌入到原超聲系統(tǒng)中，形成新的智能語音超聲系統(tǒng)。語音識(shí)別系統(tǒng)提供語音指令、語音模板編輯、自由文本錄入等功能，智能語音超聲系統(tǒng)提供系統(tǒng)狀態(tài)以方便語音識(shí)別系統(tǒng)內(nèi)部進(jìn)行識(shí)別場景的轉(zhuǎn)換。

圖3 語音應(yīng)用集成方案

在運(yùn)行過程中，語音系統(tǒng)與超聲系統(tǒng)雙方不斷的進(jìn)行狀態(tài)、指令、模板和自由文本的交互和通信。雙方系統(tǒng)的交互流程如圖4所示，當(dāng)超聲系統(tǒng)調(diào)用語音系統(tǒng)接口時(shí)，語音系統(tǒng)接口會(huì)去偵測語音識(shí)別系統(tǒng)是否已啟動(dòng)，如果未啟動(dòng)則自動(dòng)啟動(dòng)語音識(shí)別系統(tǒng)。當(dāng)超聲系統(tǒng)卸載語音系統(tǒng)接口時(shí)，且語音系統(tǒng)接口的引用計(jì)數(shù)為0時(shí)，由語音系統(tǒng)接口關(guān)閉語音識(shí)別系統(tǒng)。

圖4 超聲系統(tǒng)和語音應(yīng)用之間的交互

通過不斷攻克技術(shù)難關(guān)，我院歷時(shí)13個(gè)月，完成基于智能語音識(shí)別技術(shù)的超聲助手應(yīng)用軟件開發(fā)工作和硬件定制工作。目前，實(shí)現(xiàn)與超聲系統(tǒng)完美集成的超聲助手，已經(jīng)在我院超聲醫(yī)學(xué)科的門診進(jìn)行推廣，實(shí)際應(yīng)用場景如圖5所示。經(jīng)3個(gè)月的系統(tǒng)測試和試運(yùn)行，超聲科用戶反饋良好。

圖5 超聲醫(yī)學(xué)科應(yīng)用場景圖

為準(zhǔn)確評估超聲助手的工作效果，我院組織了50人團(tuán)隊(duì)，專門針對測試模板使用便捷性和使用效率問題進(jìn)行分析。并在采用不同模板錄入的情況下，對比超聲助手和人工助手的工作時(shí)長，結(jié)果如表1所示?？梢?，醫(yī)生借助超聲助手可以實(shí)現(xiàn)到語音操控超聲系統(tǒng)、語音錄入超聲報(bào)告，平均時(shí)長為62.6秒；使用同類模板時(shí)，操作熟練的人工助手（超聲報(bào)告錄入員）的工作時(shí)長為62.5秒。兩者比值接近1:1，超聲助手的工作效率可以媲美人工。

表1 采用不同模板事超聲助手和人工助手的檢查時(shí)長對比表

在本案例中，重點(diǎn)攻克是語音信號(hào)處理難點(diǎn)，具體可以分為：“聽不清”、“誰在說”和“說什么”的問題。語音識(shí)別技術(shù)應(yīng)用于超聲醫(yī)學(xué)科，首先要解決的是提高聲源質(zhì)量，對噪聲進(jìn)行處理，計(jì)劃從聲源采集、語音識(shí)別技術(shù)的聲學(xué)模型兩個(gè)方面入手進(jìn)行技術(shù)研究。在實(shí)際的檢查診斷過程中，醫(yī)生和患者會(huì)進(jìn)行交流。例如醫(yī)生在檢查過程中說到病理指標(biāo)，患者會(huì)進(jìn)行詢問，而醫(yī)生會(huì)進(jìn)行解答或者安撫。在這個(gè)過程中，醫(yī)生在檢查過程中口述的檢查結(jié)果是有效內(nèi)容；患者口述的內(nèi)容是無效內(nèi)容，需要分離醫(yī)生和患者口述的內(nèi)容。除患者口述內(nèi)容外，還有醫(yī)生回答患者的內(nèi)容，醫(yī)生引導(dǎo)患者的內(nèi)容，雖然這些內(nèi)容由醫(yī)生口述，但仍屬于無效內(nèi)容，需要使用語義分離技術(shù)去除無效內(nèi)容。

（1）攻克語音信號(hào)處理難點(diǎn)，優(yōu)化聲學(xué)模型

通過定制麥克風(fēng)，醫(yī)生口述方向上的語音能量和相反方向上的語音能量比達(dá)到了30db，開發(fā)人員設(shè)計(jì)開發(fā)基礎(chǔ)能量的語音信號(hào)處理方法，過濾掉低能量的語音信號(hào)，保留高能量的語音信號(hào)，即保留醫(yī)生口述方向上的語音信號(hào)。在醫(yī)生工作的位置放置錄音設(shè)備，錄制環(huán)境噪聲、設(shè)備噪聲，采集了長達(dá)300個(gè)小時(shí)的聲音數(shù)據(jù)，覆蓋了遠(yuǎn)、中、近三個(gè)距離范圍。通過對聲音數(shù)據(jù)進(jìn)行清洗，與原有語音數(shù)據(jù)一同進(jìn)行訓(xùn)練，得到了優(yōu)化的聲學(xué)模型。

（2）挑戰(zhàn)說話人分離技術(shù)，優(yōu)化語言模型

通過對超聲數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，對已有語言模型的適用性進(jìn)行評估，明確了模型調(diào)整方向，進(jìn)行超聲專項(xiàng)數(shù)據(jù)收集、整理、標(biāo)注和訓(xùn)練，構(gòu)建超聲醫(yī)學(xué)科的?？普Z言模型。在保證整體醫(yī)學(xué)領(lǐng)域識(shí)別率的前提下，提高在噪聲環(huán)境下識(shí)別結(jié)果對醫(yī)院個(gè)性化語音數(shù)據(jù)的傾向。

在確定錄音設(shè)備方案的基礎(chǔ)上，結(jié)合超聲科的實(shí)際場景，確定采用較為成熟的基于距離的說話人分離技術(shù)方案，該方案利用兩個(gè)相鄰窗之間聲學(xué)特征分布的距離大小來衡量它們之間的相似性，從而達(dá)到區(qū)分的目的。本案中使用貝葉斯信息準(zhǔn)則（Bayesian Information Criterion，BIC）來進(jìn)行說話人分離。

（3）挑戰(zhàn)無效內(nèi)容分離技術(shù)，提升識(shí)別準(zhǔn)確率

在前述技術(shù)實(shí)現(xiàn)的基礎(chǔ)上，可以規(guī)避大量的無效語音，少量被識(shí)別的無效語音，轉(zhuǎn)化為了無效的內(nèi)容。通過自然語言理解和自然語言處理的引入，結(jié)合深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Networks，DNN）模型的構(gòu)建，對有效和無效的內(nèi)容進(jìn)行區(qū)分，進(jìn)一步達(dá)到分離的效果。通過梳理超聲科12大類檢查項(xiàng)目的200M正面語料數(shù)據(jù)、3G反面語料數(shù)據(jù)，清洗、標(biāo)注、訓(xùn)練，形成了DNN分離模型。

結(jié)合聲源抗噪和聲學(xué)模型優(yōu)化，在超聲科實(shí)際工作環(huán)境中進(jìn)行統(tǒng)計(jì)，語音識(shí)別準(zhǔn)確率達(dá)到96%；在沒有使用無效語音過濾技術(shù)時(shí)的語音識(shí)別準(zhǔn)確率為83%。如圖6所示，經(jīng)過采用無效語音過濾技術(shù)，語音識(shí)別準(zhǔn)確率提高了13%。使用分離模型對識(shí)別結(jié)果進(jìn)行過濾，有效內(nèi)容的正向測試集準(zhǔn)確率達(dá)到98.9%，無效內(nèi)容的反向測試集準(zhǔn)確率達(dá)到96.0%。

圖6 針對是否采用無效語音過濾技術(shù)的語音識(shí)別準(zhǔn)確率對比圖

（1）如何與現(xiàn)有超聲系統(tǒng)深度集成

目前語音識(shí)別技術(shù)應(yīng)用到超聲醫(yī)學(xué)科室，主要技術(shù)架構(gòu)是在超聲系統(tǒng)上進(jìn)行的集成，醫(yī)生通過語音指令，跳轉(zhuǎn)到語音應(yīng)用的模板編輯界面，進(jìn)行檢查和診斷的相關(guān)語音操作，完成之后再跳轉(zhuǎn)回超聲系統(tǒng)。后期需要將業(yè)務(wù)邏輯從語音應(yīng)用中提取出來，深度集成到超聲系統(tǒng)中，語音應(yīng)用負(fù)責(zé)實(shí)現(xiàn)語音采集、處理，語音識(shí)別，書面化、結(jié)構(gòu)化、指令化，將相應(yīng)的結(jié)果提供給超聲系統(tǒng)，由超聲系統(tǒng)完成模板編輯，語音指令等相關(guān)的操作。

（2）如何與醫(yī)生現(xiàn)有工作模式結(jié)合

目前語音錄入和鍵盤錄入的速度差不多，可以通過錄入元素后自動(dòng)跳轉(zhuǎn)到下一個(gè)元素的方式增加錄入效率，提高使用流暢度。后期需要針對醫(yī)生和錄入員組合方式，深入走訪和溝通，找到在這種工作方式中的痛點(diǎn)，例如如何應(yīng)用語音識(shí)別技術(shù)，來減少醫(yī)生和錄入員在溝通過程中的信息丟失和降低溝通頻度。盡可能低的影響醫(yī)生工作習(xí)慣的前提下，和現(xiàn)有工作模式流暢結(jié)合。

（3）錄音方案如何進(jìn)一步改進(jìn)

當(dāng)前的錄音方案，使用的是頭戴式無線麥克風(fēng)。其具有指向性穩(wěn)定、降噪性能突出、移動(dòng)方便的特點(diǎn)。但是在實(shí)際使用過程中發(fā)現(xiàn)，部分醫(yī)生會(huì)佩戴眼鏡，部分醫(yī)生由于工作需要會(huì)佩戴口罩和帽子，如果醫(yī)生佩戴了口罩、眼鏡、帽子，往往對佩戴頭戴式的麥克風(fēng)有一定的排斥心理。因此，需要進(jìn)一步思考如何對錄音方案做改進(jìn)，提升舒適性、便捷性和穩(wěn)定性，在造型上更加多樣化，在保證抗噪性能的基礎(chǔ)上，讓醫(yī)生不排斥甚至樂于使用。

語音超聲助手的實(shí)踐案例驗(yàn)證了語音在超聲醫(yī)學(xué)科輔助醫(yī)生開展檢查工作的可行性，讓語音識(shí)別技術(shù)在超聲醫(yī)學(xué)科成功落地，推動(dòng)了智慧醫(yī)院建設(shè)在超聲醫(yī)學(xué)科的進(jìn)程。在實(shí)際應(yīng)用中，無論是全語音操控、識(shí)別率、麥克風(fēng)抗噪能力、無效語音過濾能力、結(jié)構(gòu)化語音錄入速度等均達(dá)到了預(yù)期，達(dá)到了實(shí)際上線的標(biāo)準(zhǔn)，并有進(jìn)一步優(yōu)化改進(jìn)的空間。語音超聲助手作為一個(gè)典型的人工智能應(yīng)用案例，不僅有自身的實(shí)用價(jià)值，而且其研究方法和技術(shù)積累也具有可復(fù)制性，具有較高的臨床實(shí)踐推廣意義。