“人工智能+”時代， 作為AI人工智能三大要素之一的“算力”成為醫院信息基礎設施的重要部分。在醫院配置算力基礎設施，為DeepSeek等大模型的內部部署、模型訓練和推理等AI應用和研究，提供一個高速、穩定、安全的AI環境，是當前國內醫院信息部門面臨的任務。

算力基礎設施類型

　　醫院AI算力基礎設施可以分為AI訓練、AI推理、AI嵌入和AI桌面設施4類，如圖1所示。

圖1 醫院AI算力設施類別

　　AI訓練設施主要用于需要高算力的大模型部署(例如DeepSeek全量模型)、模型研發和訓練以及大模型微調。AI推理設施用于中小規模模型部署(例如DeepSeek蒸餾模型)、模型的推理(即訓練好的模型的應用)，也可以用于模型的研發。AI推理設施要考慮支撐醫院大量AI業務應用(例如臨床輔助診斷、影像輔助診斷等)，這些業務應用數量較多，但算力要求不高，為了充分利用算力資源而需要采用算力卡虛擬化或多實例技術，實現算力按需配置。AI嵌入設施主要用于嵌入式邊緣計算場景，進行嵌入模型的訓練和推理。AI桌面設施是指在現有桌面電腦上擴展AI算力，隨著AI的廣泛應用，個人設備將具備日益強大的AI功能，這就要求桌面計算機能提供充足的AI算力。

算力基礎設施

　　1.AI服務器

　　AI服務器主要是為人工智能的機器學習提供計算能力支持。AI服務器的配置需要根據用戶應用需求，選擇合適的CPU、內存、硬盤(SSD或機械硬盤)，以及提供AI算力的算力卡、算力卡內存。如果算力卡不支持顯示器接口，還需要配置顯卡。服務器的機箱尺寸、各類接口和卡槽，需要根據算力卡的尺寸、接口類型和張數設置。算力卡耗電較高，服務器電源功率必須充分滿足算力卡的功耗與散熱要求。除了硬件，AI服務器還需要安裝操作系統以及AI架構件和工具包軟件等。

　　2.AI算力卡

　　AI算力卡是算力服務器的核心部件， 能夠處理大規模數據集和復雜的數學運算，適用于機器學習、深度學習、自然語言處理、計算機視覺等領域的應用，通過高性能計算設備，AI算力卡可以加速神經網絡的訓練過程，提高模型精度。

　　常用的AI算力卡有英偉達、英特爾、AMD等的圖形處理單元(GPU)，谷歌的張量處理單元(TPU)，以及華為的神經網絡處理單元(NPU)等。算力卡的主要性能指標包括計算精度、內核類型和內存容量，下面分別介紹。

　　(1)主要性能指標

　　第一，計算精度與速度

　　常用的算力卡計算精度如表1所示。除了表中所列的精度指標，不同的算力卡廠家還會有其他的精度指標。

表1 算力卡計算精度

　　表2是算力卡的計算速度類型和單位。

表2 算力卡的計算速度

　　算力卡的計算精度和運算速度的選擇，需要按照算力卡的應用場景來確定。

　　第二，內核

　　算力卡芯片的內核用于數據計算，其核數量遠遠大于CPU，甚至高達上萬個。英偉達GPU內核主要有CUDA核和?Tensor核兩類。

　　CUDA核主要用于執行加法、乘法運算通用計算任務：1)執行并行計算任務；2)支持大規模的浮點運算和整數運算，適用于圖像和視頻處理、科學計算以及實時物理計算等；3)多線程并行執行，能夠一次性運行數千甚至數百萬個線程(一個CUDA核可以并行處理多個線程)。?

　　?Tensor Core為加速深度學習中的張量運算設計：1)優化了矩陣乘法和累加運算，這些運算是深度學習的核心計算任務；2)在深度學習推理和訓練方面表現出色，能夠大幅提高計算性能，同時維持較低的精度損失。

　　?

　　第三，內存

　　算力卡的內存(常稱為“顯存”)是指算力卡專用的存儲芯片，用于存儲算力卡需要快速讀寫的數據信息，如模型參數、數據緩存等。顯存的容量通常以GB(23?)為單位，容量越大，算力卡能處理的數據規模就越大。

　　算力卡內存的容量需要根據模型的使用情況考慮，對于深度學習神經網絡模型，算力卡內存容量可以按下列公式估算：

　　算力卡內存容量 =(1.2-1.4) X (訓練模型參數量 X 計算精度的字節(Byte)數)系數(1.2-1.4)是在模型參數所需要內存的基礎上，增加的額外開銷，如數據緩存等。模型訓練系數可選1.4，模型推理可選1.2。例如，用于推理的模型參數是70B(70X10?)，計算精度FP16(2Byte)，算力卡內存容量 = 1.2 X70X109 X2，結果是168，內存容量約為168GB。在配置算力卡內存時，還需要考慮模型用戶并發數。在確定內存容量前，用戶應向模型研發人員了解內存的實際需求。

　　采用量化技術，將模型參數的精度從浮點數降低到低位表示(如表1中INT8、INT4)，可以顯著降低內存和計算需求，使模型在資源有限的設備上更高效地部署。因為降低精度可能會影響輸出的準確性，需要仔細管理以保持模型的性能。

　　顯存的另一個指標是帶寬，顯存帶寬決定了GPU從顯存中讀取或寫入數據的速度。顯存帶寬越高，數據傳輸越快，算力卡的處理效率也越高。

　　第四，功耗

　　功耗是算力卡的重要指標，在算力卡規格書中通常以TDP(熱設計功耗)、典型功耗或最大功耗等表示。算力卡的功耗和散熱是AI服務器需要考慮的重要問題，在服務器的選型時需要充分考慮，并不是所有服務器都考慮了GPU的使用，特別是GPU模組的使用場景。

　　(2)英偉達GPU

　　英偉達的圖形處理單元GPU(Graphic Processing Unit)是目前應用最廣泛的AI算力卡，早期的GPU主要用于計算機的顯卡，為圖形和視頻渲染與處理提供計算能力。由于GPU具有的強大并行計算能力，在AI時代被廣泛用于AI算力，為AI模型訓練和推理提供高速數據計算支持。部分新一代的數據中心級GPU已經不再提供顯卡接口，而是專用于人工智能深度學習。

　　表3是英偉達GPU卡的分類。對標醫院AI算力基礎設施分類，數據中心級GPU適用于AI訓練設施和AI推理設施，專業級適用于AI推理設施，消費級適用于AI桌面設施。AI嵌入設施可采用英偉達的邊緣計算專用設備(如Jetson系列)。

表3 GPU的類型

　　表4列出部分GPU的性能指標。

表4 GPU的性能指標 (表內參數值僅供參考，以英偉達官方公布為準)

　　表5列出GPU的其他主要指標。表5所列的指標并不是每種型號GPU都具備的，需要時應查詢英偉達官網資料。

表5 GPU的其他主要指標

　　GPU的選型主要是依據AI模型算法的基礎框架(如英偉達GPU的CUDA)、AI算力服務器的用途(訓練、推理或微調等)、模型算法類型(機器學習或深度學習)與精度、應用場景以及國內供貨情況等因素綜合考慮。對于醫院級的AI中心服務器，可以采用數據中心級GPU，保證有一定擴展空間。此外，還要注意即使是相同品牌的GPU，但型號不同，甚至內存容量不同，通常都不能直接合并使用(例如，將幾張同型號但顯存容量不同的GPU顯存相加)，需要通過數據并行或模型并行的方法解決。遇到這方面的問題，建議先咨詢GPU供應方。

　　(3)算力卡的開發環境

　　算力卡的開發環境通常指的是用于運行和開發人工智能(AI)應用程序的計算資源和軟件配置。算力卡大廠都有與自家算力卡配套的開發環境，包括英偉達GPU的CUDA架構，華為NPU的CANN架構和AMD GPU的ROCm代碼平臺等。英偉達GPU的開發環境主要圍繞其專有的CUDA(Compute Unified Device Architecture)平臺構建。圖2(左圖)描述了英偉達GPU的開發環境。

　　CUDA提供了一個并行計算平臺和編程模型，開發者可以使用英偉達GPU的處理能力來加速計算密集型應用。英偉達的CUDA平臺與GPU深度綁定，對于使用CUDA平臺開發的應用程序(算法模型)，若使用其他GPU，需通過適配層將CUDA代碼轉換為兼容目標GPU的指令，如圖2(右圖)所示。

圖2 (左圖)英偉達GPU的開發環境，(右圖)非英偉達GPU通過適配層兼容CUDA開發環境

小結

　　今年以來， DeepSeek大模型以其技術優勢和成本效益，在國內醫療行業和場景中得到廣泛應用。基于內部數據安全的考慮，許多醫療機構在應用DeepSeek大模型時，采用了內部部署方式。如何建設和配置AI算力設施，成為醫院信息工程師關心的問題。本文僅就AI算力核心的算力卡相關內容做了介紹，希望對大家有所幫助。