【医疗设备】内窥镜及手术机器人解决方案—FPGA + GPU 异架构平台-ALINX 芯驿电子科技（上海）有限公司

解决方案

医疗设备

【医疗设备】内窥镜及手术机器人解决方案—FPGA + GPU 异架构平台

针对内窥镜和手术机器人行业需求，ALINX 基于 AMD Zynq UltraScale+ MPSoC + NVIDIA Jetson Orin NX 的异构设计，满足高速数据传输、AI 计算处理；高清视频图像采处理集、8K 高清视频图像显示、3D 影像处理；同步左右眼视频数据，同步精度 1 行；端到端延时 50 毫秒以内；荧光并支持 SDI/HDMI 接口等需求。

医疗解决方案-2.jpg

3D 视频支持

● 单路视频信号或者 3D 视频信号输出可选
● 左右眼图像时差小于 100 微秒
● 图像延时时 50 毫秒以内
● 输出清晰度不低于主机直出
● 输出 3D 图像格式需要能满足 line-by-line 和 side-by-side 两种 3D 格式的输出，便于不同显示设备的显示、支持大小不一的画中画以及主显示页面可以自由缩放

高速精准图像处理

● 亮度调整
● 色彩校准
● 拍照
● 3D 参数校准
● 数字无极变焦
● 显示屏左右眼切换
● 图像旋转
● 荧光对比度调节
● 自动白平衡

高清编解码与存储

● 支持 H.264 和 H.265 编解码
● 允许用户存储后端静态图片及动态视频
● 外部开关或者逻辑控制来切换编码和解码功能
● 编码端支持双路单帧合并大帧编码，支持两路左右眼单帧同步环出
● H.265 压缩保存或不压缩保存可选
● 解码端支持大帧解码和图像拆分，输出两路同步的左右眼图像，同时环出两路左右眼接显示器用来预览

多种影像模式

● 近景模式
● 超近景模式
● 可根据不同组织可提供不同图像增强模式，提高图像对比度，比如：血管增强、轮廓增强

FPGA+GPU 异架构平台-内窥镜解决方案

ALINX 基于 AMD Zynq UltraScale+ MPSoC + NVIDIA Jetson Orin NX 的异构设计，可以实时8K 视频流、3D、荧光并支持 SDI/HDMI 接口、AI 智能辅助。8K 图像传感器捕捉图像信息，捕获的视频流由 Zynq UltraScale+ MPSoC FPGA 进行视频图像信号处理传输。NVIDIA Jetson Orin NX 对接收的视频图像进行 AI 计算检测分析，将处理后的高清视频图像通过显示接口呈现在高清显示器上供外科医生观看，图像色彩清晰，延时 50 毫秒以内

医疗解决方案-3.jpg

FPGA+GPU 异架构平台-手术机器人解决方案

Zynq UltraScale+ MPSoC FPGA 为核心技术的手术机器人系统可以实时 3D、多种影像模式、左右眼图像时差小于100 微秒、 8K 视频流、回环显示、100G 光纤网络传输、AI 智能辅助。本地医生端协助，8K 图像传感器捕捉图像信息，Zynq UltraScale+ MPSoC FPGA 模块进行图像处理，然后传输给 NVIDIA Jetson Orin NX 编码合并转发，通过 100G 光纤接口传输到远程 NVIDIA Jetson Orin NX 进行接收分解解码，然后显示在远程高清显示器上供远端外科医生观看操作

医疗解决方案-4.jpg

FPGA+GPU 异架构-视频图像处理开发平台

基于 AMD Zynq UltraScale+ MPSoC + NVIDIA Jetson Orin NX 的异构设计，满足高速数据传输、AI 边缘计算，专业的高清 8K 视频图像采集处理需求，丰富 12G-SDI、DP、HDMI 视频接口，100G 光纤接口，适用于工业和制造业、医疗内窥镜和手术机器人、机器人开发、智慧城市、安防等多领域解决方案

·XCZ19EG
FPGA 器件
·Jetson Orin NX
GPU
·70T/100T
AI 性能
·12G-SDI
8 路双向接口
·8K 高清
HDMI 2.1 输入输出
·100G
2 路光纤接口
·1143K
Logic Cells
·16GB | 8GB
PS | PL DDR4

Zynq UltraScale+ MPSoC 系统

FPGA

器件：XCZU19EG-2FFVC1760I，封装为 FFVC1760
逻辑资源：Logic Cells 1,143K，Flip-Flops 1,045K，LUTs 523K，Block RAM：34.6Mb，DSP Slices：1968，GTH 16.3Gb/s 44 个

CPU

应用处理单元：4x ARM Cortex-A53, 1.3GHz；
实时处理单元：双核 Cortex™-R5, 533MHz

GPU

Mali™-400 MP2，频率高达 667MHz

缓存 | 存储

PS 8GB DDR4，PL 16GB DDR4 | 32GB eMMC FLASH，128MB QSPI FLASH

12G SDI 接口

8 路双向 12G SDI 接口，支持 SD/HD/3G/6G/12G SDI 速率，最高支持 4K/60 帧视频输入或者输出

100G 光纤接口

2 路 QSFP100G 光纤接口，每路总体数据速率为 100Gbps

其它接口

1 路 FMC HPC的扩展口，外接各种 FMC 模块；千兆以太网、JTAG、Uart 等接口

NVIDIA Jetson Orin NX 系统

型号

Jetson Orin NX 8GB (选配)

Jetson Orin NX 16GB (选配)

算力

70TOPS

100TOPS

CPU

6 核 NVIDIA Arm Cortex A78AE V8.2 64 位 CPU，2GHz

8 核 NVIDIA Arm Cortex A78AE V8.2 64 位 CPU，2GHz

GPU

1024 核 NVIDIA Ampere GPU with 32 Tensor Cores

显存

8GB 128bit LPDDR5

16GB 128bit LPDDR5

视频编码

1x 4K60 (H.265); 3x 4K30 (H.265 6x 1080p60 (H.265); 12x 1080p30 (H.265)

视频解码

1x 8K30 (H.265); 2x 4K60 (H.265); 4x 4K30 (H.265); 9x 1080p60 (H.265); 18x 1080p30 (H.265)

DP显示接口

1 路 Display Port 输出接口，用于视频图像的显示，最高支持 4K@30Hz 或者 1080P@60Hz 输出

其它接口

NVMe M.2 SSD 硬盘（需自购）、M.2 WIFI/BT、USB3.0、千兆以太网等接口

功能接口

方案文档

内窥镜及手术机器人解决方案.PDF

解决方案