接口参考(C++)
【免费下载链接】hixlHIXL(Huawei Xfer Library)是一个灵活、高效的昇腾单边通信库,面向集群场景提供简单、可靠、高效的点对点数据传输能力。项目地址: https://gitcode.com/cann/hixl
简介
LLM-DataDist
- LLM-DataDist相关接口存放在:"INSTALL_DIR/include/llm_datadist/llm_datadist.h"。INSTALL_DIR请替换为CANN软件安装后文件存储路径。若安装的Ascend-cann-toolkit软件包,以root安装举例,则安装后文件存储路径为:/usr/local/Ascend/cann。
- LLM-DataDist接口对应的库文件是:libllm_datadist.so。
HIXL:Huawei Xfer Library
- HIXL相关接口存放在:"INSTALL_DIR/include/hixl/hixl.h"。INSTALL_DIR请替换为CANN软件安装后文件存储路径。若安装的Ascend-cann-toolkit软件包,以root安装举例,则安装后文件存储路径为:/usr/local/Ascend/cann。
- HIXL接口对应的库文件是:libcann_hixl.so。
- HIXL_CS相关接口存放在:"INSTALL_DIR/include/cs/hixl_cs.h"。INSTALL_DIR请替换为CANN软件安装后文件存储路径。若安装的Ascend-cann-toolkit软件包,以root安装举例,则安装后文件存储路径为:/usr/local/Ascend/cann。该接口仅支持Ascend 950PR/Ascend 950DT。
- HIXL_CS接口对应的库文件是:libcann_hixl.so。仅支持Ascend 950PR/Ascend 950DT。
支持的产品形态如下:
- Atlas A2 训练系列产品/Atlas A2 推理系列产品:仅支持Atlas 800I A2 推理服务器、A200I A2 Box 异构组件。该场景下Server采用HCCS传输协议时,LLM-DataDist相关接口仅支持D2D。
- Atlas A3 训练系列产品/Atlas A3 推理系列产品:该场景下采用HCCS传输协议时,LLM-DataDist相关接口不支持Host内存作为远端Cache。
- Ascend 950PR/Ascend 950DT:超节点内使用UB协议,超节点间使用RoCE协议。
接口列表
接口列表如下:
- LLM-DataDist接口
- LLM-DataDist数据结构
- LLM-DataDist错误码
- HIXL_CS接口
- HIXL接口
- HIXL数据结构
- HIXL错误码
- 不支持的接口
- 待废弃_ADXL接口
- 待废弃_ADXL数据结构
- 待废弃_ADXL错误码
【免费下载链接】hixlHIXL(Huawei Xfer Library)是一个灵活、高效的昇腾单边通信库,面向集群场景提供简单、可靠、高效的点对点数据传输能力。项目地址: https://gitcode.com/cann/hixl
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考