diff --git a/duix-ios/GJLocalDigitalSDK.md b/duix-ios/GJLocalDigitalSDK.md index 8b613ef..7a6fc19 100644 --- a/duix-ios/GJLocalDigitalSDK.md +++ b/duix-ios/GJLocalDigitalSDK.md @@ -2,21 +2,40 @@ 简体中文 | [English](./GJLocalDigitalSDK_en.md) -### 物料准备 - GJLocalDigitalSDK.framework (需设置为 Embed & Sign) -  +--- - - +## 一、产品概述 -### 开发环境 -开发工具: Xcode +`硅基本地版 DUIX-PRO SDK` 是一套轻量级的本地部署 2D 虚拟人解决方案,支持通过语音实时驱动虚拟人形象。该 SDK 可在 iOS 设备上运行,具备低延迟、高帧率、边缘计算离线运行等优势。 -最低系统要求: iOS 12.0+ +### 1.1 适用场景 -设备要求: iPhone 8 及以上机型 +- **部署成本低**:无需服务端支持,适合大屏终端、本地 App 快速集成; +- **网络依赖小**:本地模型运行,支持政务大厅、展厅、机场等弱网环境; +- **功能多样化**:适用于导览播报、业务咨询、数字迎宾等 AI 数字人应用场景。 -## 快速开始 +### 1.2 核心功能 + +- **数字人渲染与驱动**:支持本地渲染虚拟人形象,响应语音输入实时口型驱动; +- **语音播报控制**:支持音频播放、PCM 推流、动作与播报联动; +- **动作控制系统**:可自定义启动、停止、随机动作; + +本 SDK 提供本地部署的 2D 数字人渲染及语音播报能力,适用于 iOS 12+ 版本的设备。支持语音驱动数字人形象的实时呈现,具备低延迟、低功耗、高性能等特点。 + +--- + + +## 二、开发准备 + +- **SDK 组件**:`GJLocalDigitalSDK.framework`(设置为 Embed & Sign) +- **开发环境**: + - Xcode 12 及以上 + - iPhone 8 及以上设备 + - iOS 12.0+ + +--- + +## 三、快速开始 ``` NSInteger result = [[GJLDigitalManager manager] initBaseModel:weakSelf.basePath digitalModel:weakSelf.digitalPath @@ -35,9 +54,11 @@ if (result == 1) { } }]; } - + +--- + ``` -## 调用流程 +## 四、调用流程 ``` 1.准备资源:同步数字人所需的基础配置和模型文件 @@ -52,30 +73,9 @@ if (result == 1) { 6.释放资源:toStop(结束渲染) ``` -### SDK回调 +--- -``` -/* -*数字人渲染报错 -*错误码说明: -* 0 = 未授权 -* -1 = 未初始化 -* 50009 = 资源超时/未配置 -*/ -@property (nonatomic, copy) void (^playFailed)(NSInteger code,NSString *errorMsg); - -/* -*音频播放结束回调 -*/ -@property (nonatomic, copy) void (^audioPlayEnd)(void); - -/* -*音频播放进度回调 -/ -@property (nonatomic, copy) void (^audioPlayProgress)(float current,float total); -``` - -## 方法 +## 五、核心功能接口 ### 初始化配置 @@ -234,15 +234,8 @@ if (result == 1) { ``` +### 动作控制 - - - - -## 动作控制 - -### 随机动作 - ``` /* * 启用随机动作(建议在首段音频开始时调用) @@ -251,8 +244,6 @@ if (result == 1) { -(NSInteger)toRandomMotion; ``` -### 开始动作 - ``` /* * 启用开始动作(首段音频开始时调用) @@ -261,7 +252,6 @@ if (result == 1) { -(NSInteger)toStartMotion; ``` -### 结束动作 ``` /* * 结束动作(末段音频结束时调用) @@ -278,5 +268,61 @@ if (result == 1) { // 检查授权状态(1=已授权) -(NSInteger)isGetAuth; +--- +## 六、回调定义 +``` +/* +*数字人渲染报错 +*错误码说明: +* 0 = 未授权 +* -1 = 未初始化 +* 50009 = 资源超时/未配置 +*/ +@property (nonatomic, copy) void (^playFailed)(NSInteger code,NSString *errorMsg); + +/* +*音频播放结束回调 +*/ +@property (nonatomic, copy) void (^audioPlayEnd)(void); + +/* +*音频播放进度回调 +/ +@property (nonatomic, copy) void (^audioPlayProgress)(float current,float total); +``` + +--- + +## 七、版本更新记录 + +### v1.2.0 + +- 新增 PCM 推流支持 + +### v1.0.3 + +- 支持透明背景 +- 优化模型解压内存 + +### v1.0.2 + +- 支持问答 / 语音识别 / 动作标注 / 合成播报 + +### v1.0.1 + +- 初始版本:授权 + 渲染 + 播报 + +--- + +## 八、参考开源项目 + +| 模块 | 描述 | +| --------------------------------------- | --------------- | +| [ONNX](https://github.com/onnx/onnx) | 通用人工智能模型格式 | +| [ncnn](https://github.com/Tencent/ncnn) | 高性能神经网络推理框架(腾讯) | + +--- + +如需更多集成帮助,请联系技术支持。