mirror of
https://github.com/GuijiAI/duix.ai.git
synced 2026-03-12 17:51:43 +08:00
update
This commit is contained in:
@@ -2,21 +2,40 @@
|
||||
|
||||
简体中文 | [English](./GJLocalDigitalSDK_en.md)
|
||||
|
||||
### 物料准备
|
||||
GJLocalDigitalSDK.framework (需设置为 Embed & Sign)
|
||||
|
||||
---
|
||||
|
||||
|
||||
|
||||
## 一、产品概述
|
||||
|
||||
### 开发环境
|
||||
开发工具: Xcode
|
||||
`硅基本地版 DUIX-PRO SDK` 是一套轻量级的本地部署 2D 虚拟人解决方案,支持通过语音实时驱动虚拟人形象。该 SDK 可在 iOS 设备上运行,具备低延迟、高帧率、边缘计算离线运行等优势。
|
||||
|
||||
最低系统要求: iOS 12.0+
|
||||
### 1.1 适用场景
|
||||
|
||||
设备要求: iPhone 8 及以上机型
|
||||
- **部署成本低**:无需服务端支持,适合大屏终端、本地 App 快速集成;
|
||||
- **网络依赖小**:本地模型运行,支持政务大厅、展厅、机场等弱网环境;
|
||||
- **功能多样化**:适用于导览播报、业务咨询、数字迎宾等 AI 数字人应用场景。
|
||||
|
||||
## 快速开始
|
||||
### 1.2 核心功能
|
||||
|
||||
- **数字人渲染与驱动**:支持本地渲染虚拟人形象,响应语音输入实时口型驱动;
|
||||
- **语音播报控制**:支持音频播放、PCM 推流、动作与播报联动;
|
||||
- **动作控制系统**:可自定义启动、停止、随机动作;
|
||||
|
||||
本 SDK 提供本地部署的 2D 数字人渲染及语音播报能力,适用于 iOS 12+ 版本的设备。支持语音驱动数字人形象的实时呈现,具备低延迟、低功耗、高性能等特点。
|
||||
|
||||
---
|
||||
|
||||
|
||||
## 二、开发准备
|
||||
|
||||
- **SDK 组件**:`GJLocalDigitalSDK.framework`(设置为 Embed & Sign)
|
||||
- **开发环境**:
|
||||
- Xcode 12 及以上
|
||||
- iPhone 8 及以上设备
|
||||
- iOS 12.0+
|
||||
|
||||
---
|
||||
|
||||
## 三、快速开始
|
||||
```
|
||||
NSInteger result = [[GJLDigitalManager manager] initBaseModel:weakSelf.basePath
|
||||
digitalModel:weakSelf.digitalPath
|
||||
@@ -35,9 +54,11 @@ if (result == 1) {
|
||||
}
|
||||
}];
|
||||
}
|
||||
|
||||
|
||||
---
|
||||
|
||||
```
|
||||
## 调用流程
|
||||
## 四、调用流程
|
||||
```
|
||||
1.准备资源:同步数字人所需的基础配置和模型文件
|
||||
|
||||
@@ -52,30 +73,9 @@ if (result == 1) {
|
||||
6.释放资源:toStop(结束渲染)
|
||||
```
|
||||
|
||||
### SDK回调
|
||||
---
|
||||
|
||||
```
|
||||
/*
|
||||
*数字人渲染报错
|
||||
*错误码说明:
|
||||
* 0 = 未授权
|
||||
* -1 = 未初始化
|
||||
* 50009 = 资源超时/未配置
|
||||
*/
|
||||
@property (nonatomic, copy) void (^playFailed)(NSInteger code,NSString *errorMsg);
|
||||
|
||||
/*
|
||||
*音频播放结束回调
|
||||
*/
|
||||
@property (nonatomic, copy) void (^audioPlayEnd)(void);
|
||||
|
||||
/*
|
||||
*音频播放进度回调
|
||||
/
|
||||
@property (nonatomic, copy) void (^audioPlayProgress)(float current,float total);
|
||||
```
|
||||
|
||||
## 方法
|
||||
## 五、核心功能接口
|
||||
|
||||
|
||||
### 初始化配置
|
||||
@@ -234,15 +234,8 @@ if (result == 1) {
|
||||
```
|
||||
|
||||
|
||||
### 动作控制
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
## 动作控制
|
||||
|
||||
### 随机动作
|
||||
|
||||
```
|
||||
/*
|
||||
* 启用随机动作(建议在首段音频开始时调用)
|
||||
@@ -251,8 +244,6 @@ if (result == 1) {
|
||||
-(NSInteger)toRandomMotion;
|
||||
```
|
||||
|
||||
### 开始动作
|
||||
|
||||
```
|
||||
/*
|
||||
* 启用开始动作(首段音频开始时调用)
|
||||
@@ -261,7 +252,6 @@ if (result == 1) {
|
||||
-(NSInteger)toStartMotion;
|
||||
```
|
||||
|
||||
### 结束动作
|
||||
```
|
||||
/*
|
||||
* 结束动作(末段音频结束时调用)
|
||||
@@ -278,5 +268,61 @@ if (result == 1) {
|
||||
// 检查授权状态(1=已授权)
|
||||
-(NSInteger)isGetAuth;
|
||||
|
||||
---
|
||||
|
||||
## 六、回调定义
|
||||
|
||||
```
|
||||
/*
|
||||
*数字人渲染报错
|
||||
*错误码说明:
|
||||
* 0 = 未授权
|
||||
* -1 = 未初始化
|
||||
* 50009 = 资源超时/未配置
|
||||
*/
|
||||
@property (nonatomic, copy) void (^playFailed)(NSInteger code,NSString *errorMsg);
|
||||
|
||||
/*
|
||||
*音频播放结束回调
|
||||
*/
|
||||
@property (nonatomic, copy) void (^audioPlayEnd)(void);
|
||||
|
||||
/*
|
||||
*音频播放进度回调
|
||||
/
|
||||
@property (nonatomic, copy) void (^audioPlayProgress)(float current,float total);
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 七、版本更新记录
|
||||
|
||||
### v1.2.0
|
||||
|
||||
- 新增 PCM 推流支持
|
||||
|
||||
### v1.0.3
|
||||
|
||||
- 支持透明背景
|
||||
- 优化模型解压内存
|
||||
|
||||
### v1.0.2
|
||||
|
||||
- 支持问答 / 语音识别 / 动作标注 / 合成播报
|
||||
|
||||
### v1.0.1
|
||||
|
||||
- 初始版本:授权 + 渲染 + 播报
|
||||
|
||||
---
|
||||
|
||||
## 八、参考开源项目
|
||||
|
||||
| 模块 | 描述 |
|
||||
| --------------------------------------- | --------------- |
|
||||
| [ONNX](https://github.com/onnx/onnx) | 通用人工智能模型格式 |
|
||||
| [ncnn](https://github.com/Tencent/ncnn) | 高性能神经网络推理框架(腾讯) |
|
||||
|
||||
---
|
||||
|
||||
如需更多集成帮助,请联系技术支持。
|
||||
|
||||
Reference in New Issue
Block a user