gavin/Fay
1
0
Fork 0
mirror of https://github.com/xszyou/Fay.git synced 2026-03-12 17:51:28 +08:00
Code Issues Packages Projects Releases Wiki Activity
Files
38db690ae8f3ec04494c6c0b4f36c91b873c4914
Fay/README.md

138 lines
3.5 KiB
Markdown
Raw Normal View History

年翻更新 - 全新ui - 全面优化websocket逻辑，提高数字人和ui连接的稳定性及资源开销 - 全面优化唤醒逻辑，提供稳定的普通唤醒模式和前置词唤醒模式 - 优化拾音质量，支持多声道麦克风拾音 - 优化自动播放服务器的对接机制，提供稳定和兼容旧版ue工程的对接模式 - 数字人接口输出机器人表情，以适应新fay ui及单片机的数字人表情输出 - 使用更高级的音频时长计算方式，可以更精准控制音频播放完成后的逻辑 - 修复点击关闭按钮会导致程序退出的bug - 修复没有麦克风的设备开启麦克风会出错的问题 - 为服务器主机地址提供配置项，以方便服务器部署
2024-10-26 11:34:55 +08:00
Update
2022-06-20 11:05:10 +08:00
<div align="center">
<br>
年翻更新 - 全新ui - 全面优化websocket逻辑，提高数字人和ui连接的稳定性及资源开销 - 全面优化唤醒逻辑，提供稳定的普通唤醒模式和前置词唤醒模式 - 优化拾音质量，支持多声道麦克风拾音 - 优化自动播放服务器的对接机制，提供稳定和兼容旧版ue工程的对接模式 - 数字人接口输出机器人表情，以适应新fay ui及单片机的数字人表情输出 - 使用更高级的音频时长计算方式，可以更精准控制音频播放完成后的逻辑 - 修复点击关闭按钮会导致程序退出的bug - 修复没有麦克风的设备开启麦克风会出错的问题 - 为服务器主机地址提供配置项，以方便服务器部署
2024-10-26 11:34:55 +08:00
<img src="readme/icon.png" alt="Fay">
<h1>FAY</h1>
<h3>Fay数字人框架</h3>
</div>
年番更新 1、修复录音失败时输出问题； 2、修复linux端启动时，因subprocess报错问题； 3、修复获取状态接口报错问题； 4、新增数字人定位、目标设置； 5、新增启动日志提醒； 6、新增支持流式llm及tts； 7、修正agent多个bug； 8、支持deepseek https://qqk9ntwbcit.feishu.cn/wiki/Ghh9wFpMIiiFxTk8SlQcZLIrnMf
2025-02-12 22:20:37 +08:00
！！重要通知：我们已经把Fay的三个版本合并成1个，并致力提供更稳定更全面的功能。
年翻更新 - 全新ui - 全面优化websocket逻辑，提高数字人和ui连接的稳定性及资源开销 - 全面优化唤醒逻辑，提供稳定的普通唤醒模式和前置词唤醒模式 - 优化拾音质量，支持多声道麦克风拾音 - 优化自动播放服务器的对接机制，提供稳定和兼容旧版ue工程的对接模式 - 数字人接口输出机器人表情，以适应新fay ui及单片机的数字人表情输出 - 使用更高级的音频时长计算方式，可以更精准控制音频播放完成后的逻辑 - 修复点击关闭按钮会导致程序退出的bug - 修复没有麦克风的设备开启麦克风会出错的问题 - 为服务器主机地址提供配置项，以方便服务器部署
2024-10-26 11:34:55 +08:00
我们致力于思考面向终端的数字人落地应用，并通过完整代码把思考结果呈现给大家。Fay数字人框架，向上适配各种数字人模型技术，向下接入各式大语言模型，并且便于更换诸如TTS、ASR等模型，为单片机、app、网站提供全面的数字人应用接口。
Update README.md
2024-10-31 00:01:40 +08:00
更新日志：https://qqk9ntwbcit.feishu.cn/wiki/UlbZwfAXgiKSquk52AkcibhHngg
文档：https://qqk9ntwbcit.feishu.cn/wiki/JzMJw7AghiO8eHktMwlcxznenIg
年翻更新 - 全新ui - 全面优化websocket逻辑，提高数字人和ui连接的稳定性及资源开销 - 全面优化唤醒逻辑，提供稳定的普通唤醒模式和前置词唤醒模式 - 优化拾音质量，支持多声道麦克风拾音 - 优化自动播放服务器的对接机制，提供稳定和兼容旧版ue工程的对接模式 - 数字人接口输出机器人表情，以适应新fay ui及单片机的数字人表情输出 - 使用更高级的音频时长计算方式，可以更精准控制音频播放完成后的逻辑 - 修复点击关闭按钮会导致程序退出的bug - 修复没有麦克风的设备开启麦克风会出错的问题 - 为服务器主机地址提供配置项，以方便服务器部署
2024-10-26 11:34:55 +08:00
## **功能特点**
- 完全开源，商用免责
- 支持全离线使用
fay进化 1、修复面板机器人表情“思考中”不释放问题； 2、修复因声卡导致pygame出错而无法继续运行问题； 3、兼容mp3及wav音频格式的tts； 4、修复流式空字符tts出错问题； 5、修复因tts出错不解锁麦克风问题； 6、防止流式音频之间被插话； 7、修复"gpt_stream" api出错不回消息； 8、修复aliyun tts的嗒嗒声。
2025-03-12 22:41:01 +08:00
- 全时流式的支持
自然进化 2025年10月15日，Fay升级全新的工具调用机制，实现ai ide级的工具调用稳定性。（参考openai codex cli的实现逻辑）: 1. 工具调用逻辑由ReAct替换为更稳定的workflow; 2. 为mcp服务补充一个编辑功能； 3. 提供logseq mcp服务器，并作为fay的默认配置之一; 4. 工具调用的文本支持了流式输出； 5. 非富了工具调用时的think日志； 6. 优化agent、llm、工具调用的prompt。 7. 可用的mcp工具列表单独维护，不在nlp时更新； 8. 优化日程管理工具； 9. 修复了若干已知bug。
2025-10-15 19:57:31 +08:00
- 自由匹配数字人模型、大语言模型（openai 兼容接口）、ASR、TTS模型
年翻更新 - 全新ui - 全面优化websocket逻辑，提高数字人和ui连接的稳定性及资源开销 - 全面优化唤醒逻辑，提供稳定的普通唤醒模式和前置词唤醒模式 - 优化拾音质量，支持多声道麦克风拾音 - 优化自动播放服务器的对接机制，提供稳定和兼容旧版ue工程的对接模式 - 数字人接口输出机器人表情，以适应新fay ui及单片机的数字人表情输出 - 使用更高级的音频时长计算方式，可以更精准控制音频播放完成后的逻辑 - 修复点击关闭按钮会导致程序退出的bug - 修复没有麦克风的设备开启麦克风会出错的问题 - 为服务器主机地址提供配置项，以方便服务器部署
2024-10-26 11:34:55 +08:00
- 支持数字人自动播报模式（虚拟教师、虚拟主播、新闻播报）
自然进化 2025年10月15日，Fay升级全新的工具调用机制，实现ai ide级的工具调用稳定性。（参考openai codex cli的实现逻辑）: 1. 工具调用逻辑由ReAct替换为更稳定的workflow; 2. 为mcp服务补充一个编辑功能； 3. 提供logseq mcp服务器，并作为fay的默认配置之一; 4. 工具调用的文本支持了流式输出； 5. 非富了工具调用时的think日志； 6. 优化agent、llm、工具调用的prompt。 7. 可用的mcp工具列表单独维护，不在nlp时更新； 8. 优化日程管理工具； 9. 修复了若干已知bug。
2025-10-15 19:57:31 +08:00
- 支持任意终端使用：单片机、app、网站、大屏、三方业务系统接入等
年翻更新 - 全新ui - 全面优化websocket逻辑，提高数字人和ui连接的稳定性及资源开销 - 全面优化唤醒逻辑，提供稳定的普通唤醒模式和前置词唤醒模式 - 优化拾音质量，支持多声道麦克风拾音 - 优化自动播放服务器的对接机制，提供稳定和兼容旧版ue工程的对接模式 - 数字人接口输出机器人表情，以适应新fay ui及单片机的数字人表情输出 - 使用更高级的音频时长计算方式，可以更精准控制音频播放完成后的逻辑 - 修复点击关闭按钮会导致程序退出的bug - 修复没有麦克风的设备开启麦克风会出错的问题 - 为服务器主机地址提供配置项，以方便服务器部署
2024-10-26 11:34:55 +08:00
- 支持多用户多路并发
fay自然进化 1. 增加清除记忆功能； 2. 增加克隆性格功能； 3. 增加认知模型（专属的记忆逻辑、反思逻辑）； 4. 修复自动播报bug； 5. fay_url配置响修正； 6. 修复流式输出前置换行问题； 7. 修复没有用户聊天记录前端反复添加默认用户问题； 8. 更新dockerfile； 9. 重构util.py代码。 1. Fay ai编程指南：https://qqk9ntwbcit.feishu.cn/wiki/FKFywXWaeiBH28k4Q67c3eF7njC 2.Fay认知模型：https://qqk9ntwbcit.feishu.cn/wiki/BSW3wSsMdikiHUkiCJYcSp2lnio
2025-04-02 23:31:46 +08:00
- 提供文字交互接口、语音交互接口、数字人驱动接口、管理控制接口、自动播报接口、意图接口
自然进化 2025年10月15日，Fay升级全新的工具调用机制，实现ai ide级的工具调用稳定性。（参考openai codex cli的实现逻辑）: 1. 工具调用逻辑由ReAct替换为更稳定的workflow; 2. 为mcp服务补充一个编辑功能； 3. 提供logseq mcp服务器，并作为fay的默认配置之一; 4. 工具调用的文本支持了流式输出； 5. 非富了工具调用时的think日志； 6. 优化agent、llm、工具调用的prompt。 7. 可用的mcp工具列表单独维护，不在nlp时更新； 8. 优化日程管理工具； 9. 修复了若干已知bug。
2025-10-15 19:57:31 +08:00
- 支持语音指令灵活配置执行（qa.csv）
年翻更新 - 全新ui - 全面优化websocket逻辑，提高数字人和ui连接的稳定性及资源开销 - 全面优化唤醒逻辑，提供稳定的普通唤醒模式和前置词唤醒模式 - 优化拾音质量，支持多声道麦克风拾音 - 优化自动播放服务器的对接机制，提供稳定和兼容旧版ue工程的对接模式 - 数字人接口输出机器人表情，以适应新fay ui及单片机的数字人表情输出 - 使用更高级的音频时长计算方式，可以更精准控制音频播放完成后的逻辑 - 修复点击关闭按钮会导致程序退出的bug - 修复没有麦克风的设备开启麦克风会出错的问题 - 为服务器主机地址提供配置项，以方便服务器部署
2024-10-26 11:34:55 +08:00
- 支持自定义知识库、自定义问答对、自定义人设信息
- 支持唤醒及打断对话
- 支持服务器及单机模式
- 支持机器人表情输出
自然进化 2025年10月15日，Fay升级全新的工具调用机制，实现ai ide级的工具调用稳定性。（参考openai codex cli的实现逻辑）: 1. 工具调用逻辑由ReAct替换为更稳定的workflow; 2. 为mcp服务补充一个编辑功能； 3. 提供logseq mcp服务器，并作为fay的默认配置之一; 4. 工具调用的文本支持了流式输出； 5. 非富了工具调用时的think日志； 6. 优化agent、llm、工具调用的prompt。 7. 可用的mcp工具列表单独维护，不在nlp时更新； 8. 优化日程管理工具； 9. 修复了若干已知bug。
2025-10-15 19:57:31 +08:00
- 支持agent自主决策工具调用
- 基于日程式数字人主动对话
Update README.md
2024-12-11 21:39:57 +08:00
- 支持后台静默启动
fay进化 1、支持mcp sse服务管理及动态功具调用 --对摩搭社区提供的sse对接的mcp工具做过兼容测试 2、llm模块统一 --严格匹配openai兼容接口范式，包括token计算及流式控制等 --把认知模式作为llm对接的方式，并对认知模型进行了优化升级，可控制各用户聊天认知是否隔离 --使用qwen3-4b作为默认llm，可以平衡速度、角色模拟与MCP工具调用 3、提供配置管理中心，便于多个fay做配置管理 --当根目录中system.conf或config.json不存在，启动时会自动载入config_uitl.py中指定的配置 --配置中心代码支持多项目管理，单项目也支持多fay对接，源码地址：https://github.com/xszyou/fay_config_server 4、多个bug修复 --修复重复反思和重复保存的问题 --修正认知模型的反思和检索算法 --处理pygame报错程序不继续执行问题 --表情不进行tts --运行时再判断加载qt5 --修复文字交互接口流式输出时不会结束问题 --修复文字交互接口流式输出qa不输出问题
2025-05-17 01:25:45 +08:00
- 支持deepseek等thinking llm
自然进化 1.优化记忆清除机制； 2.优化prompt。
2025-11-12 22:29:08 +08:00
- 自我认知提高
- 仿生记忆
自然进化 2025年10月15日，Fay升级全新的工具调用机制，实现ai ide级的工具调用稳定性。（参考openai codex cli的实现逻辑）: 1. 工具调用逻辑由ReAct替换为更稳定的workflow; 2. 为mcp服务补充一个编辑功能； 3. 提供logseq mcp服务器，并作为fay的默认配置之一; 4. 工具调用的文本支持了流式输出； 5. 非富了工具调用时的think日志； 6. 优化agent、llm、工具调用的prompt。 7. 可用的mcp工具列表单独维护，不在nlp时更新； 8. 优化日程管理工具； 9. 修复了若干已知bug。
2025-10-15 19:57:31 +08:00
- 支持MCP工具管理（sse、studio）
fay进化 1、支持mcp sse服务管理及动态功具调用 --对摩搭社区提供的sse对接的mcp工具做过兼容测试 2、llm模块统一 --严格匹配openai兼容接口范式，包括token计算及流式控制等 --把认知模式作为llm对接的方式，并对认知模型进行了优化升级，可控制各用户聊天认知是否隔离 --使用qwen3-4b作为默认llm，可以平衡速度、角色模拟与MCP工具调用 3、提供配置管理中心，便于多个fay做配置管理 --当根目录中system.conf或config.json不存在，启动时会自动载入config_uitl.py中指定的配置 --配置中心代码支持多项目管理，单项目也支持多fay对接，源码地址：https://github.com/xszyou/fay_config_server 4、多个bug修复 --修复重复反思和重复保存的问题 --修正认知模型的反思和检索算法 --处理pygame报错程序不继续执行问题 --表情不进行tts --运行时再判断加载qt5 --修复文字交互接口流式输出时不会结束问题 --修复文字交互接口流式输出qa不输出问题
2025-05-17 01:25:45 +08:00
- 提供配置管理中心
自然进化 - 重构会话管理逻辑支持以下链路基于llm输出、mcp执行、qa问答对匹配时，文字或音频输出的单向或双向打断： - 1、flask_server.api_send()(gui窗口文字发送) <--> flask_server.api_send_v1_chat_completions()（fay对外的openai兼容接口） - 2、flask_server.api_send(gui窗口文字发送) <-- flask_server.transparent_pass(消息透传接口) - 3、flask_server.api_send(gui窗口文字发送) <-- flask_server.to_stop_talking(打断接口） - 4、flask_server.api_send(gui窗口文字发送) <--> 远程音频 - 5、flask_server.api_send(gui窗口文字发送) <-- 唤醒（普通唤醒、前置词唤醒） - 6、flask_server.api_send(gui窗口文字发送) <-->日程执行 - 7、flask_server.api_send_v1_chat_completions(fay对外的openai兼容接口) <--> flask_server.transparent_pass(消息透传接口) - 8、flask_server.api_send_v1_chat_completions(fay对外的openai兼容接口) <-- flask_server.to_stop_talking(打断接口） - 9、flask_server.api_send_v1_chat_completions(fay对外的openai兼容接口) <--> 远程音频 - 10、flask_server.api_send_v1_chat_completions(fay对外的openai兼容接口) <-- 唤醒（普通唤醒、前置词唤醒） - 11、flask_server.api_send_v1_chat_completions(fay对外的openai兼容接口) <-->日程执行 - 12、flask_server.transparent_pass(消息透传接口) <-- flask_server.to_stop_talking(打断接口） - 13、flask_server.transparent_pass(消息透传接口) <--> 远程音频 - 14、flask_server.transparent_pass(消息透传接口) <-- 唤醒（普通唤醒、前置词唤醒） - 15、flask_server.transparent_pass(消息透传接口) <-->日程执行 - 16、远程音频 <-- 唤醒（普通唤醒、前置词唤醒） - 17、远程音频 <-->日程执行
2025-09-17 15:53:54 +08:00
- 全链路交互互通
年翻更新 - 全新ui - 全面优化websocket逻辑，提高数字人和ui连接的稳定性及资源开销 - 全面优化唤醒逻辑，提供稳定的普通唤醒模式和前置词唤醒模式 - 优化拾音质量，支持多声道麦克风拾音 - 优化自动播放服务器的对接机制，提供稳定和兼容旧版ue工程的对接模式 - 数字人接口输出机器人表情，以适应新fay ui及单片机的数字人表情输出 - 使用更高级的音频时长计算方式，可以更精准控制音频播放完成后的逻辑 - 修复点击关闭按钮会导致程序退出的bug - 修复没有麦克风的设备开启麦克风会出错的问题 - 为服务器主机地址提供配置项，以方便服务器部署
2024-10-26 11:34:55 +08:00
###
## **Fay数字人框架**
![](readme/chat.png)
![](readme/controller.png)
Update
2022-06-20 11:05:10 +08:00
fay进化 1、支持mcp sse服务管理及动态功具调用 --对摩搭社区提供的sse对接的mcp工具做过兼容测试 2、llm模块统一 --严格匹配openai兼容接口范式，包括token计算及流式控制等 --把认知模式作为llm对接的方式，并对认知模型进行了优化升级，可控制各用户聊天认知是否隔离 --使用qwen3-4b作为默认llm，可以平衡速度、角色模拟与MCP工具调用 3、提供配置管理中心，便于多个fay做配置管理 --当根目录中system.conf或config.json不存在，启动时会自动载入config_uitl.py中指定的配置 --配置中心代码支持多项目管理，单项目也支持多fay对接，源码地址：https://github.com/xszyou/fay_config_server 4、多个bug修复 --修复重复反思和重复保存的问题 --修正认知模型的反思和检索算法 --处理pygame报错程序不继续执行问题 --表情不进行tts --运行时再判断加载qt5 --修复文字交互接口流式输出时不会结束问题 --修复文字交互接口流式输出qa不输出问题
2025-05-17 01:25:45 +08:00
![](readme/mcp.png)
第4次更新 1、优化prompt; 2、解决日程删除错误； 3、iotm demo tool整体更新。
2023-12-18 16:52:53 +08:00
第3次更新 更换ReAct agent✓ 修复Thread.timer管理逻辑✓ 优化提示词减小返回格式出错概率（格式出错会导致重复执行）✓ 消息窗里加上执行任务标记✓ 更换gpt 3.5模型测试✓
2023-12-14 10:38:08 +08:00
年翻更新 - 全新ui - 全面优化websocket逻辑，提高数字人和ui连接的稳定性及资源开销 - 全面优化唤醒逻辑，提供稳定的普通唤醒模式和前置词唤醒模式 - 优化拾音质量，支持多声道麦克风拾音 - 优化自动播放服务器的对接机制，提供稳定和兼容旧版ue工程的对接模式 - 数字人接口输出机器人表情，以适应新fay ui及单片机的数字人表情输出 - 使用更高级的音频时长计算方式，可以更精准控制音频播放完成后的逻辑 - 修复点击关闭按钮会导致程序退出的bug - 修复没有麦克风的设备开启麦克风会出错的问题 - 为服务器主机地址提供配置项，以方便服务器部署
2024-10-26 11:34:55 +08:00
## **源码启动**
恢复
2024-02-21 16:12:00 +08:00
年翻更新 - 全新ui - 全面优化websocket逻辑，提高数字人和ui连接的稳定性及资源开销 - 全面优化唤醒逻辑，提供稳定的普通唤醒模式和前置词唤醒模式 - 优化拾音质量，支持多声道麦克风拾音 - 优化自动播放服务器的对接机制，提供稳定和兼容旧版ue工程的对接模式 - 数字人接口输出机器人表情，以适应新fay ui及单片机的数字人表情输出 - 使用更高级的音频时长计算方式，可以更精准控制音频播放完成后的逻辑 - 修复点击关闭按钮会导致程序退出的bug - 修复没有麦克风的设备开启麦克风会出错的问题 - 为服务器主机地址提供配置项，以方便服务器部署
2024-10-26 11:34:55 +08:00
### **环境**
fay自然进化 1. 增加清除记忆功能； 2. 增加克隆性格功能； 3. 增加认知模型（专属的记忆逻辑、反思逻辑）； 4. 修复自动播报bug； 5. fay_url配置响修正； 6. 修复流式输出前置换行问题； 7. 修复没有用户聊天记录前端反复添加默认用户问题； 8. 更新dockerfile； 9. 重构util.py代码。 1. Fay ai编程指南：https://qqk9ntwbcit.feishu.cn/wiki/FKFywXWaeiBH28k4Q67c3eF7njC 2.Fay认知模型：https://qqk9ntwbcit.feishu.cn/wiki/BSW3wSsMdikiHUkiCJYcSp2lnio
2025-04-02 23:31:46 +08:00
- Python 3.12
紧急修复 1、修复mcp工具获取于调用的线程同步问题； 2、修复因记忆反思而导致的记忆混乱，无法多伦对话问题； 3、更换镜像服务商。
2025-05-29 10:22:05 +08:00
- Windows、macos、ubuntu
- 注：ubuntu需要先安装gcc及portaudio
- ````bash
sudo apt update
sudo apt install build-essential
sudo apt install portaudio19-dev
````
年翻更新 🌟Fay-助理版 1、 优化文字沟通接口的流式输出逻辑 -- fay的文字沟通接口，按标点符号切割并通过http stream返回，这样做语音合成时，能够完整处理每个断句的语音情绪。 2、 去掉内置ngrok.cc内网穿透代码 -- ngrok内网穿透可以让普通pc当作服务器使用，让移动端或者智能设备随时与fay通讯。如需继续使用可以外部启动ngrok或者其他穿透客户端，效果是一样的。 3、优化ASR处理速度 -- VAD（语音活动检测）时间由700ms减小到200ms，可以降低fay识别到我们已经说完一句话的时间，从而让fay更快作出响应 4、优化TTS速度 -- azure不使用ssml明显加速，使用azure tts平均时间可以减小700ms以上 -- 修复本地播放完声音再发送音频给数字人的bug，可以让面板播放音频更快让数字人作出响应（虽然不太可能本地播放和数字人播放同时使用） -- 语音合成之前替换掉“*”，这是大语言模型经常作出的返回，非常影响语音合成的用户体验 5、优化Q&A文件的应用逻辑 -- 文件格式由excel更换成csv，可以更好兼容linux环境 -- 配置上Q&A文件之后会自动缓存大语言模型回复，相同对话的回复时间可以降到1ms以下 -- csv的第3列可以配置执行脚本，可以实现RPA操作或对智能硬件的控制 6、完善是否做语音合成的逻辑 -- 只有在需要发送远程音频或者发送给数字人或者面板播放时才合成音频，避免资源的浪费 7、修正多用户同时与fay聊天时qa日志有可能混乱的问题 8、 修复fay_core.py上的变量（usernmae）错识导致的远程音频传输出错 9、修复pygame init时无扬声器导致出错 10、去掉面板出现了"完成!"、“远程音频设备连接上”、“远程音频输入输出设备已经断开”、“服务已关闭！”等不必要的日志信息 🌟Fay-UE5： - 5.4工程，与fay的对接方式更新为流式对接 --会从fay小段文字接收然后做tts处理，这样可以更快速作出响应。
2024-10-09 17:52:15 +08:00
年翻更新 - 全新ui - 全面优化websocket逻辑，提高数字人和ui连接的稳定性及资源开销 - 全面优化唤醒逻辑，提供稳定的普通唤醒模式和前置词唤醒模式 - 优化拾音质量，支持多声道麦克风拾音 - 优化自动播放服务器的对接机制，提供稳定和兼容旧版ue工程的对接模式 - 数字人接口输出机器人表情，以适应新fay ui及单片机的数字人表情输出 - 使用更高级的音频时长计算方式，可以更精准控制音频播放完成后的逻辑 - 修复点击关闭按钮会导致程序退出的bug - 修复没有麦克风的设备开启麦克风会出错的问题 - 为服务器主机地址提供配置项，以方便服务器部署
2024-10-26 11:34:55 +08:00
### **安装依赖**
```shell
pip install -r requirements.txt
```
Update README.md
2026-01-15 22:43:53 +08:00
### **快速启动**
本地
年翻更新 - 全新ui - 全面优化websocket逻辑，提高数字人和ui连接的稳定性及资源开销 - 全面优化唤醒逻辑，提供稳定的普通唤醒模式和前置词唤醒模式 - 优化拾音质量，支持多声道麦克风拾音 - 优化自动播放服务器的对接机制，提供稳定和兼容旧版ue工程的对接模式 - 数字人接口输出机器人表情，以适应新fay ui及单片机的数字人表情输出 - 使用更高级的音频时长计算方式，可以更精准控制音频播放完成后的逻辑 - 修复点击关闭按钮会导致程序退出的bug - 修复没有麦克风的设备开启麦克风会出错的问题 - 为服务器主机地址提供配置项，以方便服务器部署
2024-10-26 11:34:55 +08:00
```shell
Update README.md
2026-01-15 22:43:53 +08:00
python main.py start -config_center d19f7b0a-2b8a-4503-8c0d-1a587b90eb69
年翻更新 - 全新ui - 全面优化websocket逻辑，提高数字人和ui连接的稳定性及资源开销 - 全面优化唤醒逻辑，提供稳定的普通唤醒模式和前置词唤醒模式 - 优化拾音质量，支持多声道麦克风拾音 - 优化自动播放服务器的对接机制，提供稳定和兼容旧版ue工程的对接模式 - 数字人接口输出机器人表情，以适应新fay ui及单片机的数字人表情输出 - 使用更高级的音频时长计算方式，可以更精准控制音频播放完成后的逻辑 - 修复点击关闭按钮会导致程序退出的bug - 修复没有麦克风的设备开启麦克风会出错的问题 - 为服务器主机地址提供配置项，以方便服务器部署
2024-10-26 11:34:55 +08:00
```
Update README.md
2026-01-15 22:43:53 +08:00
镜像
Update README.md
2026-01-15 22:44:43 +08:00
```shell
Update README.md
2025-06-03 10:42:02 +08:00
https://www.compshare.cn/images/compshareImage-1cft3sk9gvta?ytag=GPU_fay
Update README.md
2026-01-15 22:44:43 +08:00
```
Update README.md
2024-10-16 20:49:17 +08:00
Update README.md
2026-01-15 22:43:53 +08:00
### **个性化配置**
+ 根目录system.conf.bak 重命名为system.conf，并配置里面的内容
### **管理页面**
Update README.md
2026-01-15 22:44:43 +08:00
+ 浏览器访问 http://127.0.0.1:5000
Update README.md
2026-01-15 22:43:53 +08:00
Update README.md
2024-10-26 11:42:52 +08:00
## **高级玩法**
Update README.md
2024-10-16 20:49:17 +08:00
Update README.md
2024-10-26 11:42:52 +08:00
![](readme/interface.png)
年翻更新
2024-09-04 18:24:46 +08:00
年翻更新
2024-08-29 10:14:32 +08:00
年翻更新 🌟Fay-助理版 1、 优化文字沟通接口的流式输出逻辑 -- fay的文字沟通接口，按标点符号切割并通过http stream返回，这样做语音合成时，能够完整处理每个断句的语音情绪。 2、 去掉内置ngrok.cc内网穿透代码 -- ngrok内网穿透可以让普通pc当作服务器使用，让移动端或者智能设备随时与fay通讯。如需继续使用可以外部启动ngrok或者其他穿透客户端，效果是一样的。 3、优化ASR处理速度 -- VAD（语音活动检测）时间由700ms减小到200ms，可以降低fay识别到我们已经说完一句话的时间，从而让fay更快作出响应 4、优化TTS速度 -- azure不使用ssml明显加速，使用azure tts平均时间可以减小700ms以上 -- 修复本地播放完声音再发送音频给数字人的bug，可以让面板播放音频更快让数字人作出响应（虽然不太可能本地播放和数字人播放同时使用） -- 语音合成之前替换掉“*”，这是大语言模型经常作出的返回，非常影响语音合成的用户体验 5、优化Q&A文件的应用逻辑 -- 文件格式由excel更换成csv，可以更好兼容linux环境 -- 配置上Q&A文件之后会自动缓存大语言模型回复，相同对话的回复时间可以降到1ms以下 -- csv的第3列可以配置执行脚本，可以实现RPA操作或对智能硬件的控制 6、完善是否做语音合成的逻辑 -- 只有在需要发送远程音频或者发送给数字人或者面板播放时才合成音频，避免资源的浪费 7、修正多用户同时与fay聊天时qa日志有可能混乱的问题 8、 修复fay_core.py上的变量（usernmae）错识导致的远程音频传输出错 9、修复pygame init时无扬声器导致出错 10、去掉面板出现了"完成!"、“远程音频设备连接上”、“远程音频输入输出设备已经断开”、“服务已关闭！”等不必要的日志信息 🌟Fay-UE5： - 5.4工程，与fay的对接方式更新为流式对接 --会从fay小段文字接收然后做tts处理，这样可以更快速作出响应。
2024-10-09 17:52:15 +08:00
年翻更新 - 全新ui - 全面优化websocket逻辑，提高数字人和ui连接的稳定性及资源开销 - 全面优化唤醒逻辑，提供稳定的普通唤醒模式和前置词唤醒模式 - 优化拾音质量，支持多声道麦克风拾音 - 优化自动播放服务器的对接机制，提供稳定和兼容旧版ue工程的对接模式 - 数字人接口输出机器人表情，以适应新fay ui及单片机的数字人表情输出 - 使用更高级的音频时长计算方式，可以更精准控制音频播放完成后的逻辑 - 修复点击关闭按钮会导致程序退出的bug - 修复没有麦克风的设备开启麦克风会出错的问题 - 为服务器主机地址提供配置项，以方便服务器部署
2024-10-26 11:34:55 +08:00
### ***使用数字人（非必须）***
年翻更新
2024-08-29 10:14:32 +08:00
年翻更新 - 全新ui - 全面优化websocket逻辑，提高数字人和ui连接的稳定性及资源开销 - 全面优化唤醒逻辑，提供稳定的普通唤醒模式和前置词唤醒模式 - 优化拾音质量，支持多声道麦克风拾音 - 优化自动播放服务器的对接机制，提供稳定和兼容旧版ue工程的对接模式 - 数字人接口输出机器人表情，以适应新fay ui及单片机的数字人表情输出 - 使用更高级的音频时长计算方式，可以更精准控制音频播放完成后的逻辑 - 修复点击关闭按钮会导致程序退出的bug - 修复没有麦克风的设备开启麦克风会出错的问题 - 为服务器主机地址提供配置项，以方便服务器部署
2024-10-26 11:34:55 +08:00
ue: https://github.com/xszyou/fay-ue5
工作愉快 删库跑路了？
2024-01-08 18:32:23 +08:00
年翻更新 - 全新ui - 全面优化websocket逻辑，提高数字人和ui连接的稳定性及资源开销 - 全面优化唤醒逻辑，提供稳定的普通唤醒模式和前置词唤醒模式 - 优化拾音质量，支持多声道麦克风拾音 - 优化自动播放服务器的对接机制，提供稳定和兼容旧版ue工程的对接模式 - 数字人接口输出机器人表情，以适应新fay ui及单片机的数字人表情输出 - 使用更高级的音频时长计算方式，可以更精准控制音频播放完成后的逻辑 - 修复点击关闭按钮会导致程序退出的bug - 修复没有麦克风的设备开启麦克风会出错的问题 - 为服务器主机地址提供配置项，以方便服务器部署
2024-10-26 11:34:55 +08:00
unity：https://qqk9ntwbcit.feishu.cn/wiki/Se9xw04hUiss00kb2Lmci1BVnM9
metahuman-stream（2d）：https://qqk9ntwbcit.feishu.cn/wiki/Ik1kwO9X5iilnGkFwRhcnmtvn3e
duix（android)：https://qqk9ntwbcit.feishu.cn/wiki/Ik1kwO9X5iilnGkFwRhcnmtvn3e()
Update README.md
2025-06-03 10:42:02 +08:00
aibote(windows cpu克隆人)：https://qqk9ntwbcit.feishu.cn/wiki/ULaywzVRti0HXWkhCzacoSPAnIg
年翻更新 - 全新ui - 全面优化websocket逻辑，提高数字人和ui连接的稳定性及资源开销 - 全面优化唤醒逻辑，提供稳定的普通唤醒模式和前置词唤醒模式 - 优化拾音质量，支持多声道麦克风拾音 - 优化自动播放服务器的对接机制，提供稳定和兼容旧版ue工程的对接模式 - 数字人接口输出机器人表情，以适应新fay ui及单片机的数字人表情输出 - 使用更高级的音频时长计算方式，可以更精准控制音频播放完成后的逻辑 - 修复点击关闭按钮会导致程序退出的bug - 修复没有麦克风的设备开启麦克风会出错的问题 - 为服务器主机地址提供配置项，以方便服务器部署
2024-10-26 11:34:55 +08:00
### ***集成到自家产品（非必须）***
接口：https://qqk9ntwbcit.feishu.cn/wiki/Mcw3wbA3RiNZzwkexz6cnKCsnhh
### **联系**
**交流群及资料教程**关注公众号 **fay数字人**（**请先star本仓库**）
![](readme/gzh.jpg)
自然进化 1.优化记忆清除机制； 2.优化prompt。
2025-11-12 22:29:08 +08:00
## **致谢**
感谢以下开源项目为 Fay 提供的技术支持：
- [BionicMemory](https://github.com/caoyc/BionicMemory) - 提供仿生记忆能力
- [OpenAI Codex](https://github.com/openai/codex) - 提供稳定的工具调用能力
- [FunASR](https://github.com/modelscope/FunASR) - 提供语音识别（ASR）能力
Reference in New Issue Copy Permalink