gavin/Fay
1
0
Fork 0
mirror of https://github.com/xszyou/Fay.git synced 2026-03-12 17:51:28 +08:00
Code Issues Packages Projects Releases Wiki Activity
263 Commits 1 Branch 0 Tags
main
Commit Graph

126 Commits

Author SHA1 Message Date
guo zebin
6eaec96532 Merge branch 'main' of https://github.com/xszyou/Fay 2026-03-11 22:18:50 +08:00
guo zebin
2ee729b120 1. 打出fay release 安装装包； 
2. 优化tts前的换行符处理；
3. 修正prompt模版引入逻辑。
 2026-03-11 22:17:53 +08:00
莣仔
2ea8358667 更新交流群 2026-03-04 20:46:11 +08:00
guo zebin
e42425be80 Update README.md 2026-01-15 22:44:43 +08:00
guo zebin
9488e9a5c3 Update README.md 2026-01-15 22:43:53 +08:00
guo zebin
7567fd4248 自然进化 
1.优化记忆清除机制；
2.优化prompt。
 2025-11-12 22:29:08 +08:00
xszyou
ca63d30824 自然进化 
2025年10月15日，Fay升级全新的工具调用机制，实现ai ide级的工具调用稳定性。（参考openai codex cli的实现逻辑）:
1. 工具调用逻辑由ReAct替换为更稳定的workflow;
2. 为mcp服务补充一个编辑功能；
3. 提供logseq mcp服务器，并作为fay的默认配置之一;
4. 工具调用的文本支持了流式输出；
5. 非富了工具调用时的think日志；
6. 优化agent、llm、工具调用的prompt。
7. 可用的mcp工具列表单独维护，不在nlp时更新；
8. 优化日程管理工具；
9. 修复了若干已知bug。
 2025-10-15 19:57:31 +08:00
guo zebin
bb9dd4bef4 自然进化 
- 重构会话管理逻辑支持以下链路基于llm输出、mcp执行、qa问答对匹配时，文字或音频输出的单向或双向打断：
	- 1、flask_server.api_send()(gui窗口文字发送) <--> flask_server.api_send_v1_chat_completions()（fay对外的openai兼容接口）
	- 2、flask_server.api_send(gui窗口文字发送) <--  flask_server.transparent_pass(消息透传接口)
	- 3、flask_server.api_send(gui窗口文字发送) <-- flask_server.to_stop_talking(打断接口）
	- 4、flask_server.api_send(gui窗口文字发送) <--> 远程音频
	- 5、flask_server.api_send(gui窗口文字发送) <-- 唤醒（普通唤醒、前置词唤醒）
	- 6、flask_server.api_send(gui窗口文字发送) <-->日程执行
	- 7、flask_server.api_send_v1_chat_completions(fay对外的openai兼容接口) <--> flask_server.transparent_pass(消息透传接口)
	- 8、flask_server.api_send_v1_chat_completions(fay对外的openai兼容接口) <-- flask_server.to_stop_talking(打断接口）
	- 9、flask_server.api_send_v1_chat_completions(fay对外的openai兼容接口) <--> 远程音频
	- 10、flask_server.api_send_v1_chat_completions(fay对外的openai兼容接口) <-- 唤醒（普通唤醒、前置词唤醒）
	- 11、flask_server.api_send_v1_chat_completions(fay对外的openai兼容接口)  <-->日程执行
	- 12、flask_server.transparent_pass(消息透传接口) <-- flask_server.to_stop_talking(打断接口）
	- 13、flask_server.transparent_pass(消息透传接口) <--> 远程音频
	- 14、flask_server.transparent_pass(消息透传接口) <-- 唤醒（普通唤醒、前置词唤醒）
	- 15、flask_server.transparent_pass(消息透传接口) <-->日程执行
	- 16、远程音频 <-- 唤醒（普通唤醒、前置词唤醒）
	- 17、远程音频 <-->日程执行
 2025-09-17 15:53:54 +08:00
xszyou
f9ab99db4b Update README.md 2025-06-03 10:42:02 +08:00
xszyou
2de80dcb02 紧急修复 
1、修复mcp工具获取于调用的线程同步问题；
2、修复因记忆反思而导致的记忆混乱，无法多伦对话问题；
3、更换镜像服务商。
 2025-05-29 10:22:05 +08:00
xszyou
2a204a13ed fay进化 
1、支持mcp sse服务管理及动态功具调用
--对摩搭社区提供的sse对接的mcp工具做过兼容测试
2、llm模块统一
--严格匹配openai兼容接口范式，包括token计算及流式控制等
--把认知模式作为llm对接的方式，并对认知模型进行了优化升级，可控制各用户聊天认知是否隔离
--使用qwen3-4b作为默认llm，可以平衡速度、角色模拟与MCP工具调用
3、提供配置管理中心，便于多个fay做配置管理
--当根目录中system.conf或config.json不存在，启动时会自动载入config_uitl.py中指定的配置
--配置中心代码支持多项目管理，单项目也支持多fay对接，源码地址：https://github.com/xszyou/fay_config_server
4、多个bug修复
--修复重复反思和重复保存的问题
--修正认知模型的反思和检索算法
--处理pygame报错程序不继续执行问题
--表情不进行tts
--运行时再判断加载qt5
--修复文字交互接口流式输出时不会结束问题
--修复文字交互接口流式输出qa不输出问题
 2025-05-17 01:25:45 +08:00
xszyou
11e115b228 fay自然进化 
1. 增加清除记忆功能；
2. 增加克隆性格功能；
3. 增加认知模型（专属的记忆逻辑、反思逻辑）；
4. 修复自动播报bug；
5. fay_url配置响修正；
6. 修复流式输出前置换行问题；
7. 修复没有用户聊天记录前端反复添加默认用户问题；
8. 更新dockerfile；
9. 重构util.py代码。
1. Fay ai编程指南：https://qqk9ntwbcit.feishu.cn/wiki/FKFywXWaeiBH28k4Q67c3eF7njC
2.Fay认知模型：https://qqk9ntwbcit.feishu.cn/wiki/BSW3wSsMdikiHUkiCJYcSp2lnio
 2025-04-02 23:31:46 +08:00
xszyou
10ad9d001c fay进化 
1、修复面板机器人表情“思考中”不释放问题；
2、修复因声卡导致pygame出错而无法继续运行问题；
3、兼容mp3及wav音频格式的tts；
4、修复流式空字符tts出错问题；
5、修复因tts出错不解锁麦克风问题；
6、防止流式音频之间被插话；
7、修复"gpt_stream" api出错不回消息；
8、修复aliyun tts的嗒嗒声。
 2025-03-12 22:41:01 +08:00
xszyou
964bf9ca32 年番更新 
1、修复录音失败时输出问题；
2、修复linux端启动时，因subprocess报错问题；
3、修复获取状态接口报错问题；
4、新增数字人定位、目标设置；
5、新增启动日志提醒；
6、新增支持流式llm及tts；
7、修正agent多个bug；
8、支持deepseek https://qqk9ntwbcit.feishu.cn/wiki/Ghh9wFpMIiiFxTk8SlQcZLIrnMf
 2025-02-12 22:20:37 +08:00
guo zebin
156a2d4901 Update README.md 2024-12-11 21:39:57 +08:00
guo zebin
c31193e28f Update README.md 2024-10-31 00:01:40 +08:00
guo zebin
791abc22d2 Update README.md 2024-10-26 11:42:52 +08:00
guo zebin
4cfad5ae0f 年翻更新 
- 全新ui
- 全面优化websocket逻辑，提高数字人和ui连接的稳定性及资源开销
- 全面优化唤醒逻辑，提供稳定的普通唤醒模式和前置词唤醒模式
- 优化拾音质量，支持多声道麦克风拾音
- 优化自动播放服务器的对接机制，提供稳定和兼容旧版ue工程的对接模式
- 数字人接口输出机器人表情，以适应新fay ui及单片机的数字人表情输出
- 使用更高级的音频时长计算方式，可以更精准控制音频播放完成后的逻辑
- 修复点击关闭按钮会导致程序退出的bug
- 修复没有麦克风的设备开启麦克风会出错的问题
- 为服务器主机地址提供配置项，以方便服务器部署
 2024-10-26 11:34:55 +08:00
莣仔
66580657fc Update README.md 2024-10-16 20:49:17 +08:00
莣仔
a90f6964ed 年翻更新 2024-10-16 20:48:44 +08:00
guo zebin
9e44d08127 年翻更新 
🌟Fay-助理版

1、 优化文字沟通接口的流式输出逻辑

-- fay的文字沟通接口，按标点符号切割并通过http stream返回，这样做语音合成时，能够完整处理每个断句的语音情绪。

2、 去掉内置ngrok.cc内网穿透代码

-- ngrok内网穿透可以让普通pc当作服务器使用，让移动端或者智能设备随时与fay通讯。如需继续使用可以外部启动ngrok或者其他穿透客户端，效果是一样的。

3、优化ASR处理速度

-- VAD（语音活动检测）时间由700ms减小到200ms，可以降低fay识别到我们已经说完一句话的时间，从而让fay更快作出响应

4、优化TTS速度

-- azure不使用ssml明显加速，使用azure tts平均时间可以减小700ms以上

-- 修复本地播放完声音再发送音频给数字人的bug，可以让面板播放音频更快让数字人作出响应（虽然不太可能本地播放和数字人播放同时使用）

-- 语音合成之前替换掉“*”，这是大语言模型经常作出的返回，非常影响语音合成的用户体验

5、优化Q&A文件的应用逻辑

-- 文件格式由excel更换成csv，可以更好兼容linux环境

-- 配置上Q&A文件之后会自动缓存大语言模型回复，相同对话的回复时间可以降到1ms以下

-- csv的第3列可以配置执行脚本，可以实现RPA操作或对智能硬件的控制

6、完善是否做语音合成的逻辑

-- 只有在需要发送远程音频或者发送给数字人或者面板播放时才合成音频，避免资源的浪费

7、修正多用户同时与fay聊天时qa日志有可能混乱的问题

8、 修复fay_core.py上的变量（usernmae）错识导致的远程音频传输出错

9、修复pygame init时无扬声器导致出错

10、去掉面板出现了"完成!"、“远程音频设备连接上”、“远程音频输入输出设备已经断开”、“服务已关闭！”等不必要的日志信息

🌟Fay-UE5：

- 5.4工程，与fay的对接方式更新为流式对接

--会从fay小段文字接收然后做tts处理，这样可以更快速作出响应。
 2024-10-09 17:52:15 +08:00
guo zebin
5349d500c7 Fay年翻更新 
助理版：
- 重写日志系统：适配多用户逻辑下的panel、数字人端、控制台和文件；补充年月日信息。
- 提高代码可读性，整理代码目录区分llm、tts、asr。
- 修复ui显示的远程音频连接状态不更新问题。
- fay对旧版ue兼容性修复。
- 更新metahuman-stream的对接方式：https://qqk9ntwbcit.feishu.cn/wiki/Ik1kwO9X5iilnGkFwRhcnmtvn3e
- 修复web模式读取控制台输入出错bug
- 灵聚nlp接口升级支持多用户对接
- gpt nlp接口prompt部分接入数字人个人信息，并取消个人信息直接命中匹配
- coze nlp升级到v3接口
 2024-09-25 21:55:17 +08:00
guo zebin
66b76c9e4e 年翻更新 
助理版：
- 代码重构：标准化了交互代码、提高了可阅读性、删除了多余代码
- 数字人接口：多路并发接入支持、按用户路由支持、提高了反应速度、使用http音频地址、优化连接状态的判断逻辑
- 远程音频接口：多路并发接入支持、按用户路由支持、单向传输支持、提高了速度、优化连接状态的判断逻辑
- 文字沟通接口：多路并发接入支持、按用户路由支持
- ui接口：多路并发接入支持、按用户路由支持
- 速度提升：azure tts省去音频转换时间；由轮询交互机制更换成直接交互机制；提高了音频读取速度；去掉所有不必要的sleep；阻塞方法都使用单独线程或协程；
- 明确声音输出逻辑：远程音频接口是否回送依据接口参数要求；数字人接口是否推送依据接口是否被连接；本机是否播放依据本机播放声音开关是否打开。
- 3.12兼容性修复：websocket工具类把协程转换成任务；pyqt5更换版本。
- asr多路并发支持
- nlp多路并发支持
- tts多路并发（本来就）支持
- 修复python远程音频demo变态声音问题
- 修复命中qa的判断逻辑
- 增加控制台退出进程命令exit
- 优化拾音逻辑：只有在展板播放并且没有使用唤醒功能时才会停止拾音
 2024-09-20 00:04:07 +08:00
莣仔
6e7bea14a2 年翻更新 2024-09-11 18:31:18 +08:00
莣仔
7ef0dc27ab 年翻更新 2024-09-04 18:24:46 +08:00
莣仔
d45106468a 年翻更新 2024-08-29 10:14:32 +08:00
莣仔
9e3abf7595 年翻更新 2024-08-07 18:31:52 +08:00
莣仔
7f422ca5cd Update README.md 2024-07-31 20:07:46 +08:00
莣仔
583bffcf45 年翻更新 2024-07-24 20:08:11 +08:00
莣仔
31223f959d 年翻更新 2024-07-17 18:15:22 +08:00
莣仔
0ea0a46291 年翻更新 2024-07-10 18:42:47 +08:00
莣仔
6d4ea5a94a 年翻更新 2024-07-03 18:57:57 +08:00
莣仔
75e1caccd3 Fay年翻更新 2024-06-26 18:08:09 +08:00
莣仔
812c9f3079 年翻更新 2024-06-19 18:48:13 +08:00
莣仔
ccaebad3d6 年翻更新 2024-06-12 18:31:24 +08:00
莣仔
3b575fb6b0 年翻更新 2024-06-05 17:24:20 +08:00
莣仔
58fd76ba96 Fay年翻更新 2024-05-22 18:16:34 +08:00
莣仔
c7fa8650c8 年翻更新 2024-05-15 21:28:16 +08:00
莣仔
35130a0dd5 年翻更新 2024-05-15 17:46:27 +08:00
莣仔
e5ba7fcad8 年翻更新 2024-04-22 18:23:56 +08:00
莣仔
0cedd6b29b 年翻更新 2024-04-22 17:52:47 +08:00
莣仔
8888b3647a Update README.md 2024-04-15 17:38:43 +08:00
xszyou
3bf941a792 年翻更新 
🌟Fay-agent版：

1. 优化gpt兼容接口（为ue新工程架构准备）。

🌟Fay-助理版：

1. *支持azure最新情感音频；
2. 优化gpt兼容接口（为ue新工程架构准备）。

🌟Fay-带货版：

1. *支持azure最新情感音频。
 2024-04-09 09:48:28 +08:00
莣仔
6c56c5355f Update README.md 2024-04-01 18:09:27 +08:00
莣仔
154c8b447f 年翻 2024-04-01 18:07:29 +08:00
莣仔
63826d2324 年翻 2024-03-25 19:26:28 +08:00
莣仔
9d9c70bc53 工作愉快 2024-03-18 18:54:55 +08:00
xszyou
31c1a4d79e 工作愉快 
🌟Fay-agent版：

1、取消重启重置日程功能；

2、上传主动发送微信消息tool(未引入)。

🌟Fay-ue5：

1、发布5.3模型。
 2024-03-11 21:10:05 +08:00
莣仔
41415ad89f 工作愉快 2024-03-04 18:37:26 +08:00
莣仔
38140da9bd 工作愉快 2024-02-27 11:20:48 +08:00