gavin/Fay
1
0
Fork 0
mirror of https://github.com/xszyou/Fay.git synced 2026-03-12 17:51:28 +08:00
Code Issues Packages Projects Releases Wiki Activity
263 Commits 1 Branch 0 Tags
main
Commit Graph

35 Commits

Author SHA1 Message Date
guo zebin
bb9dd4bef4 自然进化 
- 重构会话管理逻辑支持以下链路基于llm输出、mcp执行、qa问答对匹配时，文字或音频输出的单向或双向打断：
	- 1、flask_server.api_send()(gui窗口文字发送) <--> flask_server.api_send_v1_chat_completions()（fay对外的openai兼容接口）
	- 2、flask_server.api_send(gui窗口文字发送) <--  flask_server.transparent_pass(消息透传接口)
	- 3、flask_server.api_send(gui窗口文字发送) <-- flask_server.to_stop_talking(打断接口）
	- 4、flask_server.api_send(gui窗口文字发送) <--> 远程音频
	- 5、flask_server.api_send(gui窗口文字发送) <-- 唤醒（普通唤醒、前置词唤醒）
	- 6、flask_server.api_send(gui窗口文字发送) <-->日程执行
	- 7、flask_server.api_send_v1_chat_completions(fay对外的openai兼容接口) <--> flask_server.transparent_pass(消息透传接口)
	- 8、flask_server.api_send_v1_chat_completions(fay对外的openai兼容接口) <-- flask_server.to_stop_talking(打断接口）
	- 9、flask_server.api_send_v1_chat_completions(fay对外的openai兼容接口) <--> 远程音频
	- 10、flask_server.api_send_v1_chat_completions(fay对外的openai兼容接口) <-- 唤醒（普通唤醒、前置词唤醒）
	- 11、flask_server.api_send_v1_chat_completions(fay对外的openai兼容接口)  <-->日程执行
	- 12、flask_server.transparent_pass(消息透传接口) <-- flask_server.to_stop_talking(打断接口）
	- 13、flask_server.transparent_pass(消息透传接口) <--> 远程音频
	- 14、flask_server.transparent_pass(消息透传接口) <-- 唤醒（普通唤醒、前置词唤醒）
	- 15、flask_server.transparent_pass(消息透传接口) <-->日程执行
	- 16、远程音频 <-- 唤醒（普通唤醒、前置词唤醒）
	- 17、远程音频 <-->日程执行
 2025-09-17 15:53:54 +08:00
guo zebin
4f14ec4b9c 自然进化 
1、修复普通唤醒的打断功能；
2、清除flask_server.py的多余代码。
 2025-09-16 09:39:15 +08:00
xszyou
4889583cc1 自然进化 
1.恢复文字、唤醒词、意图接口打断功能；
2、新增支持本地mcp工具调用；
3、支持mcp工具独立控制；
4、内置mcp工具箱及日程管理mcp工具；
5、结束fay时主动关闭（断开）mcp服务；
6、优化线程管理逻辑；
7、支持ctrl+c退出fay。
 2025-08-28 00:24:21 +08:00
xszyou
0df7a26e8e fay进化 
1. 内置RAG知识库（请把docx、pptx、txt文件存放到llm/data目录）；
2. 流式回复逻辑优化；
3. 语音交互逻辑优化；
4. 线程安全增强；
5. 数字人驱动接口增加流式输出开始结束标记；
6. 修复因记忆反思而导致的记忆混乱，无法多轮对话问题；
7. 修复mcp工具获取于调用的线程同步问题；
8. 修复funasr依赖版本问题。
 2025-06-27 23:33:24 +08:00
xszyou
11e115b228 fay自然进化 
1. 增加清除记忆功能；
2. 增加克隆性格功能；
3. 增加认知模型（专属的记忆逻辑、反思逻辑）；
4. 修复自动播报bug；
5. fay_url配置响修正；
6. 修复流式输出前置换行问题；
7. 修复没有用户聊天记录前端反复添加默认用户问题；
8. 更新dockerfile；
9. 重构util.py代码。
1. Fay ai编程指南：https://qqk9ntwbcit.feishu.cn/wiki/FKFywXWaeiBH28k4Q67c3eF7njC
2.Fay认知模型：https://qqk9ntwbcit.feishu.cn/wiki/BSW3wSsMdikiHUkiCJYcSp2lnio
 2025-04-02 23:31:46 +08:00
xszyou
7a512709c7 fay进化 
1、stream_manager.py补充注释；
2、 gevent包版本更新；#146
3、修复booter与core双互引入问题；#148
4、fay gui支持流式显示，包括<think>标签的内容；
5、修复gpt_stream模式时qa回复不合成语音问题；
6、优化流式deepseek，fay gui及tts对think内容的处理。
7、重构了部分fay_core.py交互逻辑代码；
8、优化机器人表情显示逻辑;
9、把数字人驱动接口标识“Unreal”更改成“human”，消除误解。
 2025-02-27 17:47:59 +08:00
莣仔
001b249614 紧急修复 
去除多余引用
 2025-02-13 10:21:29 +08:00
xszyou
964bf9ca32 年番更新 
1、修复录音失败时输出问题；
2、修复linux端启动时，因subprocess报错问题；
3、修复获取状态接口报错问题；
4、新增数字人定位、目标设置；
5、新增启动日志提醒；
6、新增支持流式llm及tts；
7、修正agent多个bug；
8、支持deepseek https://qqk9ntwbcit.feishu.cn/wiki/Ghh9wFpMIiiFxTk8SlQcZLIrnMf
 2025-02-12 22:20:37 +08:00
xszyou
9186f91afa 年番更新 
1、增加一组意图接口：唤醒、打招呼、打断；
2、增加一个自启动脚本列表；
3、修复aliyun asr错误后无法继续拾音问题；
4、优化本地拾音逻辑：麦克风启动时间减小、VAD判断时间减小、错误检查机制、拾音音量动态阈值、调整缓冲区大小；
5、补充自动播放时推送数据的检测；
6、更正qa.csv文件默认编码；
7、去掉http请求日志信息。
 2025-01-09 01:36:33 +08:00
莣仔
7a438d82a3 年番更新 
1、修复UE连接数字人接口不稳定问题；
2、修复运行途中关闭麦克风依然监听问题；
3、增加打招呼接口；
4、智普清流llm对接；
 2024-12-18 17:48:57 +08:00
xszyou
87ed1c4425 Fay年翻更新 
- 升级Agent（chat_module=agent切换）：升级到langgraph react agent逻辑、集成到主分支fay中、基于自动决策工具调用机制、基于日程跟踪的主动沟通、支持外部观测数据传入；
- 修复因线程同步问题导致的配置文件读写不稳定
- 聊天采纳功能的bug修复
 2024-11-20 23:44:47 +08:00
xszyou
4bcb28e182 紧急修复 
修复麦克风热启动的bug.
 2024-11-07 11:30:21 +08:00
莣仔
19e5273fb0 年翻更新 
1、qa自动缓存改为手动采纳；
2、socket10001映射到websocket 9001；
3、修复声音沟通接口无法收音问题；
4、修复阿里云不稳定问题；
 2024-11-06 18:42:52 +08:00
guo zebin
10d419e1e6 紧急更新 
1、删除意外出的语音合成开关；
2、唤醒、麦克风、扬声器可以启动后开启和关闭。
 2024-11-01 09:18:19 +08:00
guo zebin
4cfad5ae0f 年翻更新 
- 全新ui
- 全面优化websocket逻辑，提高数字人和ui连接的稳定性及资源开销
- 全面优化唤醒逻辑，提供稳定的普通唤醒模式和前置词唤醒模式
- 优化拾音质量，支持多声道麦克风拾音
- 优化自动播放服务器的对接机制，提供稳定和兼容旧版ue工程的对接模式
- 数字人接口输出机器人表情，以适应新fay ui及单片机的数字人表情输出
- 使用更高级的音频时长计算方式，可以更精准控制音频播放完成后的逻辑
- 修复点击关闭按钮会导致程序退出的bug
- 修复没有麦克风的设备开启麦克风会出错的问题
- 为服务器主机地址提供配置项，以方便服务器部署
 2024-10-26 11:34:55 +08:00
莣仔
64e4213cae 恢复 2024-02-21 16:12:00 +08:00
莣仔
b39a2e0eb2 首次上传 2024-02-21 15:44:42 +08:00
xszyou
16f8d599d7 工作愉快 
删库跑路了？
 2024-01-08 18:32:23 +08:00
xszyou
22d1e4ce10 元旦快乐 
2024.01.01:
openai token计算✓
优化ReAct Agent 与 LLM Chain自动切换逻辑✓
*添加双记忆机制：长时记忆流及短时聊天记忆✓
修复record.py asr bug✓
提高远程音频（android 连接器）的稳定性✓
修复执行时间计算bug✓
优化语音输出逻辑✓
 2024-01-01 22:53:06 +08:00
xszyou
01c19c13e8 工作愉快 
*实现agent ReAct与LLM chain自动切换逻辑✓

聊天窗区分任务消息✓

修复删除日程bug✓

优化远程音频逻辑✓

等待处理引入加载中效果✓

优化prompt以解决日程任务递归调用问题✓

修复一次性日程清除的bug✓
 2023-12-25 22:13:09 +08:00
xszyou
875ed28b58 初始上传 
初始上传
 2023-12-12 00:03:36 +08:00
xszyou
894a9b6ea4 提交Fay AI Agent版计划 
提交Fay AI Agent版计划
 2023-09-18 10:17:31 +08:00
xszyou
c99ee0cc5a 今天星期三 
+ 修复连接数字人之前产生大量ws信息问题；
+ 增加数字人（ue、live2d、xuniren）通讯接口：实时日志；
+ 更新数字人（ue、live2d、xuniren）通讯接口：音频推送。
 2023-07-26 18:11:52 +08:00
xszyou
5d4bac29b8 20230714 
1、修复linux及mac运行出错问题；
2、修复因唇型出错无法继续执行问题；
3、提供rwkv对接方案。
 2023-07-14 23:34:53 +08:00
xszyou
b53bc6e124 修复麦克风&文字回复问题 
1、修复助理版文字输入不读取人设回复问题；
2、修复助理版文字输入不读取qa回复问题；
3、增强麦克风接入稳定性。
 2023-07-12 18:56:17 +08:00
xszyou
5c5e9d08bd 修复声音播放问题 
1、修复唇形算法运行出错而导致的声音不播放问题。
 2023-07-05 22:21:20 +08:00
xszyou
8a4c9d7329 重构nlp模块逻辑 
+ 重构NLP模块管理逻辑，便于自由扩展；
+ gpt：拆分为ChatGPT及GPT、更换新的GPT接口、可单独配置代理服务器；
+ 指定yolov8包版本，解决yolo不兼容问题；
+ 修复：自言自语bug、接收多个待处理消息bug。
 2023-06-28 19:44:34 +08:00
xszyou
7c67bb5858 助理版多处优化 
1、解决多声道麦克风兼容问题；
2、重构fay_core.py及fay_booter.py代码；
3、ui适应布局调整；
4、恢复男女声音选择；
5、”思考中...“显示逻辑修复。
 2023-06-14 20:34:36 +08:00
xszyou
524e4d0e65 提供funasr集成 
1、修正语音和文字的交互逻辑；
2、提供funasr的可选集成。
 2023-05-17 18:38:47 +08:00
xszyou
2dca3ad6db 20230315 
1、增加edge-tts语音合成（免费）可替换azure-tts(支持情绪化语音)；
2、替换flask发行版运行方式。
 2023-03-15 02:22:50 +08:00
xszyou
77b2c0a479 2023.02.10 
1、加入了NLP三选一:xfaiui、yuan、chatgpt；
2、修复由pyaudio bug导致的录音错误；
3、修改远程音频输入输出设备同时只允许连1个；
 2023-02-10 19:50:47 +08:00
xszyou
cfd4a3fbbd 2023.02.09 
1、降低音量识别阈值；
2、修改ngrok是否开启判断逻辑；
3、修改js uuid 生成方式；
4、优化android demo：破音问题、服务运行状态判断问题。
 2023-02-09 12:55:16 +08:00
xszyou
55fb0896b8 2023.01 
Fay2.0:
1、控制器pc内网穿透，音频输入输出设备远程直连；
2、提供android 音频输入输出工程示例代码；
3、提供python音频输入输出工程示例代码（远程PC、树莓派等可用）；
4、补传1.0语音指令音乐播放模块（暂不支持远程播放）；
5、重构及补充若干工具模块：websocket、多线程、缓冲器、音频流录制器等；
6、修复1.x版本的多个bug。
 2023-01-31 12:40:36 +08:00
xszyou
7f535686ef 2022.10.27 
1、更新mac上的麦克风参数；
2、解决mac上无法重启问题；
3、上传brew安装脚本。
 2022-10-27 14:58:48 +08:00
Ram
338917fdf7 Update 2022-06-20 11:05:10 +08:00