gavin/Fay
1
0
Fork 0
mirror of https://github.com/xszyou/Fay.git synced 2026-03-12 17:51:28 +08:00
Code Issues Packages Projects Releases Wiki Activity
263 Commits 1 Branch 0 Tags
main
Commit Graph

50 Commits

Author SHA1 Message Date
guo zebin
2ee729b120 1. 打出fay release 安装装包； 
2. 优化tts前的换行符处理；
3. 修正prompt模版引入逻辑。
 2026-03-11 22:17:53 +08:00
guo zebin
eecbb931a9 交互模块 
1. [增加]embedding维度检查自动修正逻辑。
 2026-01-29 15:09:37 +08:00
guo zebin
2ee6a387fa 记忆模块升级 
1、把记忆节点明确区分成对话记忆、观察记忆和反思记忆；
2、修复</think>标签错误输出的问题。
 2026-01-22 15:36:05 +08:00
guo zebin
8a26899b53 自然进化 
1. fay启动命令增加参数config_center;
2. 修复多个think标签处理逻辑问题;
3. 修复llm透传模式编码问题；
 2026-01-15 15:02:54 +08:00
guo zebin
72d4486ea9 1.修复append_to_buffer bug; 
2.文字沟通接口新增透传llm支持；
3.文字沟通接口支持不回复控制；
4.获取消息接口支持不限制username。
 2026-01-13 17:00:43 +08:00
guo zebin
7874687e07 Update nlp_cognitive_stream.py 
修复开启mcp工具时，消息重复的问题。
 2026-01-07 15:28:42 +08:00
guo zebin
74a7b752ba Update nlp_cognitive_stream.py 
修优化系统Prompt、规划器Prompt及最终输出Prompt。
 2025-12-31 20:08:46 +08:00
guo zebin
febd5f524a Update nlp_cognitive_stream.py 
修复llm对工具调用判断时无法处理think标签的bug、
 2025-12-30 14:29:40 +08:00
guo zebin
814f0eabe5 修复不开启mcp工具无法使用预启动工具的bug。 2025-12-30 14:13:39 +08:00
guo zebin
418cc6189b 多处优化 
1、修复同一用户多消息会话隔离问题；
2、增加用户知识画像功能，包括：生成、更新、获取、查看、应用到对话中；
3、解决gui页面加载速度变慢问题；
 2025-12-24 16:59:03 +08:00
guo zebin
bedc58c3f1 chat页面使用”主人“替代默认用户标识；认知不隔离时使用多用户对话上下文 。 2025-12-17 23:31:36 +08:00
guo zebin
745c3dc620 美化gui对预启动结果的显示；mcp 工具支持预启动及llm调用单独开关控制；预执行结果可以选择保存到记忆。 2025-12-17 22:08:50 +08:00
guo zebin
2ef7c2aa9e 预启动工具执行结果补充key标识；清除记忆去除torch的依赖。 2025-12-17 15:10:31 +08:00
guo zebin
a24b8c9a42 自然进化 
1、去掉原知识库逻辑；
2、上传知识库mcp服务器；
3、上传window 窗口截图mcp服务器；
4、聊天窗口支持markdown排版；
5、聊天窗口支持缩略图展示。
 2025-12-10 21:21:43 +08:00
guo zebin
177b016882 prestart标签逻辑处理优化 
1、gui识别；
2、promp及记忆节点上过滤。
 2025-12-10 14:00:50 +08:00
guo zebin
741a8f79c4 更换认知记忆模块的embedding模型 2025-12-10 09:15:36 +08:00
guo zebin
7d69ed6292 mcp工具预启动功能 2025-12-07 09:27:36 +08:00
guo zebin
7567fd4248 自然进化 
1.优化记忆清除机制；
2.优化prompt。
 2025-11-12 22:29:08 +08:00
guo zebin
da05cd73e6 自然进化 
1.加入仿生记忆功能。
 2025-11-11 14:45:49 +08:00
xszyou
ca63d30824 自然进化 
2025年10月15日，Fay升级全新的工具调用机制，实现ai ide级的工具调用稳定性。（参考openai codex cli的实现逻辑）:
1. 工具调用逻辑由ReAct替换为更稳定的workflow;
2. 为mcp服务补充一个编辑功能；
3. 提供logseq mcp服务器，并作为fay的默认配置之一;
4. 工具调用的文本支持了流式输出；
5. 非富了工具调用时的think日志；
6. 优化agent、llm、工具调用的prompt。
7. 可用的mcp工具列表单独维护，不在nlp时更新；
8. 优化日程管理工具；
9. 修复了若干已知bug。
 2025-10-15 19:57:31 +08:00
guo zebin
bb9dd4bef4 自然进化 
- 重构会话管理逻辑支持以下链路基于llm输出、mcp执行、qa问答对匹配时，文字或音频输出的单向或双向打断：
	- 1、flask_server.api_send()(gui窗口文字发送) <--> flask_server.api_send_v1_chat_completions()（fay对外的openai兼容接口）
	- 2、flask_server.api_send(gui窗口文字发送) <--  flask_server.transparent_pass(消息透传接口)
	- 3、flask_server.api_send(gui窗口文字发送) <-- flask_server.to_stop_talking(打断接口）
	- 4、flask_server.api_send(gui窗口文字发送) <--> 远程音频
	- 5、flask_server.api_send(gui窗口文字发送) <-- 唤醒（普通唤醒、前置词唤醒）
	- 6、flask_server.api_send(gui窗口文字发送) <-->日程执行
	- 7、flask_server.api_send_v1_chat_completions(fay对外的openai兼容接口) <--> flask_server.transparent_pass(消息透传接口)
	- 8、flask_server.api_send_v1_chat_completions(fay对外的openai兼容接口) <-- flask_server.to_stop_talking(打断接口）
	- 9、flask_server.api_send_v1_chat_completions(fay对外的openai兼容接口) <--> 远程音频
	- 10、flask_server.api_send_v1_chat_completions(fay对外的openai兼容接口) <-- 唤醒（普通唤醒、前置词唤醒）
	- 11、flask_server.api_send_v1_chat_completions(fay对外的openai兼容接口)  <-->日程执行
	- 12、flask_server.transparent_pass(消息透传接口) <-- flask_server.to_stop_talking(打断接口）
	- 13、flask_server.transparent_pass(消息透传接口) <--> 远程音频
	- 14、flask_server.transparent_pass(消息透传接口) <-- 唤醒（普通唤醒、前置词唤醒）
	- 15、flask_server.transparent_pass(消息透传接口) <-->日程执行
	- 16、远程音频 <-- 唤醒（普通唤醒、前置词唤醒）
	- 17、远程音频 <-->日程执行
 2025-09-17 15:53:54 +08:00
guo zebin
754d2b51c6 自然进化 
1、修复mcp流式输出及打断功能。
 2025-09-17 09:36:35 +08:00
guo zebin
30d342670c 自然进化 
进一步优化会话管理。
 2025-09-12 15:29:35 +08:00
guo zebin
0e02e03d70 自然进化 
1、使用conversation_id规划session_id。
 2025-09-11 17:06:31 +08:00
guo zebin
ce19f1c3ef 自然进行 
1、加入session_version管理，让会话管理更稳健。
 2025-09-11 15:18:01 +08:00
guo zebin
15b940e8ad 自然进化 
1、修复flask_server.api_send()（gui文字消息）打断逻辑；
2。优化流式输出manager_stream流式输出的并发处理机制。
 2025-09-10 15:28:11 +08:00
guo zebin
95be7648a1 紧急修复 
修复接口打断bug。
 2025-09-04 21:33:18 +08:00
xszyou
4889583cc1 自然进化 
1.恢复文字、唤醒词、意图接口打断功能；
2、新增支持本地mcp工具调用；
3、支持mcp工具独立控制；
4、内置mcp工具箱及日程管理mcp工具；
5、结束fay时主动关闭（断开）mcp服务；
6、优化线程管理逻辑；
7、支持ctrl+c退出fay。
 2025-08-28 00:24:21 +08:00
xszyou
d2d4e8fdb8 fay自然进行 
1.优化认知机制；
2.funasr依赖更新；
3.更换公共配置中心服务器；
4.优化mcp管理；
5.去除单独情绪计算（llm已经支持）；
6.优化think的“请稍等”提醒逻辑；
7.流式推送给数字人接口的文本补充会话id及消息序号。
 2025-08-05 00:40:02 +08:00
xszyou
0df7a26e8e fay进化 
1. 内置RAG知识库（请把docx、pptx、txt文件存放到llm/data目录）；
2. 流式回复逻辑优化；
3. 语音交互逻辑优化；
4. 线程安全增强；
5. 数字人驱动接口增加流式输出开始结束标记；
6. 修复因记忆反思而导致的记忆混乱，无法多轮对话问题；
7. 修复mcp工具获取于调用的线程同步问题；
8. 修复funasr依赖版本问题。
 2025-06-27 23:33:24 +08:00
xszyou
b4ecc6996b 紧急修复 
--修复因流式音频结束标记提前而导致的麦克风风不释放问题；
--使用更短的文本切割。
 2025-06-10 23:15:41 +08:00
xszyou
2de80dcb02 紧急修复 
1、修复mcp工具获取于调用的线程同步问题；
2、修复因记忆反思而导致的记忆混乱，无法多伦对话问题；
3、更换镜像服务商。
 2025-05-29 10:22:05 +08:00
xszyou
2a204a13ed fay进化 
1、支持mcp sse服务管理及动态功具调用
--对摩搭社区提供的sse对接的mcp工具做过兼容测试
2、llm模块统一
--严格匹配openai兼容接口范式，包括token计算及流式控制等
--把认知模式作为llm对接的方式，并对认知模型进行了优化升级，可控制各用户聊天认知是否隔离
--使用qwen3-4b作为默认llm，可以平衡速度、角色模拟与MCP工具调用
3、提供配置管理中心，便于多个fay做配置管理
--当根目录中system.conf或config.json不存在，启动时会自动载入config_uitl.py中指定的配置
--配置中心代码支持多项目管理，单项目也支持多fay对接，源码地址：https://github.com/xszyou/fay_config_server
4、多个bug修复
--修复重复反思和重复保存的问题
--修正认知模型的反思和检索算法
--处理pygame报错程序不继续执行问题
--表情不进行tts
--运行时再判断加载qt5
--修复文字交互接口流式输出时不会结束问题
--修复文字交互接口流式输出qa不输出问题
 2025-05-17 01:25:45 +08:00
xszyou
11e115b228 fay自然进化 
1. 增加清除记忆功能；
2. 增加克隆性格功能；
3. 增加认知模型（专属的记忆逻辑、反思逻辑）；
4. 修复自动播报bug；
5. fay_url配置响修正；
6. 修复流式输出前置换行问题；
7. 修复没有用户聊天记录前端反复添加默认用户问题；
8. 更新dockerfile；
9. 重构util.py代码。
1. Fay ai编程指南：https://qqk9ntwbcit.feishu.cn/wiki/FKFywXWaeiBH28k4Q67c3eF7njC
2.Fay认知模型：https://qqk9ntwbcit.feishu.cn/wiki/BSW3wSsMdikiHUkiCJYcSp2lnio
 2025-04-02 23:31:46 +08:00
xszyou
10ad9d001c fay进化 
1、修复面板机器人表情“思考中”不释放问题；
2、修复因声卡导致pygame出错而无法继续运行问题；
3、兼容mp3及wav音频格式的tts；
4、修复流式空字符tts出错问题；
5、修复因tts出错不解锁麦克风问题；
6、防止流式音频之间被插话；
7、修复"gpt_stream" api出错不回消息；
8、修复aliyun tts的嗒嗒声。
 2025-03-12 22:41:01 +08:00
xszyou
377f56c600 fay进化 
1、fay gui 开放“第三页”；
2、gpt_stream修复出错时不回复问题；
3、免费为fay开源社区提供deepseek 服务。
 2025-02-27 22:34:25 +08:00
xszyou
d70547d70f 年番更新 
1、ui显示deepseek 思考窗口；
2、提供Fay ai编程工具二开指南：https://qqk9ntwbcit.feishu.cn/wiki/FKFywXWaeiBH28k4Q67c3eF7njC
3、修复使用gpt stream是声音重复合成播放的bug;
4、优化<think>标签内容处理逻辑，只在显示上和声音输出上做处理；
5、去除开启自动运行脚本功能，提高linux和mac的兼容性；
6、优化前端自动获取后端接口地址的方式；
7、agent 模式兼容deepseek。https://qqk9ntwbcit.feishu.cn/wiki/WLg5wde5di5ACqkUu6IcD4w7n0e
 2025-02-20 00:22:51 +08:00
xszyou
28bc7b0094 Update fay_agent.py 
紧急修复
 2025-02-13 10:27:10 +08:00
xszyou
964bf9ca32 年番更新 
1、修复录音失败时输出问题；
2、修复linux端启动时，因subprocess报错问题；
3、修复获取状态接口报错问题；
4、新增数字人定位、目标设置；
5、新增启动日志提醒；
6、新增支持流式llm及tts；
7、修正agent多个bug；
8、支持deepseek https://qqk9ntwbcit.feishu.cn/wiki/Ghh9wFpMIiiFxTk8SlQcZLIrnMf
 2025-02-12 22:20:37 +08:00
xszyou
9186f91afa 年番更新 
1、增加一组意图接口：唤醒、打招呼、打断；
2、增加一个自启动脚本列表；
3、修复aliyun asr错误后无法继续拾音问题；
4、优化本地拾音逻辑：麦克风启动时间减小、VAD判断时间减小、错误检查机制、拾音音量动态阈值、调整缓冲区大小；
5、补充自动播放时推送数据的检测；
6、更正qa.csv文件默认编码；
7、去掉http请求日志信息。
 2025-01-09 01:36:33 +08:00
xszyou
421157c667 年番更新 
1、自动播放逻辑优化：交互完停30秒才继续；
2、降低socket心跳频率，可以一定程序节省安卓远程设备的用电量；
3、增加消息透传接口：https://qqk9ntwbcit.feishu.cn/wiki/PNKFwVgUKig6fDkMH03cMPiInIb
4、修复底部用户列表样式错误；
5、提高agent日程执行成功率；
 2025-01-01 00:14:19 +08:00
莣仔
7a438d82a3 年番更新 
1、修复UE连接数字人接口不稳定问题；
2、修复运行途中关闭麦克风依然监听问题；
3、增加打招呼接口；
4、智普清流llm对接；
 2024-12-18 17:48:57 +08:00
xszyou
ea2d67cfae 年翻更新 
1、qa回复新增在范围内多条匹配随机命中；
2、gpt问答补充当前时间；
3、命中qa的回复，标示为采纳；
4、新增执行python main.py start命令可自启动；
5、优化CLI机制；
6、优化运行成功后的操作提醒；
7、删掉langchain nlp mudule，修复langchain新旧版包兼容问题。
 2024-12-11 21:36:14 +08:00
莣仔
c65c2f7239 年番更新 
1、qa回复新增在范围内随机命中；
2、gpt问答新增当前时间获取；
3、命中qa的回复，标示为采纳；
4，新增执行python main.py start命令可自启动。
 2024-12-11 19:08:04 +08:00
xszyou
0ade2eb074 fay年翻更新 
- 消灭langchain警告信息；
- 修复与funasr对接的包兼容性；
- 推送给数字人的消息区分交互和自动播放；
- 上传ReWoo agent测试代码。
 2024-12-04 22:20:51 +08:00
xszyou
87ed1c4425 Fay年翻更新 
- 升级Agent（chat_module=agent切换）：升级到langgraph react agent逻辑、集成到主分支fay中、基于自动决策工具调用机制、基于日程跟踪的主动沟通、支持外部观测数据传入；
- 修复因线程同步问题导致的配置文件读写不稳定
- 聊天采纳功能的bug修复
 2024-11-20 23:44:47 +08:00
莣仔
fa92b8e124 年翻更新 
1、接口新增错误处理机制；
2、nlp_gpt代码重构；
3、首页新增服务器麦克风控制；
4、首页新增服务器扬声器控制；
5、优化socket10001映射到websocket连接；
6、新增未启动时也可以在控制台输入exit进行关闭；
7、新增10002数字人接口传入Output参数可设定不合成音频；
8、处理音色接口格式报错问题；
9、取消edge_tts版本限定；
10、优化手动采纳错误处理。
 2024-11-13 18:01:03 +08:00
莣仔
059b6cee6d 年翻更新 
1、修复服务器ip配置，配置页没替换问题；
2、修复开启状态偶尔没对齐问题；
3、修复关闭时关闭按钮停留在关闭中问题；
4、修复星座读取错误问题；
5、修复刷新重复提醒开启问题；
6、新增是否进行语音合成的选择；
7、文字沟通接口加入“观察描述”；
8、聊天记录时间改为毫秒级；
9、补充数字人和远程音频的连接状态显示；
10、修复备注填写无法保存问题。
 2024-10-30 19:11:15 +08:00
xszyou
28c7097af4 紧急修复 
更新依赖
 2024-10-28 19:27:44 +08:00
guo zebin
4cfad5ae0f 年翻更新 
- 全新ui
- 全面优化websocket逻辑，提高数字人和ui连接的稳定性及资源开销
- 全面优化唤醒逻辑，提供稳定的普通唤醒模式和前置词唤醒模式
- 优化拾音质量，支持多声道麦克风拾音
- 优化自动播放服务器的对接机制，提供稳定和兼容旧版ue工程的对接模式
- 数字人接口输出机器人表情，以适应新fay ui及单片机的数字人表情输出
- 使用更高级的音频时长计算方式，可以更精准控制音频播放完成后的逻辑
- 修复点击关闭按钮会导致程序退出的bug
- 修复没有麦克风的设备开启麦克风会出错的问题
- 为服务器主机地址提供配置项，以方便服务器部署
 2024-10-26 11:34:55 +08:00