gavin/Fay
1
0
Fork 0
mirror of https://github.com/xszyou/Fay.git synced 2026-03-12 17:51:28 +08:00
Code Issues Packages Projects Releases Wiki Activity
263 Commits 1 Branch 0 Tags
main
Commit Graph

42 Commits

Author SHA1 Message Date
guo zebin
38db690ae8 v4.3.1 
1.增加音频缓存功能，降低tts费率；
2.优化透传接口流式断句逻辑，域名、版本号等不断句；
3.优化数字人接口流式文本输出顺序；
4.llm透传功能接入langsmith，配置环境变量后可通过langsmith平台调优prompt；
5.优化配置中心加载逻辑，人设配置依然保留。
 2026-03-04 17:36:42 +08:00
guo zebin
3b4552d50e 核心模块 
1.在没有配置langsmith环境变量时不导入相关包。
 2026-01-30 12:28:44 +08:00
guo zebin
eecbb931a9 交互模块 
1. [增加]embedding维度检查自动修正逻辑。
 2026-01-29 15:09:37 +08:00
guo zebin
3bcc11610b 把embedding api移入公式库 2026-01-26 16:01:41 +08:00
guo zebin
6ba7a894fb 配置模块 
1、修复配置加载逻辑。
 2026-01-26 15:26:36 +08:00
guo zebin
8a26899b53 自然进化 
1. fay启动命令增加参数config_center;
2. 修复多个think标签处理逻辑问题;
3. 修复llm透传模式编码问题；
 2026-01-15 15:02:54 +08:00
guo zebin
ac8c1c6f2a 优化qa管理策略 
1、优化采纳及取消采纳的逻辑；
2、采纳不记录think内容；
3、相似问题的答案随机选择输出。
 2025-12-03 22:56:08 +08:00
guo zebin
da05cd73e6 自然进化 
1.加入仿生记忆功能。
 2025-11-11 14:45:49 +08:00
guo zebin
8540fa5dac 自然进化 
1、修复文字沟通接口打断功能；
2、修复qa命中采纳按钮点亮。
 2025-09-14 01:08:57 +08:00
guo zebin
30d342670c 自然进化 
进一步优化会话管理。
 2025-09-12 15:29:35 +08:00
guo zebin
0e02e03d70 自然进化 
1、使用conversation_id规划session_id。
 2025-09-11 17:06:31 +08:00
guo zebin
ce19f1c3ef 自然进行 
1、加入session_version管理，让会话管理更稳健。
 2025-09-11 15:18:01 +08:00
guo zebin
95be7648a1 紧急修复 
修复接口打断bug。
 2025-09-04 21:33:18 +08:00
xszyou
d2d4e8fdb8 fay自然进行 
1.优化认知机制；
2.funasr依赖更新；
3.更换公共配置中心服务器；
4.优化mcp管理；
5.去除单独情绪计算（llm已经支持）；
6.优化think的“请稍等”提醒逻辑；
7.流式推送给数字人接口的文本补充会话id及消息序号。
 2025-08-05 00:40:02 +08:00
xszyou
0df7a26e8e fay进化 
1. 内置RAG知识库（请把docx、pptx、txt文件存放到llm/data目录）；
2. 流式回复逻辑优化；
3. 语音交互逻辑优化；
4. 线程安全增强；
5. 数字人驱动接口增加流式输出开始结束标记；
6. 修复因记忆反思而导致的记忆混乱，无法多轮对话问题；
7. 修复mcp工具获取于调用的线程同步问题；
8. 修复funasr依赖版本问题。
 2025-06-27 23:33:24 +08:00
xszyou
9f4dd8df05 update config_util.py 
“fay_url”配置项不存在时主动获取本机ip
 2025-05-26 14:32:47 +08:00
xszyou
2a204a13ed fay进化 
1、支持mcp sse服务管理及动态功具调用
--对摩搭社区提供的sse对接的mcp工具做过兼容测试
2、llm模块统一
--严格匹配openai兼容接口范式，包括token计算及流式控制等
--把认知模式作为llm对接的方式，并对认知模型进行了优化升级，可控制各用户聊天认知是否隔离
--使用qwen3-4b作为默认llm，可以平衡速度、角色模拟与MCP工具调用
3、提供配置管理中心，便于多个fay做配置管理
--当根目录中system.conf或config.json不存在，启动时会自动载入config_uitl.py中指定的配置
--配置中心代码支持多项目管理，单项目也支持多fay对接，源码地址：https://github.com/xszyou/fay_config_server
4、多个bug修复
--修复重复反思和重复保存的问题
--修正认知模型的反思和检索算法
--处理pygame报错程序不继续执行问题
--表情不进行tts
--运行时再判断加载qt5
--修复文字交互接口流式输出时不会结束问题
--修复文字交互接口流式输出qa不输出问题
 2025-05-17 01:25:45 +08:00
xszyou
11e115b228 fay自然进化 
1. 增加清除记忆功能；
2. 增加克隆性格功能；
3. 增加认知模型（专属的记忆逻辑、反思逻辑）；
4. 修复自动播报bug；
5. fay_url配置响修正；
6. 修复流式输出前置换行问题；
7. 修复没有用户聊天记录前端反复添加默认用户问题；
8. 更新dockerfile；
9. 重构util.py代码。
1. Fay ai编程指南：https://qqk9ntwbcit.feishu.cn/wiki/FKFywXWaeiBH28k4Q67c3eF7njC
2.Fay认知模型：https://qqk9ntwbcit.feishu.cn/wiki/BSW3wSsMdikiHUkiCJYcSp2lnio
 2025-04-02 23:31:46 +08:00
xszyou
10ad9d001c fay进化 
1、修复面板机器人表情“思考中”不释放问题；
2、修复因声卡导致pygame出错而无法继续运行问题；
3、兼容mp3及wav音频格式的tts；
4、修复流式空字符tts出错问题；
5、修复因tts出错不解锁麦克风问题；
6、防止流式音频之间被插话；
7、修复"gpt_stream" api出错不回消息；
8、修复aliyun tts的嗒嗒声。
 2025-03-12 22:41:01 +08:00
xszyou
7a512709c7 fay进化 
1、stream_manager.py补充注释；
2、 gevent包版本更新；#146
3、修复booter与core双互引入问题；#148
4、fay gui支持流式显示，包括<think>标签的内容；
5、修复gpt_stream模式时qa回复不合成语音问题；
6、优化流式deepseek，fay gui及tts对think内容的处理。
7、重构了部分fay_core.py交互逻辑代码；
8、优化机器人表情显示逻辑;
9、把数字人驱动接口标识“Unreal”更改成“human”，消除误解。
 2025-02-27 17:47:59 +08:00
xszyou
964bf9ca32 年番更新 
1、修复录音失败时输出问题；
2、修复linux端启动时，因subprocess报错问题；
3、修复获取状态接口报错问题；
4、新增数字人定位、目标设置；
5、新增启动日志提醒；
6、新增支持流式llm及tts；
7、修正agent多个bug；
8、支持deepseek https://qqk9ntwbcit.feishu.cn/wiki/Ghh9wFpMIiiFxTk8SlQcZLIrnMf
 2025-02-12 22:20:37 +08:00
莣仔
48395ebb12 年翻更新 
1、去除funasr子协议限制；
2、默认声音替换；
3、修复在服务器上聊天记录时间显示问题；
4、修复前端font缺失问题；
5、前端css调整为本地加载；
6、修复因线程问题，导致启动（关闭）失败、tts不合成等问题；
7、用户切换栏新增左右滑动；
8、修复bs4包安装遗漏问题；
9、修复聊天记录不自动换行问题；
10、修复favicon.ico 缺失问题；
 2024-11-27 17:29:51 +08:00
xszyou
87ed1c4425 Fay年翻更新 
- 升级Agent（chat_module=agent切换）：升级到langgraph react agent逻辑、集成到主分支fay中、基于自动决策工具调用机制、基于日程跟踪的主动沟通、支持外部观测数据传入；
- 修复因线程同步问题导致的配置文件读写不稳定
- 聊天采纳功能的bug修复
 2024-11-20 23:44:47 +08:00
xszyou
4bcb28e182 紧急修复 
修复麦克风热启动的bug.
 2024-11-07 11:30:21 +08:00
guo zebin
4cfad5ae0f 年翻更新 
- 全新ui
- 全面优化websocket逻辑，提高数字人和ui连接的稳定性及资源开销
- 全面优化唤醒逻辑，提供稳定的普通唤醒模式和前置词唤醒模式
- 优化拾音质量，支持多声道麦克风拾音
- 优化自动播放服务器的对接机制，提供稳定和兼容旧版ue工程的对接模式
- 数字人接口输出机器人表情，以适应新fay ui及单片机的数字人表情输出
- 使用更高级的音频时长计算方式，可以更精准控制音频播放完成后的逻辑
- 修复点击关闭按钮会导致程序退出的bug
- 修复没有麦克风的设备开启麦克风会出错的问题
- 为服务器主机地址提供配置项，以方便服务器部署
 2024-10-26 11:34:55 +08:00
莣仔
64e4213cae 恢复 2024-02-21 16:12:00 +08:00
莣仔
b39a2e0eb2 首次上传 2024-02-21 15:44:42 +08:00
xszyou
16f8d599d7 工作愉快 
删库跑路了？
 2024-01-08 18:32:23 +08:00
xszyou
875ed28b58 初始上传 
初始上传
 2023-12-12 00:03:36 +08:00
xszyou
894a9b6ea4 提交Fay AI Agent版计划 
提交Fay AI Agent版计划
 2023-09-18 10:17:31 +08:00
xszyou
c99ee0cc5a 今天星期三 
+ 修复连接数字人之前产生大量ws信息问题；
+ 增加数字人（ue、live2d、xuniren）通讯接口：实时日志；
+ 更新数字人（ue、live2d、xuniren）通讯接口：音频推送。
 2023-07-26 18:11:52 +08:00
xszyou
8a4c9d7329 重构nlp模块逻辑 
+ 重构NLP模块管理逻辑，便于自由扩展；
+ gpt：拆分为ChatGPT及GPT、更换新的GPT接口、可单独配置代理服务器；
+ 指定yolov8包版本，解决yolo不兼容问题；
+ 修复：自言自语bug、接收多个待处理消息bug。
 2023-06-28 19:44:34 +08:00
xszyou
e2859e9d68 修复配置文件bug 
修复读取配置文件bug
 2023-06-26 10:03:43 +08:00
xszyou
750e77e8b1 集成灵聚NLP api及UI修正 
1、集成灵聚NLP api(支持GPT3.5及多应用)；
 2、ui修正。
 2023-06-21 17:54:26 +08:00
xszyou
ae1d2ae292 多模态的支持 
+ 修复多个bug：消息框换行及空格问题、语音识别优化；
+ 彩蛋转正，Fay沟通与ChatGPT并行；
+ 加入yolov8姿态识别；
+ 加入VisualGLM-6B多模态单机离线大语言模型。
 2023-05-27 17:03:43 +08:00
xszyou
023df4deb1 上传彩蛋 
1、上传chatgpt彩蛋；
2、修复音频合成过长不播放问题。
 2023-05-19 18:12:02 +08:00
xszyou
524e4d0e65 提供funasr集成 
1、修正语音和文字的交互逻辑；
2、提供funasr的可选集成。
 2023-05-17 18:38:47 +08:00
xszyou
d80543684a 20230423 
1、抖音直播互动数据对接更换成系统代理抓包pd解码的方式（运行直播伴侣即可）；
2、修复若干逻辑及说明错误。
 2023-04-13 09:44:36 +08:00
xszyou
77b2c0a479 2023.02.10 
1、加入了NLP三选一:xfaiui、yuan、chatgpt；
2、修复由pyaudio bug导致的录音错误；
3、修改远程音频输入输出设备同时只允许连1个；
 2023-02-10 19:50:47 +08:00
xszyou
55fb0896b8 2023.01 
Fay2.0:
1、控制器pc内网穿透，音频输入输出设备远程直连；
2、提供android 音频输入输出工程示例代码；
3、提供python音频输入输出工程示例代码（远程PC、树莓派等可用）；
4、补传1.0语音指令音乐播放模块（暂不支持远程播放）；
5、重构及补充若干工具模块：websocket、多线程、缓冲器、音频流录制器等；
6、修复1.x版本的多个bug。
 2023-01-31 12:40:36 +08:00
xszyou
b1c78fd260 2022.10.17 
1、更新语音指令；
2、修正微软key的配置项；
3、提供q&a模版；
 2022-10-17 11:32:51 +08:00
Ram
338917fdf7 Update 2022-06-20 11:05:10 +08:00