34 Commits

Author SHA1 Message Date
guo zebin
38db690ae8 v4.3.1
1.增加音频缓存功能,降低tts费率;
2.优化透传接口流式断句逻辑,域名、版本号等不断句;
3.优化数字人接口流式文本输出顺序;
4.llm透传功能接入langsmith,配置环境变量后可通过langsmith平台调优prompt;
5.优化配置中心加载逻辑,人设配置依然保留。
2026-03-04 17:36:42 +08:00
guo zebin
da05cd73e6 自然进化
1.加入仿生记忆功能。
2025-11-11 14:45:49 +08:00
莣仔
7965cf511a 修复漏包 2025-07-04 20:23:48 +08:00
xszyou
01538eb057 Update requirments.txt 2025-05-19 15:48:14 +08:00
xszyou
2a204a13ed fay进化
1、支持mcp sse服务管理及动态功具调用
--对摩搭社区提供的sse对接的mcp工具做过兼容测试
2、llm模块统一
--严格匹配openai兼容接口范式,包括token计算及流式控制等
--把认知模式作为llm对接的方式,并对认知模型进行了优化升级,可控制各用户聊天认知是否隔离
--使用qwen3-4b作为默认llm,可以平衡速度、角色模拟与MCP工具调用
3、提供配置管理中心,便于多个fay做配置管理
--当根目录中system.conf或config.json不存在,启动时会自动载入config_uitl.py中指定的配置
--配置中心代码支持多项目管理,单项目也支持多fay对接,源码地址:https://github.com/xszyou/fay_config_server
4、多个bug修复
--修复重复反思和重复保存的问题
--修正认知模型的反思和检索算法
--处理pygame报错程序不继续执行问题
--表情不进行tts
--运行时再判断加载qt5
--修复文字交互接口流式输出时不会结束问题
--修复文字交互接口流式输出qa不输出问题
2025-05-17 01:25:45 +08:00
xszyou
11e115b228 fay自然进化
1. 增加清除记忆功能;
2. 增加克隆性格功能;
3. 增加认知模型(专属的记忆逻辑、反思逻辑);
4. 修复自动播报bug;
5. fay_url配置响修正;
6. 修复流式输出前置换行问题;
7. 修复没有用户聊天记录前端反复添加默认用户问题;
8. 更新dockerfile;
9. 重构util.py代码。
1. Fay ai编程指南:https://qqk9ntwbcit.feishu.cn/wiki/FKFywXWaeiBH28k4Q67c3eF7njC
2.Fay认知模型:https://qqk9ntwbcit.feishu.cn/wiki/BSW3wSsMdikiHUkiCJYcSp2lnio
2025-04-02 23:31:46 +08:00
xszyou
10ad9d001c fay进化
1、修复面板机器人表情“思考中”不释放问题;
2、修复因声卡导致pygame出错而无法继续运行问题;
3、兼容mp3及wav音频格式的tts;
4、修复流式空字符tts出错问题;
5、修复因tts出错不解锁麦克风问题;
6、防止流式音频之间被插话;
7、修复"gpt_stream" api出错不回消息;
8、修复aliyun tts的嗒嗒声。
2025-03-12 22:41:01 +08:00
xszyou
ea2d67cfae 年翻更新
1、qa回复新增在范围内多条匹配随机命中;
2、gpt问答补充当前时间;
3、命中qa的回复,标示为采纳;
4、新增执行python main.py start命令可自启动;
5、优化CLI机制;
6、优化运行成功后的操作提醒;
7、删掉langchain nlp mudule,修复langchain新旧版包兼容问题。
2024-12-11 21:36:14 +08:00
xszyou
0ade2eb074 fay年翻更新
- 消灭langchain警告信息;
- 修复与funasr对接的包兼容性;
- 推送给数字人的消息区分交互和自动播放;
- 上传ReWoo agent测试代码。
2024-12-04 22:20:51 +08:00
莣仔
48395ebb12 年翻更新
1、去除funasr子协议限制;
2、默认声音替换;
3、修复在服务器上聊天记录时间显示问题;
4、修复前端font缺失问题;
5、前端css调整为本地加载;
6、修复因线程问题,导致启动(关闭)失败、tts不合成等问题;
7、用户切换栏新增左右滑动;
8、修复bs4包安装遗漏问题;
9、修复聊天记录不自动换行问题;
10、修复favicon.ico 缺失问题;
2024-11-27 17:29:51 +08:00
xszyou
87ed1c4425 Fay年翻更新
- 升级Agent(chat_module=agent切换):升级到langgraph react agent逻辑、集成到主分支fay中、基于自动决策工具调用机制、基于日程跟踪的主动沟通、支持外部观测数据传入;
- 修复因线程同步问题导致的配置文件读写不稳定
- 聊天采纳功能的bug修复
2024-11-20 23:44:47 +08:00
莣仔
fa92b8e124 年翻更新
1、接口新增错误处理机制;
2、nlp_gpt代码重构;
3、首页新增服务器麦克风控制;
4、首页新增服务器扬声器控制;
5、优化socket10001映射到websocket连接;
6、新增未启动时也可以在控制台输入exit进行关闭;
7、新增10002数字人接口传入Output参数可设定不合成音频;
8、处理音色接口格式报错问题;
9、取消edge_tts版本限定;
10、优化手动采纳错误处理。
2024-11-13 18:01:03 +08:00
guo zebin
f2194f08fd 恢复edge tts可用 2024-10-29 09:53:58 +08:00
xszyou
28c7097af4 紧急修复
更新依赖
2024-10-28 19:27:44 +08:00
guo zebin
4cfad5ae0f 年翻更新
- 全新ui
- 全面优化websocket逻辑,提高数字人和ui连接的稳定性及资源开销
- 全面优化唤醒逻辑,提供稳定的普通唤醒模式和前置词唤醒模式
- 优化拾音质量,支持多声道麦克风拾音
- 优化自动播放服务器的对接机制,提供稳定和兼容旧版ue工程的对接模式
- 数字人接口输出机器人表情,以适应新fay ui及单片机的数字人表情输出
- 使用更高级的音频时长计算方式,可以更精准控制音频播放完成后的逻辑
- 修复点击关闭按钮会导致程序退出的bug
- 修复没有麦克风的设备开启麦克风会出错的问题
- 为服务器主机地址提供配置项,以方便服务器部署
2024-10-26 11:34:55 +08:00
莣仔
64e4213cae 恢复 2024-02-21 16:12:00 +08:00
莣仔
b39a2e0eb2 首次上传 2024-02-21 15:44:42 +08:00
xszyou
16f8d599d7 工作愉快
删库跑路了?
2024-01-08 18:32:23 +08:00
xszyou
e48b8d8a2d 第4次更新
1、优化prompt;
2、解决日程删除错误;
3、iotm demo tool整体更新。
2023-12-18 16:52:53 +08:00
xszyou
875ed28b58 初始上传
初始上传
2023-12-12 00:03:36 +08:00
xszyou
894a9b6ea4 提交Fay AI Agent版计划
提交Fay AI Agent版计划
2023-09-18 10:17:31 +08:00
xszyou
528d326314 今天星期三
1、数字人连接提示词修改;
2、 Q&A填写demo修复;
3、 安装包错误修复。
2023-09-06 18:16:10 +08:00
xszyou
580264169f 今天星期三
1、 调整gpt的消息记录方式;
2、*q&a支持RPA自动化脚本。
2023-08-30 18:29:08 +08:00
xszyou
8a4c9d7329 重构nlp模块逻辑
+ 重构NLP模块管理逻辑,便于自由扩展;
+ gpt:拆分为ChatGPT及GPT、更换新的GPT接口、可单独配置代理服务器;
+ 指定yolov8包版本,解决yolo不兼容问题;
+ 修复:自言自语bug、接收多个待处理消息bug。
2023-06-28 19:44:34 +08:00
xszyou
ae1d2ae292 多模态的支持
+ 修复多个bug:消息框换行及空格问题、语音识别优化;
+ 彩蛋转正,Fay沟通与ChatGPT并行;
+ 加入yolov8姿态识别;
+ 加入VisualGLM-6B多模态单机离线大语言模型。
2023-05-27 17:03:43 +08:00
xszyou
023df4deb1 上传彩蛋
1、上传chatgpt彩蛋;
2、修复音频合成过长不播放问题。
2023-05-19 18:12:02 +08:00
xszyou
524e4d0e65 提供funasr集成
1、修正语音和文字的交互逻辑;
2、提供funasr的可选集成。
2023-05-17 18:38:47 +08:00
xszyou
57b362fa6b 提高抖音字幕监听的稳定性及包兼容性
1、清除旧逻辑代码;
2、优化监听逻辑;
3、调整包版本的兼容性python3.8、3.9、3.10。
2023-04-24 12:46:17 +08:00
xszyou
2dca3ad6db 20230315
1、增加edge-tts语音合成(免费)可替换azure-tts(支持情绪化语音);
2、替换flask发行版运行方式。
2023-03-15 02:22:50 +08:00
xszyou
068f4d7d17 20230224
1、更新utils路径bug;
2、更正readme说明;
3、去除python自带包的安装。
2023-02-24 11:44:22 +08:00
xszyou
77b2c0a479 2023.02.10
1、加入了NLP三选一:xfaiui、yuan、chatgpt;
2、修复由pyaudio bug导致的录音错误;
3、修改远程音频输入输出设备同时只允许连1个;
2023-02-10 19:50:47 +08:00
xszyou
55fb0896b8 2023.01
Fay2.0:
1、控制器pc内网穿透,音频输入输出设备远程直连;
2、提供android 音频输入输出工程示例代码;
3、提供python音频输入输出工程示例代码(远程PC、树莓派等可用);
4、补传1.0语音指令音乐播放模块(暂不支持远程播放);
5、重构及补充若干工具模块:websocket、多线程、缓冲器、音频流录制器等;
6、修复1.x版本的多个bug。
2023-01-31 12:40:36 +08:00
xszyou
b1c78fd260 2022.10.17
1、更新语音指令;
2、修正微软key的配置项;
3、提供q&a模版;
2022-10-17 11:32:51 +08:00
Ram
338917fdf7 Update 2022-06-20 11:05:10 +08:00