同步操作将从 xszyou/fay 强制同步,此操作会覆盖自 Fork 仓库以来所做的任何修改,且无法恢复!!!
确定后同步将在后台操作,完成时将刷新页面,请耐心等待。
Fay是一个完整的开源项目,包含Fay控制器及数字人模型,可灵活组合出不同的应用场景:虚拟主播、现场推销货、商品导购、语音助理、远程语音助理、数字人互动、数字人面试官及心理测评、贾维斯、Her。开发人员可以利用该项目简单地构建各种类型的数字人或数字助理。该项目各模块之间耦合度非常低,包括声音来源、语音识别、情绪分析、NLP处理、情绪语音合成、语音输出和表情动作输出等模块。每个模块都可以轻松地更换。
消费级pc大模型:https://github.com/THUDM/ChatGLM-6B
全平台抖音抓包:https://github.com/wwengg/douyin
UE5工程:https://github.com/xszyou/fay-ue5
实时照片驱动集成:https://github.com/waityousea/xuniren
PC demo
android demo
控制器与采用 WebSocket 方式与 UE 通讯
下载工程: https://pan.baidu.com/s/1RBo2Pie6A5yTrCf1cn_Tuw?pwd=ck99
下载windows运行包: https://pan.baidu.com/s/1CsJ647uV5rS2NjQH3QT0Iw?pwd=s9s8
工程及运行包:https://github.com/xszyou/fay-ue5
发您的Fay运行效果视频至公众号领取最新的UE5模型哦
通讯地址: ws://127.0.0.1:10002
(已接通)
消息格式: 查看 WebSocket.md
控制器与采用 socket(非websocket) 方式与 音频输出设备通讯
内网通讯地址: ws://127.0.0.1:10001
外网通讯地址: 通过http://ngrok.cc获取(有伙伴愿意赞助服务器给社区免费使用吗?)
消息格式: 参考 remote_audio.py
注:
1、去API及会话管理功能将在下一版本发布;
2、以上每个模块可轻易替换成自家核心产品。
3、本地nlp(rasa+chatglm)的替换方法(https://m.bilibili.com/video/BV1D14y1f7pr?wxfid=o7omF0Vs6RIQFUGAzB6LXOBHa6Yg): 1、安装启动chatglm(github) 2、安装rasa 包:rasa、rasa-sdk 3、进入test/rasa目录启动actions:rasa run actions 4、启动rasa api server:rasa run --enable-api -p 5006 5、fay_core.py 引入nlp_rasa.py
.
├── main.py # 程序主入口
├── fay_booter.py # 核心启动模块
├── config.json # 控制器配置文件
├── system.conf # 系统配置文件
├── ai_module
│ ├── ali_nls.py # 阿里云 实时语音
│ ├── ms_tts_sdk.py # 微软 文本转语音
│ ├── xf_aiui.py # 讯飞 人机交互-自然语言处理
│ ├── chatgpt.py # gpt3.5对接
│ ├── yuan_1_0.py # 浪潮.源大模型对接
│ └── xf_ltp.py # 讯飞 性感分析
├── bin # 可执行文件目录
├── core # 数字人核心
│ ├── fay_core.py # 数字人核心模块
│ ├── recorder.py # 录音器
│ ├── tts_voice.py # 语音生源枚举
│ ├── viewer.py # 抖音直播间接入模块
│ └── wsa_server.py # WebSocket 服务端
├── gui # 图形界面
│ ├── flask_server.py # Flask 服务端
│ ├── static
│ ├── templates
│ └── window.py # 窗口模块
├── scheduler
│ └── thread_manager.py # 调度管理器
└── utils # 工具模块
├── config_util.py
├── storer.py
└── util.py
2023.04:
2023.03:
2023.02:
2023.01:
2022.12:
2022.11:
2022.10.27:
2022.10.17:
pip install -r requirements.txt
./system.conf
中启动Fay控制器
python main.py
启动前需填入应用密钥
代码模块 | 描述 | 链接 |
---|---|---|
./ai_module/ali_nls.py | 阿里云 实时语音识别 | https://ai.aliyun.com/nls/trans |
./ai_module/ms_tts_sdk.py | 微软 文本转情绪语音(可选) | https://azure.microsoft.com/zh-cn/services/cognitive-services/text-to-speech/ |
./ai_module/xf_ltp.py | 讯飞 情感分析 | https://www.xfyun.cn/service/emotion-analysis |
./utils/ngrok_util.py | ngrok.cc 外网穿透(可选) | http://ngrok.cc |
./ai_module/yuan_1_0.py | 浪潮源大模型(NLP 3选1) | https://air.inspur.com/ |
./ai_module/chatgpt.py | ChatGPT(NLP 3选1) | ******* |
./ai_module/xf_aiui.py | 讯飞自然语言处理(NLP 3选1) | https://aiui.xfyun.cn/solution/webapi |
数字人属性,与用户交互中能做出相应的响应。
在交互中,数字人能感受用户的情感,并作出反应。最直的体现,就是语气的变化,如 开心/伤心/生气 等。 设置灵敏度,可改变用户情感对于数字人的影响程度。
填入直播间地址,实现与直播间粉丝交互
选择麦克风设备,实现面对面交互,成为你的伙伴
可以接入远程音频输入,远程音频输出
填入商品介绍,数字人将自动讲解商品。
当用户对商品有疑问时,数字人可自动跳转至对应商品并解答问题。
配合抖音接收来源,实现直播间自动带货。
1、(34条消息) 非常全面的数字人解决方案_郭泽斌之心的博客-CSDN博客_数字人算法
2、(34条消息) Fay数字人开源项目在mac 上的安装办法_郭泽斌之心的博客-CSDN博客
3、【开源项目:数字人FAY——Fay新架构使用讲解】 https://www.bilibili.com/video/BV1NM411B7Ab/?share_source=copy_web&vd_source=64cd9062f5046acba398177b62bea9ad
4、【开源项目FAY——UE工程讲解】https://www.bilibili.com/video/BV1C8411P7Ac?vd_source=64cd9062f5046acba398177b62bea9ad
5、m1机器安装办法(Gason提供):https://www.zhihu.com/question/437075754
二次开发指导联系QQ 467665317
关注公众号获取最新微信技术交流群二维码(请先star本仓库)
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。