public/model-sense-voice-small
38
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

update README.md

Browse Source
This commit is contained in:
北念 2024-07-03 11:44:45 +08:00
parent 1094eae056
commit 2db91a0891
1 changed files with 8 additions and 16 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

24
README.md
View File

@ -31,11 +31,13 @@ tasks:
--- ---
# Highlights # Highlights
- SenseVoice-Small模型支持中、粤、英、日、韩多语言语音识别，在中、粤识别效果上明显优于Whisper模型。 - **多语言识别：** SenseVoice-Small模型支持中、粤、英、日、韩五种语言，在中、粤识别效果上明显优于Whisper模型。
- SenseVoice-Small模型具备优秀的情感识别，能够在测试数据上达到和超过目前最佳情感识别模型的效果。 - **富文本识别：**
- SenseVoice-Small模型支持声音事件检测能力，支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。 - SenseVoice模型具备优秀的情感识别，能够在测试数据上达到和超过目前最佳情感识别模型的效果。
- SenseVoice-Small采用非自回归端到端框架，推理延迟极低，10s音频推理仅耗时70ms。 - SenseVoice模型支持声音事件检测能力，支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。
- SenseVoice支持模型微调和onnx服务部署。 - **高效推理：** SenseVoice-Small模型采用非自回归端到端框架，推理延迟极低，10s音频推理仅耗时70ms。
- **微调定制：** SenseVoice项目支持有便捷的微调脚本与策略，方便用户根据业务场景修复长尾样本问题。
- **服务部署：** SenseVoice项目有完整的服务部署链路，支持多并发请求，支持客户端语言有，python、c++、html、java与c#等。
## <strong>[SenseVoice开源项目介绍]()</strong> ## <strong>[SenseVoice开源项目介绍]()</strong>
<strong>[SenseVoice]()</strong>开源模型是多语言音频理解模型，具有包括语音识别、语种识别、语音情感识别，声学事件检测能力。 <strong>[SenseVoice]()</strong>开源模型是多语言音频理解模型，具有包括语音识别、语种识别、语音情感识别，声学事件检测能力。
@ -44,16 +46,6 @@ tasks:
| [**最新动态**]() | [**最新动态**]()
| [**环境安装**]() | [**环境安装**]()
## <strong>[FunASR开源项目介绍](https://github.com/alibaba-damo-academy/FunASR)</strong>
<strong>[FunASR](https://github.com/alibaba-damo-academy/FunASR)</strong>希望在语音识别的学术研究和工业应用之间架起一座桥梁。通过发布工业级语音识别模型的训练和微调，研究人员和开发人员可以更方便地进行语音识别模型的研究和生产，并推动语音识别生态的发展。让语音识别更有趣！
[**github仓库**](https://github.com/alibaba-damo-academy/FunASR)
| [**最新动态**](https://github.com/alibaba-damo-academy/FunASR#whats-new)
| [**环境安装**](https://github.com/alibaba-damo-academy/FunASR#installation)
| [**服务部署**](https://www.funasr.com)
| [**模型库**](https://github.com/alibaba-damo-academy/FunASR/tree/main/model_zoo)
| [**联系我们**](https://github.com/alibaba-damo-academy/FunASR#contact)
# 模型结构图 # 模型结构图
SenseVoice多语言音频理解模型，支持语音识别、语种识别、语音情感识别、声学事件检测、逆文本正则化等能力，采用工业级数十万小时的标注音频进行模型训练，保证了模型的通用识别效果。模型可以被应用于中文、粤语、英语、日语、韩语音频识别，并输出带有情感和事件的富文本转写结果。 SenseVoice多语言音频理解模型，支持语音识别、语种识别、语音情感识别、声学事件检测、逆文本正则化等能力，采用工业级数十万小时的标注音频进行模型训练，保证了模型的通用识别效果。模型可以被应用于中文、粤语、英语、日语、韩语音频识别，并输出带有情感和事件的富文本转写结果。
@ -192,7 +184,7 @@ Undo
## 推理效率 ## 推理效率
SenseVoice-small模型采用非自回归端到端架构，推理延迟极低。在参数量与Whisper-Small模型相当的情况下，比Whisper-Small模型推理速度快7倍，比Whisper-Large模型快17倍。同时SenseVoice-small模型在音频时长增加的情况下，推理耗时也无明显增加。 SenseVoice-Small模型采用非自回归端到端架构，推理延迟极低。在参数量与Whisper-Small模型相当的情况下，比Whisper-Small模型推理速度快7倍，比Whisper-Large模型快17倍。同时SenseVoice-small模型在音频时长增加的情况下，推理耗时也无明显增加。
<p align="center"> <p align="center">