对大模型进行监督训练需要一些样本,样本需要人工标注,在标注平台增加AI预标注功能可以节省人力资源,提高标注效率
功能结构图
效果展示![]()
这个系统主要是两个功能,一个是AI语音转文字,一个是人工标注,AI语音转文字可能在项目里用的会多一些,我这边用的是whisper,搜了一下这个是免费开源的
注意事项:
1.上传文件或者文件夹要考虑大文件传输的情况,用分片上传
2.既然是一个需要人工审核的语音标注平台,就需要根据实际业务给出具体的标注规范
3.导出的文件格式要和需要训练的大模型能接收的训练集格式保持一致
4.做审查记录,如果后续出现什么问题方便找原因,当然我这里记录不全乎,至少应该加个操作人的哈