周城光,周军,韦向峰,周文佳,王荣泉

• 1:中国科学院声学研究所语言与智能信息处理实验室

摘要(Abstract)：

利用云端语音识别引擎和机器翻译引擎，结合开源语音处理软件ffmpeg,设计并实现了一个科普视频汉英双语字幕生成的系统。将科普视频文件用开源软件提取音频内容，调用百度云端语音识别引擎(https://aip.baidubce.com/)联合汉语科普知识库，实现语音到汉语字幕及其时间线的转换；调用百度云端机器翻译引擎(http://api.fanyi.baidu.com/)联合汉英科普对译库，将汉语字幕翻译为英文字幕，并对应到汉语字幕的时间线上，最后生成科普视频的汉英双语云端语音识别字幕。本文利用真实科普视频评估了本文所提系统的处理能力，从汉语语音到英文字幕总正确(可懂)率为77.3%;进一步分析该字幕生成系统的人工用时，接近全人工处理的1/5,能够有效降低人工成本，提高科普视频汉英双语字幕的生成效率。

关键词(KeyWords)： 科普;视频字幕;语音识别;机器翻译

Abstract:

Keywords:

基金项目(Foundation):

作者(Author): 周城光,周军,韦向峰,周文佳,王荣泉

DOI: 10.20064/j.cnki.2095-347X.2023.02.008

参考文献(References)：

• [1] 黄荣丽，王大鹏.科普短视频的现状与发展趋势刍议[J].科普创作评论，2022,2(1):12-18.
• [2] 朱宏宣.语音识别字幕制作系统构想[J].影视制作，2013,19(2):71-73.
• [3] 颜清波，任鹏.视频全字幕的制作与提取实践探究[J].海峡科技与产业，2022,35(4):76-78.
• [4] 司玉景，潘接林，颜永红，等.基于在线语音流的字幕自动生成系统算法研究与实现[J].网络新媒体技术，2013,2(4):52-54.
• [5] 徐涛.语音识别在电视字幕编辑中的应用[J].有线电视技术，2017(8):106-107.
• [6] 张云逸.基于推荐语音活动检测的视频字幕算法设计及实现[D].杭州：浙江大学，2018.
• [7] 王澳回，张珑，宋文宇，等.端到端流式语音识别研究综述[J].计算机工程与应用，2023,59(2):22-33.
• [8] 马晗，唐柔冰，张义，张巧灵.语音识别研究综述[J].计算机系统应用，2022,31(1):1-10.
• [9] 金璐钰，徐云娟，姚建民.机器翻译发展态势和质量分析[J].人工智能与机器人研究，2022,11(1):27-30.
• [10] Kalchbrenner N,Blunsom P.Recurrent Continuous Translation Models[C]//EMNLP 2013-2013 Conference on Empirical Methods in Natural Language Processing,Proceedings of the Conference,2013:1700-1709.
• [11] Sutskever I,Vinyals O,Le Q V.Sequence to sequence learning with neural networks[EB/OL].arXiv preprints arXiv:1409.3215.(2014-12-14).https://arxiv.org/abs/1409.3215.
• [12] Vaswani A,Shazeer N ,Parmar N ,et al.Attention Is All You Need[EB/OL].arXiv preprints arXiv:1706.03762.(2017-12-06).https://arxiv.org/abs/1706.03762.
• [13] Devlin J,Chang M W,Lee K,et al.BERT:Pre-training of Deep Bidirectional Transformers for Language Understanding[EB/OL].arXiv preprints arXiv:1810.04805.(2019-05-24).https://arxiv.org/abs/1810.04805.
• [14] 陈诚.机器翻译技术的综述[J].电子技术，2021,50(11):290-291.
• [15] 冯洋，邵晨泽.神经机器翻译前沿综述[J].中文信息学报，2020,34(7):1-18.
• [16] 董海雅.语际实时字幕翻译研究：现状与展望[J].东方翻译，2019(6):25-31.
• [17] 侯强，侯瑞丽.机器翻译方法研究与发展综述[J].计算机工程与应用，2019,55(10):30-35+66.
• [18] 韦向峰，张全，熊亮.一种基于语义分析的汉语语音识别纠错方法[J].计算机科学，2006,33(10):152-155.