关于为视频添加字幕与翻译所走过的坑
过程
打算做视频搬运的项目：
将国内的视频，添加字幕（以及翻译），再发布到国外的平台，做视频的搬运工。
弯路
1、原视频已有文字，故提取文字时，我使用的是 PaddleOCR 来提取其中的文字，再将使用 Gnome Subtitles 添加字幕与翻译。
- 1. 使用 ffmpeg 截取视频下方的文字区域的部分
- 2. 使用 mpv 将视频中文字截取成图片
- 3. 使用 Paddle Docker 镜像，将该图片上的文字提取
- 4. 使用编辑器，将取出的文字内容多余的部分剃除，并且校正部分文字
- 5. 使用 Gnome Subtitles 添加字幕与翻译（逐步添加），非常麻烦
AI 自动化
使用剪映（字节跳动产品）
下载视频
youtube-dl https://www.youtube.com/watch\?v\=y9lyzq3DV1Y -o a1.mp4
转换音频为 wav
ffmpeg -i a1.mp4 -vn -acodec pcm_s16le -ar 44100 -ac 1 a1.wav
提取日语字幕
whisper a1.wav --language ja --task translate --model medium --output_format srt --fp16 False
翻译字幕为中文
提示词：
你是一名专业字幕翻译员，需要将日文字幕逐句翻译成简体中文。请遵守以下规则：
1. 保留原始时间轴格式
2. 使用口语化表达
3. 不要添加额外解释
4. 专有名词不翻译
5. 生成可以复制的代码形式的 txt 内容