lip_sync/README.md

唇形同步生成器

一个基于Electron的桌面应用程序，用于生成唇形同步效果。该应用程序允许用户上传字幕和音频文件，然后生成与语音同步的唇形动画。

功能特点

• 支持SRT和VTT格式的字幕文件
• 支持音频文件上传和处理
• 自动切割音频文件以匹配字幕时间
• 使用AI生成描述词
• 生成唇形同步动画
• 导出和分享功能

对口型功能

该功能允许用户根据已上传的音频和视频文件生成口型同步的视频。

功能特点

1. 对口型生成：将音频与视频文件结合，生成口型同步的视频
2. 进度显示：实时显示对口型生成的进度
3. 结果预览：完成后直接在界面中预览生成的视频
4. 结果保存：将生成的视频保存到项目中

使用方法

1. 上传项目的音频文件和参考视频文件
2. 在项目详情页点击"生成对口型"按钮
3. 等待处理完成（过程可能需要几分钟）
4. 生成完成后，可以直接在页面上预览和使用对口型视频

技术实现

• 通过 Coze API 上传音频和视频文件获取可访问链接
• 调用对口型 API 提交音频和视频 URL 进行处理
• 通过轮询方式获取处理进度和最终结果
• 将结果保存到项目数据库中并展示到界面

开发环境设置

前提条件

• Node.js (v14.0.0+)
• npm (v6.0.0+)

安装

1. 克隆仓库

   git clone http://code.qutaovip.com/lihai/lip_sync.git
   cd lip_sync
   

2. 安装依赖

   npm install
   

3. 启动开发服务器

   npm start
   

构建应用

npm run build

项目结构

• /src - 源代码
  • /components - React组件
  • /pages - 页面组件
  • /utils - 工具函数
  • /nodeapi - Node.js API
  • /db - 数据库相关代码

许可证

Copyright (c) 2023

此项目仅供学习和研究使用。未经许可，禁止商业用途。