Skip to content

Latest commit

 

History

History
140 lines (107 loc) · 10.6 KB

README_cn.md

File metadata and controls

140 lines (107 loc) · 10.6 KB

视频文字翻译示例:从做到右全自动翻译并剪辑完成

鬼手剪辑能自动翻译视频内的文字和语音,做到样式还原和音画对齐,以下是真实案例。 支持多种语言。

最新产品更新

  • 10.12-#AI图片处理上线:全自动擦除图片内的文字,全自动翻译图片。效果卓越,全球领先,免费使用。
  • 09.26-#鬼手剪辑去重更新:新增【高级二创】-支持短剧二创/解说二创 -- 支持AI一键改写,根据原内容重新生成文案,配音和字幕,可灵活搭配去重大幅提高二创度; -- 增加字幕位置推断,有效避免场景文字的误擦除。
  • 9.13-#鬼手剪辑去重和TK发布更新 -- 去重功能更新:新增多种去重方式,随机镜像,随机加速,调色等, 开放掐头去尾,抽帧等操作选项,用户可以自定义去重操作 -- 作品页新增TK一键发布功能,可以直接在小程序绑定TikTok账号,官方接口授权,处理后的作品一键发布到海外TikTok 08.29-#鬼手剪辑网页版更新,新增TikTok一键发布功能,在鬼手剪辑处理好的视频,可以直接发布到绑定的TikTok账号内,支持自定义标签,文案,发布权限。详细教程说明:一键发布到 TikTOK(2023-8-29) 内测阶段免费使用。
  • 08.04-#鬼手剪辑网页版更新,更简单的页面布局,更清晰的介绍,网页版支持各种在线调整,欢迎体验。
  • 07.28-#API开放,鬼手剪辑支持在线API的开通和使用,更自主、更简单、更多组合都可支持。入口在网页端个人主页。即开即用,即买即充。
  • 06.05-#618福利大放送 -- 福利一:原季度会员套餐升级为半年度 ,加时不加价 -- 福利二:过期点数领回,购买任意套餐可以找回30天内过期得点数。
  • 05.14-#翻译产品更新:鬼手剪辑上线硬字幕在线编辑,可以在电脑端调整硬字幕翻译的文字内容;
  • 04.18-#翻译产品更新:鬼手剪辑手机版【翻译视频声音】&【翻译视频文字】功能新增翻译字幕调整功能,用户可以在手机端小程序内直接对翻译后的作品文字和样式,进行调整修改,不需要在电脑端也可以完成纠错流程,同时也可以对比查看新老视频,调整文案;
  • 04.17-#翻译产品更新:视频语音翻译上线分段变速,全面保证【语音-画面-字幕】的对齐,对齐更准,发音更稳定;
  • 03.28-#翻译产品更新:翻译视频文字产品上线网页版,同时支持一次性完成视频文字翻译+视频去重+智能配乐等;
  • 03.23-#语音更新:接入剪映(抖音)、CapCut的常用声音,如东北老铁,广西壮汉,英文活力Ariana,欢迎体验;
  • 03.15-#API更新:开放了自动去字幕、自动视频文字翻译、自动视频语音翻译、自动视频去重等多项独家产品的API,欢迎咨询;
  • 03.09-#翻译产品更新:所有翻译引擎调用ChatGPT,准确度更高,尤其是小语种之间的翻译效果,欢迎体验;
  • 01.16-#翻译产品更新:翻译视频文字产品上线。

1.鬼手剪辑GhostCut-AI视频剪辑工具

鬼手剪辑是一款智能的视频剪辑软件,他的核心用途是帮助客户提高素材的处理速度和视频创意的生产的质量,我们用了大量的AI的能力在各个音视频的处理细节上,提高了对于很多视频的处理效率。

  1. 【自动去文字】 自动OCR检测视频中的所有文字并进行inpainting涂抹,尽量还原被擦除的视频部分;
  2. 【自动翻译视频文字】 自动OCR检测视频中的字幕,并对视频内文字的位置、样式、大小等进行计算和提取,然后使用ChatGPT对字幕翻译后按原文字样式、原位置贴回,同时对原文字进行inpainting涂抹;
  3. 【自动翻译视频语音】 自动ASR提取视频中的语音,并对提取后的语音进行翻译,同时使用TTS对翻译后的文本合成语音。在此过程计算原画面、语音和字幕的位置,会对新合成的语音、字幕和原画面做自动对齐,尽量保证音画一致。可以同时选择是否对原文字进行inpainting涂抹;可以选择是否保留原声,保留原声的效果是自动分离原视频的人声和背景音乐,保留背景音乐。
  4. 【自动视频去重】 自动对视频进行微小的改动处理,全自动完成以下操作,包括但不限于对修改md5、去除视频指纹、对视频叠加画中画、微小裁剪、使用高斯模糊、自动剪辑封面剪辑、画面做微弱倾斜、使用锐化、使用加减速等以及其他转场、滤镜、缩放、一键改写字幕样式、字幕内容和重新配音等操作。一般用于 短视频 快速二次创作或视频裂变处理。
  5. 【自动图片擦除与翻译】 鬼手剪辑的图片翻译服务,是新推出的AI图片处理产品,他融合了多个最新的AI模型,整体优化了翻译质量、样式排版和文字回填,把图片翻译的质量,提高到了一个新的水平。

2.产品特色

  1. 使用了大量最新的AI技术+音视频处理算法,尽可能提高处理效果;
  2. 采用自动化和智能化的设计理念,端到端的解决问题,尽可能交付成品;
  3. 开放了所有的API和中间产物,方便大家集成。

3.视频处理案例

鬼手剪辑测试地址。 有中英文版本。大陆用户可以访问微信小程序,鬼手剪辑。

智能去文字-案例

自动OCR检测文字并去除, 视频效果请点此查看

去水印/去文字/视频擦除教程

鬼手剪辑能自动去除哪些案例?具体如下

自动翻译视频文字-案例

翻译后的视频文字样式保持不变, 视频效果请点此查看 YouTube视频文字翻译案例

自动翻译视频语音-案例

翻译后的视频是带有语音同步解说的,自动音画同步,视频效果请点此查看

YouTube视频语音翻译案例

4.具体AI剪辑能力说明

视频微剪辑/视频去重相关,查看去重介绍

  • 支持基础视频去重,一次性做基础微剪裁
  • 支持叠加视频特效 -- 扫光|泛光开幕|下降开幕|书单模式|溶图模式|横版视频三屏显示|好物|影视
  • 支持叠加随机转场、随机缩放、随机边框、镜像反转
  • 支持算法自动配乐,通过计算原视频的节奏并自动匹配类似节奏的音乐
  • 支持匹配指定音乐
  • 支持AI改写原文案
  • 支持重新配音
  • 支持改变字幕样式

去文字和视频擦除inpainting相关,查看去文字介绍

  • 支持自动去文字、先标记区域仅自动去文字、标记区域后全部去除、去文字后调整保护或擦除区域重新合成
  • 支持去除移动文字/移动文字水印
  • 支持自动检测视频主体和上下边缘,对视频主体之外的背景重新填充

视频语音翻译相关

  • 支持ASR提取视频语音并翻译
  • ASR提取视频声音时人声和背景声分离,仅翻译人声
  • 支持翻译后视频静音、保留背景声音、算法配乐或指定音乐匹配
  • 支持仅生成翻译字幕(不带TTS合成)
  • 支持翻译字幕并带TTS语音合成(合成时自动计算字幕、画面和声音的位置进行匹配)

视频文字翻译相关

  • 支持OCR提取视频文字并翻译
  • OCR提取视频文字时,支持文字位置、样式提取
  • 即将支持对翻译后的文字TTS合成

图片翻译相关 查看图片翻译介绍

  • 擦除干净
  • 排版整齐
  • 翻译准确
  • 图片清晰
  • 保留原商品文字

5.技术细节

语音:ASR和TTS综合使用自研+讯飞、阿里云、Google、微软和火山引擎等; 翻译:综合使用讯飞、deepl、chatgpt翻译等;

6.翻译支持语言

智能去文字:同时去除中英文,单独去除中文、英文、日语、韩语、阿拉伯语; 视频文字翻译:源语言:中文或者英文;目标语言:中文/英语/日语/印尼语/葡萄牙语/法语/西班牙语/印地语/阿拉伯语/越南语/泰语/德语/俄语/土耳其语/意大利语/菲律宾/马来西亚/高棉语 视频语音翻译:源语言:中文/英语/日语/韩语/西班牙语/意大利语/俄语/法语/葡萄牙语/越南语/泰语/等,目标语言:中文/英语/日语/印尼语/葡萄牙语/法语/西班牙语/印地语/阿拉伯语/越南语/泰语/德语/俄语/土耳其语/意大利语/越南语 图片翻译:支持100多种语言的擦除与翻译

7.API接口支持

  • 1.提供了上述所有能力的输出,包括视频去重剪辑、自动去文字、视频擦除、视频字幕翻译、视频语音翻译(含配音)等接口,多个能力可以叠加一起选择;
  • 2.去文字支持以下abcd4种模式,可自定义保护区域或者指定删除区域:

a.自动去文字

b.先标记指定区域,然后再指定区域内自动去文字

c.先标记区域,然后把标记区域的内容全部去除

d.去文字后,后续再对指定区域调整

  • 3.视频翻译可与多个剪辑能力一起叠加使用: 一键完成:视频去重+视频去文字+视频翻译+视频配乐等操作(含翻译后的配音)
  • 4.API接口文档,请访问以下 飞书接口文档

8.联系我们

  • 微信:360254 ,请备注github
  • 邮箱:niumo#izhaoli.com(#换成@)