AI 提示词 / 图片 / 视频生成
图片 / 视频生成 分类下的全部学习资料
ChatTTS（2noise）
原因：这个模型分两部分执行，上边的进度条执行文本识别，应该是添加情感标识和辅助语气词，下边的进度条是语音合成。如果把top_p这几个参数调的太大，他就会在原句子中添加过多的新内容。多分句，多段行，执行起来就快了。负面的就是句和句之间情感可能不一样。
ChatTTS_colab（6drf21e）
ChatTTS_colab 444 Google Colab 一键部署，还有音色抽卡功能
ComfyUI-ChatTTS（AIFSH）
ChatTTS-Control 10 提供更多控制参数和详细解读，汇总相关资源推荐
FunASR（alibaba-damo-academy）
Html5 server, automatically download the client to the local computer, and support access by mobile phones and other devices. The IP address needs to be consistent with the html5 server. If it is a lo
KAN-TTS.git（alibaba-damo-academy）
（2020）Robutrans: A robust transformer-based text-to-speech model
FunASR.git（alibaba）
Install the requirements for server
SmartResume（alibaba）
SmartResume，作为阿里巴巴开源的智能简历解析系统，通过融合OCR、版面检测和大语言模型技术，实现了从PDF、图片或Office文档中高效提取结构化信息。
olmocr（allenai）
技术报告：olmOCR: Unlocking Trillions of Tokens in PDFs with Vision Language Models
EVA（baaivision）
The image token embedding model in this project is built upon the foundations laid by EVA-CLIP
LLaVA-colab（camenduru）
🤝Community Contributions: [llama.cpp] [Colab] [🤗Space] [Replicate] [AutoGen] [BakLLaVA]
examples（CerebriumAI）
examples 是一个开源项目（分类：ai/aigc），能力与安装方式详见其 GitHub 仓库 README。
FunASR（cgisky1980）
3. We acknowledge cgisky1980 for contributing the websocket service of offline model
CVinW_Readings（Computer-Vision-in-the-Wild）
[7/19] 🔥 We release a major upgrade, including support for LLaMA-2, LoRA training, 4-/8-bit inference, higher resolution (336x336), and a lot more. We release LLaVA Bench for benchmarking open-ended v
lmms-eval（EvolvingLMMs-Lab）
[1/30] 🔥 LLaVA-NeXT (LLaVA-1.6) is out! With additional scaling to LLaVA-1.5, LLaVA-NeXT-34B outperforms Gemini Pro on some benchmarks. It can now process 4x more pixels and perform more tasks/applica
faster-whisper-server（fedirz）
faster-whisper-server 是一个开源项目（分类：ai/aigc），能力与安装方式详见其 GitHub 仓库 README。
FlagEmbedding.git（FlagOpen）
cd FlagEmbedding
FlagEmbedding（FlagOpen）
[1] Visualized_BGE No module named 'eva_clip' 627，
RoboBrain2.0（FlagOpen）
我们很高兴推出 RoboBrain 2.0，这是迄今为止最强大的开源具身大脑模型。与其前身 RoboBrain 1.0 相比，我们的最新版本旨在统一物理环境中复杂具身任务的感知、推理和规划。它有两种变体：轻量级 7B 型号和全尺寸 32B 型号，具有带有视觉编码器和语言模型的异构架构。尽管尺寸紧凑，但 RoboBrain 2.0 却取得了强大的性能 跨越广泛的具体推理任务。在空间和时间基准测试中，
llama.cpp（ggerganov）
[10/11] The training data and scripts of LLaVA-1.5 are released here, and evaluation scripts are released here!
mini-omni（gpt-omni）
Mini-Omni是一个开源多模态大型语言模型，具备实时对话能力和端到端的语音输入输出功能。通过独特的文本指导并行生成方法，实现了与文本能力一致的语音推理输出，仅需极少的额外数据和模块。
duix.ai（GuijiAI）
DUIX 则瞄准人机交互这个核心接口，主打三行代码接入、低算力运行、强实时互动，正在成为企业与开发者争相集成的数字人基础设施。
HeyGem.ai（GuijiAI）
HeyGem是一款专为Windows系统设计的完全离线视频合成工具，能够精确克隆外貌和声音，实现形象的数字化。可以通过文本和语音驱动虚拟形象来创建视频。无需联网，既保护了您的隐私，又能让您享受便捷高效的数字体验。
MoneyPrinterTurbo（harry0703）
利用AI大模型，一键生成高清短视频 Generate short videos with one click using AI LLM
M6Doc（HCIILAB）
7、cTDaR2019_cTDaR数据集
HeyGem-Linux-Python-Hack（Holasyb918）
是一个基于 Python 的数字人项目，它从 HeyGem.ai 中提取出来，它能够直接在 Linux 系统上运行，摆脱了对 Docker 和 Windows 系统的依赖。目标是提供一个更易于部署和使用的数字人解决方案。
lite-avatar（HumanAIGC）
HeyGem 重塑了内容生成逻辑：零训练、秒级生成，一张照片一段语音，几十秒生成 4K 数字人；
PubLayNet（ibm-aur-nlp）
包含5000张图像，验证集合中包含1000张图像。总共包含Text, Title, Figure, Figure caption, Table, Table caption, Header, Footer, Reference, Equation共10个类别。
ChatTTS-ui（jianchang512）
ChatTTS_colab 444 Google Colab 一键部署，还有音色抽卡功能
Sonic.git（jixiaozhong）
腾讯与浙大研究者最近开源一款Sonic数字人模型，一种专注于全局音频感知的音频驱动的肖像动画生成极其逼真的数字人动画视频方法。通过上下文增强的音频学习、运动解耦控制器和时间感知的位移融合，Sonic显著提高了视频质量、运动多样性、自然性和时间一致性。在github社区 star量达1k!
icefall（k2-fsa）
3.3 Whisper + Qwen2 LLM 微调
sherpa（k2-fsa）
sherpa 是一个开源项目（分类：ai/aigc），能力与安装方式详见其 GitHub 仓库 README。
KeSpeech（KeSpeech）
针对 Aishell1 test, Aishell2 iOS test, WenetSpeech test_meeting, WenetSpeech test_net 四个测试集，我们计算了模型的字错误率 (CER) 指标，解码都采用了 Greedy Search。
ChatTTS-Forge（lenML）
该接口为非官方接口，使用 OpenAI 的 API 实现了语音合成功能，但没有加入流式的功能
ChatTTS-Control（libukai）
ChatTTS-Control 10 提供更多控制参数和详细解读，汇总相关资源推荐
NarratoAI（linyqh）
NarratoAI 是一个自动化影视解说工具，基于LLM实现文案撰写、自动化视频剪辑、配音和字幕生成的一站式流程，助力高效内容创作。
LLaVA-Plus-Codebase（LLaVA-VL）
[11/2] LLaVA-Interactive is released: Experience the future of human-AI multimodal interaction with an all-in-one demo for Image Chat, Segmentation, Generation and Editing. [Project Page] [Demo] [Code
漫剧软件
AI 生成漫剧视频全流程工具，从小说分镜、角色建模、场景生成、语音合成到成片剪辑，一站式产出可商用漫剧内容。
autogen（microsoft）
🤝Community Contributions: [llama.cpp] [Colab] [🤗Space] [Replicate] [AutoGen] [BakLLaVA]
DiffSynth-Studio.git（modelscope）
最新的Wan2.2模型是业界首个使用MoE架构的视频生成基础模型，两个专家模型分别关注生成视频的整体布局和画面细节的完善，在同参数规模下，可节省约50%的计算资源消耗。Wan2.2模型首创「电影级美学控制系统」，将‘光影密码’、‘构图法则’、‘色彩心理学’编码成了这60多个直观的参数，将光影、色彩、镜头语言装进生成模型，实现电影级质感视频生成。
FunASR（modelscope）
[1] libgomp: Thread creation failed: Resource temporarily unavailable 1798，
FunClip（modelscope）
FunClip 是一个开源项目（分类：ai/aigc），能力与安装方式详见其 GitHub 仓库 README。
KAN-TTS（modelscope）
解决方法：ttsfrd 版本问题，重装个低版本 0.0.4，就好了。
ContextASR-Bench（MrSupW）
ContextASR-Bench 是一个开源项目（分类：ai/aigc），能力与安装方式详见其 GitHub 仓库 README。
EmotiVoice（netease-youdao）
EmotiVoice 是一个开源项目（分类：ai/aigc），能力与安装方式详见其 GitHub 仓库 README。
TensorRT-LLM（NVIDIA）
[9] NVIDIA TensorRT-LLM
Open-LLM-VTuber（Open-LLM-VTuber）
实时语音对话 ：支持免提语音交互，用户可以通过语音与虚拟主播进行交流。
MOSS-Speech（OpenMOSS）
真正的语音到语音（Speech-to-Speech）大模型
prompt_quill（osi1880vr）
世界上第一个如此大规模的 RAG 驱动的提示工程师助手。在矢量存储中将它与超过 320 万个提示一起使用。这个数字将继续增长，因为我计划在可用时发布不断增长的矢量存储。
PaddleSpeech（PaddlePaddle）
原因：可能是因为opencc升级了，给opencc-python-reimplemented降级就行了。我使用下面版本解决了问题。
align-anything（PKU-Alignment）
文档：align-anything.readthedocs.io
pytorch（pytorch）
暂时不管，初步看也没有影响，仅仅是一个警告
Code2Video（showlab）
该项目采用代码中心范式(Code-Centric Paradigm),将可执行代码作为统一媒介来组织教育视频的时间序列和空间布局 。与基于像素的文本到视频模型不同,Code2Video 通过生成可调试的 Manim 代码来确保视频的清晰度、连贯性和可重现性
BakLLaVA（SkunkworksAI）
🤝Community Contributions: [llama.cpp] [Colab] [🤗Space] [Replicate] [AutoGen] [BakLLaVA]
CE-OptimizedLoss（TeaPoly）
(2022) Paraformer: Fast and accurate parallel transformer for non-autoregressive end-to-end speech recognition
server（triton-inference-server）
[9] NVIDIA TensorRT-LLM
GOT-OCR2.0（Ucas-HaoranWei）
Hugging Face 体验地址
Wan2.2.git（Wan-Video）
Ensure torch = 2.4.0
Wan2.2（Wan-Video）
Wan2.2 是一个开源项目（分类：ai/aigc），能力与安装方式详见其 GitHub 仓库 README。
WebQA（WebQnA）
Multi-Modal Knowledge Retrieval (query: text; candidate: image-text pairs, text, or image) e.g. WebQA
WenetSpeech（wenet-e2e）
WeNetSpeech 10,000 Link
bailing.git（wwbin2017）
技术核心：百聆结合语音识别（ASR）、语音活动检测（VAD）、大语言模型（LLM）和语音合成（TTS）技术，实现高效语音对话。
mPLUG-DocOwl（X-PLUG）
mPLUG-DocOwl 1.5: Unified Structure Learning for OCR-free Document Understanding
TouchNet（xingchensong）
有没有想尝鲜 KimiAudio 的朋友？可以尝试使用 TouchNet。
ChatTTS（yihong0618）
ChatTTS-Forge 65 提供了完善的 ChatTTS 封装，适合技术流深入研究
FunASR（zhaomingwork）
3. We acknowledge cgisky1980 for contributing the websocket service of offline model
短视频批量剪辑 Agent
输入一批素材视频与文案脚本，自动完成粗剪、字幕、配音、BGM 匹配与多尺寸导出，单日可产出 50 条带货短视频。
ComfyUI
ComfyUI 是基于节点的 Stable Diffusion WebUI，通过可视化工作流图实现复杂的图像/视频生成管线，支持模型热插拔、自定义节点、批量处理、API 调用，是 AI 视觉生产的工业级标准工具。
LoRA (Low-Rank Adaptation)
LoRA 是一种参数高效微调技术，通过冻结预训练模型权重、仅训练低秩分解矩阵，以极少参数量实现模型能力适配。广泛用于 Stable Diffusion 风格/角色微调、LLM 领域适配，支持多 LoRA 叠加、动态加载卸载。
WAN (WanVideo) 视频生成模型
WAN (WanVideo) 是阿里巴巴开源的视频生成模型系列，支持文生视频、图生视频、视频编辑，WAN 2.1/2.2 在 VBench 基准上超越 Sora/Gen-3，支持 1080p/4K、任意时长、多风格，已集成 ComfyUI、Diffusers、运行于消费级 GPU。
AI 数字人直播准备清单：开播前 24 项检查
从形象授权、话术脚本、技术压测到合规声明的 24 项开播前检查清单，按「必做/建议/风险」三级标注。
AI 漫剧 / 短剧制作流程：九步跑通一部短剧
从选题定规模到封面标题的九步流程，重点解决角色一致性的三个实用办法，附废片判断标准与成本耗时参考。
一部手机制作能上热门能变现的 AI 短视频（140 集全）
全程用一部手机，从工具认知、提示词、剪辑、AI 宠物/人物/多人对话，到账号起号、平台推流、视频号运营、带货变现，共 140 集实操视频。
AI 短视频选题工作流：从素材池到可拍清单
用四层漏斗把选题从「拍脑袋」变成可复用流程：素材池、角度改写、可拍性筛选、排期，附每层的判断标准与 AI 用法。
ChatGPT 运营秘诀与变现攻略（100 节课）
由郑俊雅老师主讲的 ChatGPT 运营与变现课程，共 100 讲完整版，从零教学如何使用 ChatGPT 及编写指令。注意：原始标价为 999 元付费课程，分发可能涉及版权风险，本条目标记为 draft 待人工审核。
成长猫·AI生图课程
成长猫出品的 AI 生图系统课，面向零基础到进阶用户，覆盖提示词工程、Midjourney / Stable Diffusion 实战、风格控制、商业变现等模块。
800+ 克隆必备音色素材合集
面向 AI 配音、短视频和内容创作的音色素材合集，包含 800+ 条可用于创作流程测试与声音设计的素材。
ComfyUI 高级实战手册：工作流 + 插件 + Lora 训练
ComfyUI 进阶级实战教程，覆盖 ControlNet/IPAdapter/AnimateDiff/视频生成工作流、100+ 常用自定义节点、SDXL/Flux 模型适配、Lora 训练全流程。
ComfyUI 入门：从安装到第一个工作流
手把手教你在本地部署 ComfyUI，理解节点式工作流核心概念，搭建第一个文生图/图生图工作流，掌握模型管理、自定义节点安装、常见问题排查。
抖音账号 30 天起号表：每天做什么、看什么指标
按 0-7 / 8-15 / 16-23 / 24-30 四阶段的日更与观察清单，明确每条阶段目标、发布节奏和该盯的数据，冷启动期不再盲发。
视频号内容复盘表：每条内容该记什么、怎么判断
一张表覆盖单条内容的完整复盘：发布信息、五项核心指标、结构标签与结论，附判断阈值和周度汇总方法。
短视频账号数据分析表：指标定义、健康区间与诊断路径
一张账号级数据表：核心指标定义、各阶段健康区间、指标联动关系，以及数据异常时的诊断决策树。
短视频封面设计规范：尺寸、文字、构图的可执行标准
封面设计的硬性标准：安全区尺寸、字号下限、字数上限、配色对比度，以及四类常见封面的构图模板。
剪辑、字幕与配音 SOP：让后期按步骤走
剪辑固定六步、字幕六个规范、配音与背景音乐处理要点、导出参数建议，以及成片自检清单与模板化提效方法。
短视频脚本提示词包：10 类可直接套用的 AI 指令
覆盖选题、口播稿、分镜、标题、评论回复等 10 个场景的提示词模板，每条含使用说明与需要人工补的空位。
短视频爆款标题生成模板：五类结构 + 自查清单
把标题拆成悬念、数字、对比、痛点、命令五类结构，每类给出句式模板、适用场景与避坑点，附发布前自查表。
TikTok 中文内容出海流程：从账号到发布到合规
中文内容做 TikTok 的完整流程：市场与语言选择、账号环境、内容本地化改写、发布节奏，以及版权与合规要点。
小红书 AI 图文发布模板：封面、正文与标签的填空式写法
一套可直接填空的小红书图文模板：封面文案结构、正文五段式、标签分组策略，以及 AI 辅助生成时的约束条件。
RunningHub 视频生成技能
自动化调用 RunningHub 网页版完成图生视频任务，支持 WAN 2.7 / LTX-2 开源模型。