ITADN
jbilcke-hf/ai-comic-factory
代码 动态 Issues11 合并请求8 版本
jbilcke-hf/ai-comic-factory · 文件 下载 ZIP
文件最后提交记录最后更新时间
README.md
以下内容由 AI 翻译，如有问题请点此提交 issue 反馈

title: AI Comic Factory emoji: 👩‍🎨 colorFrom: red colorTo: yellow sdk: docker pinned: true app_port: 3000 disable_embedding: false short_description: 使用单个提示词创建你自己的 AI 漫画 hf_oauth: true hf_oauth_expiration_minutes: 43200 hf_oauth_scopes: [inference-api]

AI Comic Factory

最近版本：AI Comic Factory 1.2

AI Comic Factory 有一个官方网站：aicomicfactory.app

有关我其他项目的更多信息，请查看 linktr.ee/FLNGR。

资助

如果你喜欢 AI Comic Factory，请告诉我！ 我一直在创建新的空间并探索新的演示创意，这意味着我没有太多时间来维护所有项目（我希望我能克隆自己或让机器人来做）。

如果你欣赏 AI Comic Factory 并想留下小费，那将非常贴心 🫶

Buy Me A Coffee

在本地运行该项目

首先，我想强调一切都是开源的（见 这里、这里、这里、这里）。

然而，该项目并不是一个可以立即复制和运行的单体 Space： 它需要前端、后端、LLM、SDXL 等各种组件才能运行。

如果你尝试复制该项目，打开 .env 你会发现它需要一些变量。

Provider 配置：

  • LLM_ENGINE: 可以是 INFERENCE_API、INFERENCE_ENDPOINT、OPENAI、GROQ、ANTHROPIC 之一
  • RENDERING_ENGINE: 目前可以是以下之一："INFERENCE_API"、"INFERENCE_ENDPOINT"、"REPLICATE"、"VIDEOCHAIN"、"OPENAI"，除非你编写自定义解决方案

Auth 配置：

  • AUTH_HF_API_TOKEN: 如果你决定使用 Hugging Face 作为 LLM 引擎（推理 API 模型或自定义推理端点）
  • AUTH_OPENAI_API_KEY: 用于使用 OpenAI 作为 LLM 引擎
  • AUTH_GROQ_API_KEY: 用于使用 Groq 作为 LLM 引擎
  • AUTH_ANTHROPIC_API_KEY: 用于使用 Anthropic (Claude) 作为 LLM 引擎
  • AUTH_VIDEOCHAIN_API_TOKEN: 访问 VideoChain API 服务器的秘密令牌
  • AUTH_REPLICATE_API_TOKEN: 如果你想要使用 Replicate.com

Rendering 配置：

  • RENDERING_HF_INFERENCE_ENDPOINT_URL: 如果你决定使用自定义推理端点，则必需
  • RENDERING_REPLICATE_API_MODEL_VERSION: VideoChain API 服务器的 URL
  • RENDERING_HF_INFERENCE_ENDPOINT_URL: 可选，默认为空
  • RENDERING_HF_INFERENCE_API_BASE_MODEL: 可选，默认为 "stabilityai/stable-diffusion-xl-base-1.0"
  • RENDERING_HF_INFERENCE_API_REFINER_MODEL: 可选，默认为 "stabilityai/stable-diffusion-xl-refiner-1.0"
  • RENDERING_REPLICATE_API_MODEL: 可选，默认为 "stabilityai/sdxl"
  • RENDERING_REPLICATE_API_MODEL_VERSION: 可选，如果你想要更改版本

Language model 配置（取决于你决定使用的 LLM 引擎）：

  • LLM_HF_INFERENCE_ENDPOINT_URL: ""
  • LLM_HF_INFERENCE_API_MODEL: "HuggingFaceH4/zephyr-7b-beta"
  • LLM_OPENAI_API_BASE_URL: "https://api.openai.com/v1"
  • LLM_OPENAI_API_MODEL: "gpt-4-turbo"
  • LLM_GROQ_API_MODEL: "mixtral-8x7b-32768"
  • LLM_ANTHROPIC_API_MODEL: "claude-3-opus-20240229"

此外，还有一些社区共享变量，你可以直接忽略。 这些变量对于在你自己的网站或计算机上运行 AI Comic Factory 并非必需 （它们旨在与 Hugging Face 社区建立连接， 因此仅对官方 Hugging Face 应用有意义）：

  • NEXT_PUBLIC_ENABLE_COMMUNITY_SHARING: 你不需要这个
  • COMMUNITY_API_URL: 你不需要这个
  • COMMUNITY_API_TOKEN: 你不需要这个
  • COMMUNITY_API_ID: 你不需要这个

请阅读 .env 默认配置文件以获取更多信息。 要在本地自定义变量，你应该创建一个 .env.local （不要提交此文件，因为它将包含你的密钥）。

-> 如果你打算使用本地、云端托管和/或专有模型运行它，你需要编写代码 👨‍💻。

LLM API（大语言模型）

目前 AI Comic Factory 通过 Inference Endpoint 使用 zephyr-7b-beta。

你有多个选项：

选项 1：使用 Inference API 模型

这是最近新增的一个选项，你可以使用 Hugging Face Hub 上的其中一个模型。默认情况下，我们建议使用 zephyr-7b-beta，因为它将提供比 7b 模型更好的结果。

要启用它，请创建一个 .env.local 配置文件：

LLM_ENGINE="INFERENCE_API"

HF_API_TOKEN="Your Hugging Face token"

# "HuggingFaceH4/zephyr-7b-beta" is used by default, but you can change this
# note: You should use a model able to generate JSON responses,
# so it is storngly suggested to use at least the 34b model
HF_INFERENCE_API_MODEL="HuggingFaceH4/zephyr-7b-beta"

选项 2：使用推理端点 URL

如果您希望在运行于 Hugging Face Inference Endpoint 服务上的私有 LLM 上运行 AI Comic Factory，请创建一个 .env.local 配置文件：

LLM_ENGINE="INFERENCE_ENDPOINT"

HF_API_TOKEN="Your Hugging Face token"

HF_INFERENCE_ENDPOINT_URL="path to your inference endpoint url"

要在本地运行此类 LLM，您可以使用 TGI（请阅读此帖子以获取有关许可的更多信息）。

选项 3：使用 OpenAI API 密钥

这是最近新增的一个选项，您可以使用 OpenAI API 密钥来使用 OpenAI API。

要启用它，请创建一个 .env.local 配置文件：

LLM_ENGINE="OPENAI"

# default openai api base url is: https://api.openai.com/v1
LLM_OPENAI_API_BASE_URL="A custom OpenAI API Base URL if you have some special privileges"

LLM_OPENAI_API_MODEL="gpt-4-turbo"

AUTH_OPENAI_API_KEY="Yourown OpenAI API Key"

选项 4：（新，实验性）使用 Groq

LLM_ENGINE="GROQ"

LLM_GROQ_API_MODEL="mixtral-8x7b-32768"

AUTH_GROQ_API_KEY="Your own GROQ API Key"

选项 5：（新，实验性）使用 Anthropic (Claude)

LLM_ENGINE="ANTHROPIC"

LLM_ANTHROPIC_API_MODEL="claude-3-opus-20240229"

AUTH_ANTHROPIC_API_KEY="Your own ANTHROPIC API Key"

选项 6：分叉并修改代码以使用不同的 LLM 系统

另一个选项可能是完全禁用 LLM，并用另一个 LLM 协议和/或提供商（例如 Claude、Replicate）或人工生成的故事（通过返回模拟或静态数据）来替换它。

备注

我可能会在未来修改 AI Comic Factory 以使其更易于使用（例如，添加对 Claude 或 Replicate 的支持）

渲染 API

此 API 用于生成面板图像。这是我为我 Hugging Face 上的各种项目创建的 API。

我还没有为它编写文档，但基本上它只是其他现有 API 的“一个包装器 ™”：

  • hysts/SD-XL Space，由 @hysts
  • 以及其他用于制作视频、添加音频等的 API。但你在 AI Comic Factory 中不需要它们

选项 1：自行部署 VideoChain

你需要 克隆 源代码

不幸的是，我还没有时间编写 VideoChain 的文档。 （当我编写时，我会更新此文档以指向 VideoChain 的 README）

选项 2：使用 Replicate

要使用 Replicate，请创建一个 .env.local 配置文件：

RENDERING_ENGINE="REPLICATE"

RENDERING_REPLICATE_API_MODEL="stabilityai/sdxl"

RENDERING_REPLICATE_API_MODEL_VERSION="da77bc59ee60423279fd632efb4795ab731d9e3ca9705ef3341091fb989b7eaf"

AUTH_REPLICATE_API_TOKEN="Your Replicate token"

选项 3：使用其他 SDXL API

如果你 fork 该项目，你将能够修改代码以使用你选择的 Stable Diffusion 技术（本地、开源、专有、你的自定义 HF Space 等）。

它甚至可以是其他东西，例如 Dall-E。