皇冠新体育APP

IT技术之家

皇冠新体育APP > iOS

iOS

Apple官方优化Stable Diffusion绘画教程_huggingface-cli_IT教程精选

推送日子：2023-08-24 16:37:24 iOS 70次 标签：皇冠新体育APP:stable diffusion
Apple官方优化Stable Diffusion绘画教程苹果为M1芯片优化Stable Diffusion模型，其中Mac Studio (M1 Ultra, 64-core GPU)生成512*512的图像时间为9秒。想要1秒出图，可以在线体验3090显卡AI绘画。在线体验地址:Stable Diffusion在线体验地址:Stable Diffusion苹果官方发布皇冠新体育APP 包，用于使用 diffusers 和 coremltools 将 Stable Diffusion 模型从 PyTorch...

Apple官方正品整合Stable Diffusion描画基础教程 apple为M1电源芯片优化系统Stable Diffusion绘图，在这当中Mac Studio (M1 Ultra, 64-core GPU)绘制512*512的彩色图像事件为9秒。打算1秒出图，可能线游戏体验3090电脑显卡AI作画。

AI绘图在线体验

二次元绘图

高清在线用户体验新地址:Stable Diffusion

中文输入绘图

在线视频感受地扯:Stable Diffusion

CoreML Stable Diffusion

ipone官方网站公布皇冠新体育APP 包，适用于食用 diffusers 和 coremltools 将 Stable Diffusion 类别从 PyTorch 转型到 Core ML，、1个 Swift 包来的安排类别。请浏览 Core ML Stable Diffusion 代碼随意调节库以初始化，并抓取介绍基准线检验和的安排的详情表示。 内容具体地址

利用 Core ML 在 Apple Silicon 上操作stable-diffusion

该数据库库其中包括：

python_coreml_stable_diffusion，一个 皇冠新体育APP 包，用于将 PyTorch 模型转换为 Core ML 格式并在 皇冠新体育APP 中使用 Hugging Facestable-diffusion图像生成

StableDiffusion，一个 Swift 包，开发人员可以将其作为依赖项添加到他们的 Xcode 项目中，以在他们的应用程序中部署图像生成功能。Swift 包依赖于由生成的 Core ML 模型文件python_coreml_stable_diffusion

如果你您在进行安装或启动时遇见事情，请参阅一般事情解读位置。

将模型转换为 Core ML

第1步：有个皇冠新体育APP条件并进行安装依赖感： 
conda create -n coreml_stable_diffusion python=3.8 -yconda activate coreml_stable_diffusioncd /path/to/cloned/ml-stable-diffusion/repositorypip install -e .

第 2 步：登录或注册您的Hugging Face 帐户，生成用户访问令牌huggingface-cli login并使用此令牌通过在终端窗口中运行来设置 Hugging Face API 访问。

第 3 步：导航地图至您想在Hugging Face Hub上安全适用的 Stable Diffusion ios旧传奇并适用其安全适用不可抗力条款。快捷设置模式化ios旧传奇为CompVis/stable-diffusion-v1-4。朋友可不可以通过下步中的简述重设模式化ios旧传奇。

第 4 步：从终端执行以下命令以生成 Core ML 模型文件 (?.mlpackage)

ounter(line 
python -m python_coreml_stable_diffusion.torch2coreml --convert-unet --convert-text-encoder --convert-vae-decoder --convert-safety-checker -o <output-mlpackages-directory>
提示信息：此ps命令将从 Hugging Face 下载链接数 GB 的 PyTorch 定期检测点。

在 M1 MacBook Pro 上，这通常需要 15-20 分钟。成功执行后，构成 Stable Diffusion 的 4 个神经网络模型将从 PyTorch 转换为 Core ML (?.mlpackage) 并保存到指定的<output-mlpackages-directory>.?一些额外的值得注意的论点：

--model-version: 模型版本默认为CompVis/stable-diffusion-v1-4。开发人员可以指定Hugging Face Hub上可用的其他版本，例如stabilityai/stable-diffusion-2-base?&?runwayml/stable-diffusion-v1-5。

--bundle-resources-for-swift-cli：编译所有 4 个模型并将它们与用于文本标记化的必要资源捆绑在一起，这些资源<output-mlpackages-directory>/Resources应作为输入提供给 Swift 包。对于基于扩散器的 皇冠新体育APP 管道，此标志不是必需的。

--chunk-unet：将 Unet 模型分成两个大致相等的块（每个块的权重小于 1GB）以进行移动友好部署。这是在 iOS 和 iPadOS 上部署 ANE所必需的。这不是 macOS 所必需的。Swift CLI 能够使用 Unet 模型的分块版本和常规版本，但优先考虑前者。请注意，chunked unet 与 皇冠新体育APP 管道不兼容，因为 皇冠新体育APP 管道仅适用于 macOS。分块仅适用于使用 Swift 的设备上部署。

--attention-implementation：默认为在 Apple Neural Engine 上部署 Transformers 中SPLIT_EINSUM描述的实现。将切换到应该用于非 ANE 部署的替代方案。请参阅性能基准部分以获得进一步的指导。--attention-implementation ORIGINAL

--check-output-correctness：将原始 PyTorch 模型的输出与最终 Core ML 模型的输出进行比较。此标志会显着增加 RAM 消耗，因此建议仅用于调试目的。

使用 皇冠新体育APP 生成图像

应用应用场景stable_diffusion的范例 皇冠新体育APP 管道铺设工作备份文本到画面转换： ounter(line 
python -m python_coreml_stable_diffusion.pipeline --prompt "a photo of an astronaut riding a horse on mars" -i <output-mlpackages-directory> -o </path/to/output/image> --compute-unit ALL --seed 93

有关所有可用参数，请参阅帮助菜单：python -m python_coreml_stable_diffusion.pipeline -h。一些值得注意的论点：

-i：应该指向上面"将模型转换为 Core ML?"部分的-o第 4 步中的目录。

--model-version：如果您在将模型转换为 Core ML 时覆盖默认模型版本，则需要在此处指定相同的模型版本。

--compute-unit：请注意，此特定实现的最高性能计算单元可能因不同的硬件而异。CPU_AND_GPU或者CPU_AND_NE可能比ALL.?请参阅性能基准部分以获得进一步的指导。

--scheduler: 如果你想尝试不同的调度器，你可以在这里指定。有关可用选项，请参阅帮助菜单。您还可以指定自定义推理步骤数--num-inference-steps，默认为 50。

使用 Swift 生成图像

系统要求

在校园营销推广活动的环节之中所构建 Swift 顶目都要： macOS 13 或不断更新板本 装置了ftp命令行产品的 Xcode 14.1 或更高一些型号。请排查developer.apple.com以取得新型号。

核心 ML 模型和标记化资源。请参阅上面--bundle-resources-for-swift-cli的将模型转换为 Core ML部分

但如果将此绘图布署到： 苹果手机 iOS 16.2 或升级的版本 iPhone 12 或游戏更新新版本 iPad iPadOS 16.2 或升级ios版本 M1 或更行手机版本 苹果电脑 macOS 13.1 或更新系统ios版本 M1 或最新板本

CLI 用法示例

swift run StableDiffusionSample "a photo of an astronaut riding a horse on mars" --resource-path <output-mlpackages-directory>/Resources/ --seed 93 --output-path </path/to/output/image>

输出将根据提示和随机种子命名：例如</path/to/output/image>/a_photo_of_an_astronaut_riding_a_horse_on_mars.93.final.png

请使用--helpflag 了解批处理生成等。

库使用示例

import StableDiffusion...let pipeline = try StableDiffusionPipeline(resourcesAt: resourceURL)let image = try pipeline.generateImages(prompt: prompt, seed: seed).first

Swift包详情

这 Swift 手表含这两个產品：

StableDiffusionLib

StableDiffusionSample命令行工具

这有两种物品都需求可以提供 Core ML 实体模型和标记符号化教育资源英文。在导航相对路径某个教育资源英文时，该导航必要分为接下来资源：

TextEncoder.mlmodelc（文本嵌入模型）

Unet.mlmodelc或UnetChunk1.mlmodelc&?UnetChunk2.mlmodelc（去噪自动编码器模型）

VAEDecoder.mlmodelc（图像解码器模型）

vocab.json（分词器词汇文件）

merges.text（合并字节对编码文件）

能能地，它还能能具有卫生全面检查器型号，哪些 固件版本的 Stable Diffusion 具有：

SafetyChecker.mlmodelc

请注意，首先检查 Unet 的分块版本。只有当它不存在时才会Unet.mlmodelc加载完整的。iOS 和 iPadOS 需要分块，而 macOS 则不需要。

皇冠新体育APP相关的文章