LoRA模型初体验

  |   0 评论   |   0 浏览

背景

LoRA

LoRA: Low-Rank Adaptation of Large Language Models 是微软研究员引入的一项新技术，主要用于处理大模型微调的问题[1]。

目前超过数十亿以上参数的具有强能力的大模型 (例如 GPT-3) 通常在为了适应其下游任务的微调中会呈现出巨大开销。 LoRA 建议冻结预训练模型的权重并在每个 Transformer 块中注入可训练层 (秩-分解矩阵)。因为不需要为大多数模型权重计算梯度，所以大大减少了需要训练参数的数量并且降低了 GPU 的内存要求。

研究人员发现，通过聚焦大模型的 Transformer 注意力块，使用 LoRA 进行的微调质量与全模型微调相当，同时速度更快且需要更少的计算。 [1]

其优点，具体来说：

  • 更快的训练速度
  • 计算要求较低。我们可以在具有 11 GB VRAM 的 2080 Ti 中创建一个全微调模型！
  • 小了很多的训练模型 。由于原始模型已冻结，我们注入了新层进行训练，因此我们可以将新层的权重保存为大小约为 3 MB 的单个文件。这比 UNet 模型的原始大小小一千倍。比如一个3.29M的模型。

Dreamboothing

Dreambooth 允许您向 Stable Diffusion 模型“教授”新概念[1]。 LoRA 与 Dreambooth 兼容，过程类似于微调，有几个优点：

  • 训练更快。
  • 我们只需要几张我们想要训练的主题的图像 (通常 5 或 10 张就足够了)。
  • 如果需要，我们可以调整文本编码器，以提高对训练主体的保真度。

[2]

DreamBooth除了能对物体真实再现外， 还能任意调整指定事物（如猫、墨镜）的动作和表情，也可以给它们添加滤镜、各种装饰品和换颜色等，甚至是帮它们“换脸”。在高保真度展示对象细节的同时，还能保证场景与主题之间的逼真交互。[2]

Textual Inversion

它试图向训练有素的稳定扩散模型教授新概念。使用 Textual Inversion 的主要原因之一是经过训练的权重也很小且易于共享。然而，它们只适用于单个主题 (或一小部分主题)，而 LoRA 可用于通用微调，这意味着它可以适应新的领域或数据集。[1]

初体验

其它

AnalogDream3D模型

analogdream3d@civitai

示例图片

10036-3530331794-Analog style, a photo of female,portrait,aoit, aoi,with short hair_1.3, dark coat,black t-shirt , walk into dark street, heavy.png

  • 咒语：Analog style, a photo of female,portrait,aoit, aoi,with short hair_1.3, dark coat,black t-shirt , walk into dark street, heavy

EvoArt-Mj4DreamMix

EvoArt-Mj4DreamMix@civitai

示例图片

11154-4030499735-Midjourney style, Dreamlike,extremely detailed CG unity 8k wallpaper, full shot body photo of the most beautiful artwork in the.png

咒语：Midjourney style, Dreamlike,extremely detailed CG unity 8k wallpaper, full shot body photo of the most beautiful artwork in the world, ((a beatiful girl celebrate new year alone in shanghai square)), (((solo:1.3))),(light focus on her face),, long hair w:1.1, ((red coat)),low-v black t-shirt , busy street as background, morning , deep depth of field, fantasy, intricate, elegant, highly detailed, photorealistic, sharp focus., 8k .by Ed Blinkey, Atey Ghailan, by Jeremy Mann, Greg Manchess, Antonio Moro, trending on ArtStation, trending on CGSociety, dramatic lights.
Negative prompt: lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, signature, watermark, username, blurry, out of focus, censorship, amateur drawing, odd,lowres, poorly drawn, sloppy, over exposed, over saturated, burnt image, sloppy, broken, fuzzy, aliasing, cheap, oldschool, poor quality, pixelated, sleepy, closed-eyes
Eta: 0.7, ENSD: 31337, Size: 1024x768, Seed: 4030499735, Model: EvoArt-Mj4Dream-3D-mix, Steps: 25, Sampler: Euler a, CFG scale: 7.5, Face restoration: CodeFormer

EvoArt-ChinaBeautyReal

evoart-chinabeautyreal @ civitai [5]

融合模型(u-net):f222+basil+photorealv2+woopwoopPhoto... [5]

示例图片

参考

  1. 使用 LoRA 进行 Stable Diffusion 的高效参数微调
  2. lora@github
  3. 谷歌推出DreamBooth扩散模型，可做到“以假乱真”，让指定现实物体在图像中以各种方式展现
  4. AI绘画｜磨刀不误砍柴工！2023年1月精选级stable diffusion模型推介
  5. 模型推荐:国风模型，高细节，国人制作，风格化
  6. 【AI绘画】定制属于你的大模型！保姆式Dreambooth训练教程 autodl在线训练 NovelAI：https://www.bilibili.com/video/BV1SR4y1y7Lv/

7.【AI绘画/科普】AI训练中的黑话都是什么意思？AI又是如何训练出来的？如何调节参数：https://www.bilibili.com/video/BV1A8411775m/

  1. 【AI绘画】最佳人物模型训练！保姆式LoRA模型训练教程 一键包发布：https://www.bilibili.com/video/BV1fs4y1x7p2