Ajánljatok self hosted stable diffusion AI-t

Az AI válaszol:

Az ismerősöd igényei alapján a következő AI képgeneráló megoldásokat ajánlom, amelyek zárt környezetben, saját hardveren futtathatók és saját adatokkal is taníthatók. Ezek közül több megfelelhet a megadott követelményeknek:

1. Stable Diffusion:

   • Leírás: Az egyik legnépszerűbb nyílt forráskódú képgeneráló modell. Könnyen testre szabható és saját adatbázissal tanítható.
   • Futtatás: CPU-n is futtatható, bár lassabb lesz, mint GPU-n.
   • Telepítés: A modellt le lehet tölteni és futtatni zárt környezetben.
   • Testreszabás: Lehetővé teszi a finomhangolást (fine-tuning) saját adatokkal.
   • Forrás: Stable Diffusion GitHub

2. GANs (Generative Adversarial Networks):

   • Leírás: A GAN modellek különböző variánsai, mint például a StyleGAN, kiválóan alkalmasak saját képanyag generálására.
   • Futtatás: CPU-n is működnek, bár a sebesség itt is lassabb lehet.
   • Testreszabás: Könnyen tanítható saját adatokkal.
   • Forrás: StyleGAN GitHub

3. DALL-E Mini:

   • Leírás: Egy kisebb változata az OpenAI DALL-E modelljének, amely szintén nyílt forráskódú.
   • Futtatás: CPU-n is futtatható, de a sebesség itt is korlátozott lehet.
   • Telepítés: Könnyen telepíthető és futtatható zárt környezetben.
   • Testreszabás: Támogatja a finomhangolást.
   • Forrás: DALL-E Mini GitHub

Telepítési és futtatási útmutató példa: Stable Diffusion

1. Környezet előkészítése:

   • Telepítsd az Anaconda vagy Miniconda-t.
   • Hozz létre egy új Python környezetet:
     

     bash

• • conda create -n stable-diffusion python=3.8 conda activate stable-diffusion

• Stable Diffusion telepítése:

  • Telepítsd a szükséges csomagokat:
    

    bash

• • conda install pytorch torchvision torchaudio cpuonly -c pytorch pip install -r requirements.txt

• Modell letöltése:

  • Töltsd le a Stable Diffusion modellt és súlyokat (weights).

• Futtatás:

  • Használj egy Python scriptet a képgeneráláshoz:
    

    python

1. • from stable_diffusion import StableDiffusion model = StableDiffusion("model_path") prompt = "A beautiful landscape painting" image = model.generate(prompt) image.save("output.png")

Saját adatokkal való betanítás

1. Adatok előkészítése:

   • Gyűjts össze és előkészítsd a tanító adatokat (képek és hozzájuk tartozó címkék).

2. Finomhangolás:

   • Használd a meglévő modelleket finomhangolásra, például a transformers könyvtárral:
     

     python

1. • from transformers import Trainer, TrainingArguments training_args = TrainingArguments(output_dir="./results", num_train_epochs=3, per_device_train_batch_size=4) trainer = Trainer(model=model, args=training_args, train_dataset=your_dataset) trainer.train()

Ezek a lépések segíthetnek az ismerősödnek a saját AI képgeneráló rendszer kialakításában és működtetésében zárt környezetben.

sub

>és CPUn is elfutna

Tudom hogy csak bónusz pont de ezt az elvárást szerintem még most felejtse el. És nem azért mert nem lehetséges, vagy tényleg lehetetlenül lassú 1-1 kép, hanem mert a promptok próbálgatása baromi sok meló már önmagában is. Igen lehet CPU-n futtatni általában ezeket de most képzeld el, hogy mondjuk 1-2-5+ perc (sampling steps növelésével szinte exponenciálisan növekszik) egy 250x250 pixeles kép generálása, és csak a 30. próbálkozásra sikerült nagyjából azt kapni amire te gondoltál. Egyszerűen túl sok szemetet kapsz általában, nem reális a cpu. Ha nem sajnálja rá az idejét akkor működni persze működhet. Ráadásul modellt tanítani ennél még sokkal, sokkal számításigényesebb. Ha tényleg tanítani is akar akkor duplán felejtse el.

Egyébként szerintem nem egy szívsebészet az AUTOMATIC1111 webui és huggingface-ről halászott modell alapján lokális instance-ot létrehozni, ráadásul ha lesz rá dedikált szervere akkor csak egyszer kell felkonfigurálni.

Mindig csak a pornó :D

A Kritához van Stable Diffusion plugin, én ezt használom. 1.5 és XL szóval nem a legújabb verziók de open source és local.

https://krita.org/en/

https://github.com/Acly/krita-ai-diffusion/

https://github.com/Acly/krita-ai-diffusion/wiki/Stable-Diffusion-Versions

Ez elmegy CPU-n is de iszonyat lassú (kivéve ha egy M* Mac-ről van szó), én RTX 4070 Ti-al használom ezzel elég gyors.

Run your own AI (but private)