Stable Diffusion AI 다양한 모델 타입 / 모델들을 다운 받을 수 있는 사이트

VAE : 방송사

수정, 튜닝을 도와줌

이미지화된 최종 정보를 내보낼때 미세 디테일 조정을 해준다.

앵코딩과 디코딩이 모두 들어가있다.

JPG. PNG등으로 뽑기 위해서는 VAE과정이 필수적이다.

 

ControlNet : 트레이너

가장 강력한 익스텐션 모델

사진에서 디테일이나 뼈대를 추출해낼 수 있다.

그리고 그를 이용하여 형태를 유지하되 다양한 스타일을 표현할 수 있다.

입력하는 이미지, 정보들을 자체 훈련시킨 모델을 통해서 텐서가 형성되는 과정에 개입하여

그 어텐션들을 조정해서 만들어낸다.

더 직접적으로 데이터를 핸들링하기 때문에 어떤 프롬프팅 포즈를 취해도 컨트롤넷에서 오픈포즈를 잡게 되면 바꿀 수 없다.

 

Textual Inversion : 글로 배운 연애박사

텍스트 기반으로 만들어진 인베딩 vector

단어 기반, 작은 용량 (10~100kb)

 

Lora : 훈수꾼

크로스 어텐션 레이어 가중치 조정, 일반적으로 용량이 10~200mb 비교적 작은편

원형에 스타일을 바로 엎어서 제작

필요한 부분만 학습을 시켜서 적은 용량의 파일로도 기본적인 스타일을 바꿀 수 있다.

<lora:LoraName:1>

         모델명, 가중치

Triggerword, <lora:LoraName:1> 함께 써야한다.

트리거워드를 프롬프트 안에 함께 써줘야한다.

기존에 학습되어져 있는 모델을 그대로 두고 그 위에 새로운 스타일과 효과를 새롭게 적용해서 보여준다.

 

Hyper Network : 야바위꾼

데이터를 훈련된 데이터로 교체, 미세조절기술

학습하는만큼 용량이 늘어남. 원형을 최대한 지키려는 성향이 있음.

 

Checkpoint Model : 연습생

디퓨전방식으로 다양한 스타일을 특화된 분야에 맞게 훈련된 모델

(딥러닝) 기본 + 원하는 그림이 나올때까지 재학습

 

 

 

 

 

AI 모델 파일 다운받을 수 있는 사이트

https://civitai.com/

Civitai: The Home of Open-Source Generative AI

https://huggingface.co/

Hugging Face – The AI community building the future.

: 클라우딩 컴퓨터와 함께 있다.

 

*세이프텐서스(safetensors) 함께 쓰기 -> 악성코드를 막을 수 있음

(되도록 공인된 곳에서 다운받기)