SD Webui 확장(Extension) - sd-webui-controlnet (1.1)

GitHub - Mikubill/sd-webui-controlnet: WebUI extension for ControlNet

ControlNet 및 T2I-Adapter 용 웹 UI 익스텐션

이 extension(확장프로그램)은 AUTOMATIC1111의 stable diffusion web ui용이며, webui가 원래의 스테이블 디퓨전 모델에 컨트롤넷을 추가하여 이미지를 생성할 수 있도록 합니다. 추가는 즉석에서 이루어지며 병합은 필요하지 않습니다.

컨트롤넷은 추가 조건을 추가하여 확산 모델을 제어하는 신경망 구조입니다.

 

설치방법은 이전 글을 참고주세요.

SD Webui로 오래된 사진에 새 생명을 부여해보자. - 팁

이 글을 작성하려고 보니 ControlNet 1.1이 나올 것 같아서 sd-webui-controlnet 도 분주 후 업그레이드 되고 있네요.

새 버전을 업그레이드하고 보니,

많은 효과들이 포함되어 있습니다. 하나씩 훑어보도록 할게요.

 

참 모델은 새버전을 받으셔야합니다.

ckpt/ControlNet-v1-1 at main

웹ui설치된폴더/ extensions/sd-controlnet / models 안에 원하는시는 모델을 넣으시면 됩니다.

하드공간이 여유가 있으시면 다 받으셔서 넣는걸 추천합니다

기존 버전 껐도 있고 이번에 추가된 것도 있습니다. 하나씩 해볼게요.

• canny

• lineart

컨트롤넷에서 사용할 이미지를 추가하고

Preprocessor: lineart, 

Model: control_v11p_sd15_lineart_fp16 [해쉬코드]

Prompt: masterpiece,realistic,highres,high quality,ultra detailed,__allfashion__,tall female, __time__,

Nprompt: paintings, sketches, drawing, (worst quality, normal quality, low quality:1.5), strabismus, lowres, monochrome, grayscale, bad proportions, watermark, signature, text, bad-artist, easynegative, bad-hands-5

 

Generate (생성) 버튼을 눌러보시면.

• depth

depth_midas

 

 

• nomal_vae

 

• normal_midas

자전거가 뭘로 바뀐거지 ᄏᄏ

riding bicycle, 을 프롬에 추가해 봅니다.

3번 이미지 자전거가 부서졌나? ᄒᄒᄒ

오래간만에 인페이트로 소생시켜 봅니다.

어떻게 나오나 볼려고 대충 마스킹함

  Seed를 고정해야 했었나? 결과 보고 다시 해보죠 뭐,

 

 

• openpose

openpose_full

포즈를 가지고 오고 싶은 사진을 인터넷에서 구하든지 로컬에서 구해서 전처리기와 모델을 맞춰서 미리 보기를 누르면 포즈 파일이 만들어지고 원하는 모델과 프롬프트 입력하면 해당 포즈의 이미지가 생성됩니다.

ddtailer를 적용 안했더니 얼굴이 뽀사지네요.

오픈 포즈는 잘 동작하네요^^

 

나머지 부분은 쓸 일이 있을 때 추가 하겠습니다.

openpose, canny, lineart 이 세 가지가 가장 많이 쓰일 것 같네요 아. depth랑.

그럼 다음 시간에 만나요