SD Webui 확장 - SadTalker (말하는 캐릭터 만들기) (mac m1)

오늘은 말하는 캐릭터를 만들 수 있는 SadTalker에 대해서 알아보는 시간을 가질게요.

 

설치

확장프로그램이 초기 버전이라 그런지 설치가 좀 번거롭긴 하네요.

 

Download the checkpoints manually, for Linux and Mac:

cd SOMEWHERE_YOU_LIKE

bash <(wget -qO- https://raw.githubusercontent.com/Winfredy/SadTalker/main/scripts/download_models.sh)

저는 mkdir sadtalkder_model 

만들고 sh 파일을 실행시켰더니

꽤 많은 파일을 내려받네요.

옵션 1: 체크포인트를 stable-diffusion-webui/models/SadTalker 또는 stable-diffusion-webui/extensions/SadTalker/checkpoints/에 넣으면 체크포인트가 자동으로 감지됩니다.

옵션 2: 다음과 같이 webui_user.sh(linux) 또는 webui_user.bat(windows)에서 SADTALKTER_CHECKPOINTS 경로를 설정합니다.

> only works if you are directly starting webui from `webui_user.sh` or `webui_user.bat`.

```bash
# windows (webui_user.bat)
set SADTALKER_CHECKPOINTS=D:\SadTalker\checkpoints

# linux (webui_user.sh)
export SADTALKER_CHECKPOINTS=/path/to/SadTalker/checkpoints
```

저는 옵션 1로 처리할게요.

위에서 다운로드된 폴더에서 stable-diffusion-webui/extensions/SadTalker/checkpoints/ 여기다가 복사하겠습니다.

재시작했는 역시 예상대로 한 번에 안되네요. 

필요한 모듈이 없다는 에러를 뿜뿜

수동을 설치 시도를 해봅시다.

# stable diffusion webui root 폴더에서
cd extensions/SadTalker/
../../venv/bin/python3.10 -m pip install -r requirements.txt

다시 실행해 봅니다.

또 에러를 내뿜네요.

dlib-bin 라이브러리를 설치를 못하네요.

dlib를 컴파일해서 설치해 봅니다.

마지막으로 

../../venv/bin/python3.10 -m pip install -r requirements.txt 

명령을 쳐서 필요한 모듈라이브러리를 다시 설치확인을 하고 에러메시지 없는 걸 확인합니다.

아 번거롭네요^^

아직 dlib-bin 이랑 위에 직접 컴파일해서 설치한 dlib 같은 지는 모릅니다.

그래서 주석해 놓고 진행한 거고요.

webui를 다시 한번 실행해 볼게요.

일단 띄우긴 했습니다만, 모듈이 정확히 설치된 건지 동작은 할는지 의구심이 들긴 하네요.

 

그냥 기본 옵션에 생성버튼 누르니 역시나 에러

실행옵션에 ./webui.sh --disable-safe-unpickle 적고 실행하고 생성하니 진행은 됩니다.

결과물이 어떨지는 모르겠지만

노래 부르는 AI 캐릭터

mp3음원 15초 잘라서 오디오 넣었는데 1시간 13분 걸린다네요. 에고

한참 게임할 때처럼 windows를 즐겨 쓴다면 4090 하나 지르고 싶네요^^

 

결과물이 나오긴 했네요.

뭔가 다양한 시도를 해보고 싶은데 너무 오래 걸리는 작업이라, 다음 기회로 미루고 이런 것도 있다 이정도로 넘어가겠습니다.

오늘도 글 읽어주셔서 감사드리구요. 다음 시간에 또 만나요.