Чем смотреть логи лосса лоры?
Exception training model: 'Accelerator.unwrap_model() got an unexpected keyword argument 'keep_fp32_wrapper''.
после обучения лоре вылезла ошибка, чяднт?
после обучения лоре вылезла ошибка, чяднт?
Спасибо, то что нужно.
Честно искал по слову loss, не нашел. Это надо вообще в шапку добавить.
Кто-то уже --use_lion_optimizer тестил?
Как правильно мержджить лоры с моделью?
> 6+ часов десятки тысяч повторов ставил
У тебя там 250 пикч? За чем тогда на +6 часов ставил? Поставь минут на 20-40.
У меня вот в 768 разрешении 250 пикч вертелись часов 15, но это только лишь потому, что 250 пикч в 768 на rtx2060. Ставил примерно 8 повторов на 10 эпох, и в итоге выбрал 6-ю, хотя и 4-я была уже хорошей.
> 6+ часов десятки тысяч повторов
> не получается нормального
Хммм, действительно в чем же дело?
Больше 2-3к шагов, 4к накрайняк делать смысла нет если что, только с твоих потуг если они направлены не туда?
Охуеть. Оказываться все это время эта хрень уже была у меня установлена в составе скрипта. Но и охуеть в двойне с того, что логи я не вел, ибо стояло $logging_dir = "" # (optional)
В зависимости от разнообразия датасета уже на 400 шагов может начать нормально получаться.
Выше 2000-2500 целиться смысла практически нет - начинается перетренировка.
Ну и не забывай, что можно задавать силу применения к ЛОРАм. Некоторые работают только в диапазоне от 0.4 до 0.7, а некоторые можно крутить аж до 2.0 без распидорашивания картинки. Почему так - я и сам не знаю.
Что-то прям долго. Сегодня только вот в коллабе тренировал 8 эпох на 768, 600 картинок без повторов, батчем 2.
2.5 часа всего крутилось. И то последние 2 эпохи были лишними, картинка уже не менялась на них.
нормально перекати, твой высер в прошлом треде не видно
Ну у тебя было без повторов с банчем 1. А у была цель обучить 10 концептов одновременно.
Спустя 3 недели ебания с этой проблемой все же нашел причину - в ебучем теге realistic в датасетах. Ну, хуйдожник рисует в околореализме, потому и проставоено там везде.
Убрал и всех, и лора взлетела на 4х80 пикчах датасета как по маслу и как доктор прописал, с свитспотом и плавным переходом от норм к разорви ебало.
про 768 странная хуйня, у меня на 3090 512 на 4х80 тренится минут 40 с батчем 5...8.
а 768 в 5+ часов, свопит постоянно.
На 0.3.1 менее 7к шагов на стиль ставить бессмысленно. На 0.4.0 вообще не тренируется, хз, зачем эта версия нужна
В каком колабе? Ссылку на блокнот
Там в прошлом треде я все рассказывал, не было зависимости от числа шагов. Сразу разрыв ебала скачком, хоть 1к хоть 10к хоть 5к, с разными лр, моделями и т.д., от их соотношений только менялась эпоха, на которой происходил разрыв ебала.
При этом highres fix вытягивал все таки картинку на уровень трененой лоры, но очевидно было что-то не так.
Быстрее tensorrt
https://github.com/facebookincubator/AITemplate#installation
https://facebookincubator.github.io/AITemplate/tutorial/how_to_infer_pt.html
И, это можно использовать для сд через -
?
https://github.com/facebookincubator/AITemplate#installation
https://facebookincubator.github.io/AITemplate/tutorial/how_to_infer_pt.html
И, это можно использовать для сд через -
?
Как вытащить лора из дримбут модели в колабе? Все варианты крашатся из-за недостатка РАМа.
> Быстрее tensorrt
Чел, оно даже медленнее xformers, у tensorrt сосёт с проглотом.
Есть ли какой то магический способ если мне нужно замутить лору на персонажа, а из того что есть это 4-7 картинок из койкатсу?
Что вообще за tensorrt? Слышал, что ускоряет. Тогда почему еще нет в передовом колабе ластбена? Самому легко поставить и нужно ли?
Нарисуйте, пожалуйста, как пьяного крысопса ебут в жопу бомжи и водят вялым ему по губам.
Найди эту 3d модель, надедай скриншоты с ней. Сделай лору, после чего прогони свои рендоры через img2img с ней же и опять в лору.
Может с первого же раза выйти. Если и со второго не выйдет, можешь попробовать скриншоты в фотошопе немного замылить, чтобы картинки получились менее резкие по граням.
СУКИ ПОЧЕМУ НЕЛЬЗЯ СДЕЛАТЬ ДЛЯ ТУПЫХ ПЛАГИН, ЧТОБЫ БЫЛО ДВЕ КНОПКИ ЗАГРУЗИТЬ ИЗОБРАЖЕНИЯ И ОБУЧИТЬ
https://colab.research.google.com/github/Linaqruf/kohya-trainer/blob/main/fast-kohya-trainer.ipynb тут же выкатили версию для тупых в одноклик
Опечатка, зайди в код и добавь двоиточие
def install_dependencies():
!pip -q install --upgrade gdown
!apt -q install liblz4-tool aria2
!pip -q install --upgrade -r requirements.txt
НУ ОХУЕТЬ ВОТ ЭТО РЕАЛЬНО ДЛЯ ТУПЫХ СДЕЛАНО, А ДЛЯ УМНЫХ НАВЕРНОЕ НАДО ЕЩЕ И КОД ПИСАТЬ САМОМУ?
Генерить 24/7 это примерно так же плохо для видюхи как и майнинг?
>А ДЛЯ УМНЫХ НАВЕРНОЕ НАДО ЕЩЕ И КОД ПИСАТЬ САМОМУ?
да, а ты как думал? Хоть какой-то фильтр, а то совсем бы у мясных художников все стили перекопировали!
ну опечатался автор че бубнить, скоро пофиксят, разработка активно идет
Лол.
debug_params = ["mode",
"use_dreambooth_method",
"lowram"
Запятую после lowram добавить надо
МОЖЕТ ПРОСТО НЕ НАДО НЕРАБОТАЮЩИЙ КАЛ РЕКОМЕНДОВАТЬ?
Не знал что там настолько все плохо что фиксить и фиксить. Не-fast (но они позиционируются не как однокнопочные) колабы другие аноны норм использовали и хвалили..
Я только на колабе это тестировал, моя 2070 в 768 не может. Прилично дольше, чем на 512, но удивительно, что вообще работает.
Вторая в шапке.
Я так думаю, что даже хуже.
Нагрузка высокая, но неравномерная, скачками, когда генерация перезапускается.
Но это так, чисто мнение дилетанта.
Вторая в шапке довольно понятная.
Пропускаешь третий шаг, на остальное кликаешь по-очереди.
Настройки один раз поправить, указав правильные ссылки на папки в твоем гуглдрайве (подключается первым шагом),и название выходной лоры. И оно заработает.
А дальше уже можно играться с параметрами.
Всё так.
Вот оно как, ошибки в одних тегах не влияют, а другие если проскочат - сразу все ломается.
А какой именно стиль ты тренил? В смысле в чем он заключается, какие-то особенности у персонажей, или сам стиль изображения типа той же пастели?
> На 0.4.0 вообще не тренируется
Лр куда больше нужен, ну или альфу равную диму для того же поведения
Стиль изображения
Проблема в том что модели нет, но ха идею спасибо
Хм...
Попробовал натренить лору с клип скипом 2 на наи модельке но на фотках бывшей ...
Вышло в разы лучше чем на сд, т.е. реализм во все поля но еще и вдобавок научилось раздевать одевать ебать рисовать волосню и разную комплекцию и эмоции, хоть в лольку хоть в старуху с вислыми сиськами и т.д. Причем оно именно на фото натренелось, вся анимешност исчезла вовсе.
Чудеса...
Попробовал натренить лору с клип скипом 2 на наи модельке но на фотках бывшей ...
Вышло в разы лучше чем на сд, т.е. реализм во все поля но еще и вдобавок научилось раздевать одевать ебать рисовать волосню и разную комплекцию и эмоции, хоть в лольку хоть в старуху с вислыми сиськами и т.д. Причем оно именно на фото натренелось, вся анимешност исчезла вовсе.
Чудеса...
тут ен столько в нагрузке проблема, сколько в скачках температуры и перегревах, по этому тюним режим охлада на оптимальные температуры, чтобы минимизировать скачки... - ну и плюсом лучше кулер дует - лучше охлаждение памяти... вообще лучше серверный корпус с хорошей продувкой, но эт для датацентро-бояр, в квартире ИМХО слишком громко будет
Вопрос к участникам, никто часом на бусти Хачатура aka XpucT не подписан? https://boosty.to/xpuct
по спойлерам материалы неплохие должны быть по лайфхакам с SD, но, не зная за что, 7$ отдавать не хочется И жаба давит, по этому может кто-то кратко поделится интересной информацией, или хотябы отзывами?
по спойлерам материалы неплохие должны быть по лайфхакам с SD, но, не зная за что, 7$ отдавать не хочется И жаба давит, по этому может кто-то кратко поделится интересной информацией, или хотябы отзывами?
Ну так пили гайд пошаговый, чего просто так чудесами хвастаться
Через плагин https://github.com/hako-mikan/sd-webui-supermerger
Линакруф с ошибками да, я второй из шапки юзаю все ок.
Пробовал, но я без понятия как этим пользоваться, пробовал разные комбинации alpha и beta, но я без понятия как это работает, и соответственно во всех случаях получилась хуйня, при вызове лоры результат гораздо лучше
Когда ты мерджишь с моделью ты как бы меняешь веса целевой модели чтобы она юзала веса лоры.
Пользоваться примерно так: в чекпойнт А ставишь целевую модель, ставишь альфубету на 0, дименшон на авто или под размер дименшона лоры, внизу чекбоксишь лору, пишешь имя выходной модели и мерджишь.
А если я хочу с определёной силой смерджить, то условную бетту ставить в те же что и веса?
С определенной силой это ratio с блоками надо крутить вроде, альфабета справа сверху с списками под A и B это для чисто моделей тебе надо ток модель-рецепиент в А грузить и юзать от нее альфу в позиции 0.
Вот пример: беру лору карины и URPM, настройки мерджа + тестовый прогон.
>С определенной силой это ratio надо крутить
фикс
Так а какой гайд, просто закинул фотки в датасет, назначил ей теги как обычно с бур, и зарядил обучение лоры на nai, все строго по гайду.
Я просто прихуел с того факта что манямешная модель сработала лучше в обучении лоры на ебало конкретного человека, чем сд 1.3 1.4 1.5 и ф222 и прочие реалистичные обычные сд-базед модели.
>просто закинул фотки в датасет
скок штук? какие настройки обучения?
Сработало, спасибо
Слышал, что можно как-то исправить вае. Можно ссылку на гайд?
19 довольно шакальных пикч x 10 повторов
последний такой, но думаю, пережарил, скину лр еще сильнее раза в 3, мордаха и комплекция уже на 5 эпохе начала сходиться, на больших от 10 можно уже скручивать вес лоры и получать морду на любой туше которую захочешь сгенерить, шишак колом
пробовал и на наи, последний раз на ACertainty, в принципе, тоже самое все выходит. генерю на Any 4.5 (пробовал 3.0 и наи , тоже все получается)
--network_module=networks.lora `
--pretrained_model_name_or_path=".\..\models\ACertainty.ckpt" `
--vae=".\..\models\ACertainty.vae.pt" `
--train_data_dir=".\..\vika\train_img" `
--output_dir=".\..\vika\outnai1" `
--output_name="vika_nai1" `
--log_prefix="edd_" `
--save_every_n_epochs=1 `
--save_last_n_epochs=2000 `
--train_batch_size=6 `
--lr_scheduler=linear `
--resolution="512,512" `
--network_dim=128 `
--keep_tokens=1 `
--gradient_accumulation_steps=1 `
--max_data_loader_n_workers=1 `
--save_precision=fp16 `
--mixed_precision=fp16 `
--learning_rate=3e-5 `
--unet_lr=3e-5 `
--text_encoder_lr=1.5e-5 `
--max_train_epochs=50 `
--lr_warmup_steps=50 `
--clip_skip=2 `
--network_alpha=32 `
--shuffle_caption `
--max_token_length=225 `
--seed=2281488 `
--logging_dir=".\..\vika\logs_dir" `
--caption_extension=".txt" `
--prior_loss_weight=1 `
--enable_bucket `
--min_bucket_reso=256 `
--max_bucket_reso=1280 `
--save_model_as=safetensors `
--mem_eff_attn `
--cache_latents `
--use_8bit_adam `
--xformers
Решил проверить. Пак одной знакомой валялся на харде. Да, сработало. Шакальность пака зашкаливала, полно было пикч 241x432 пикч или вроде того.
Снизил unet_lr до 2e-5, а text_encoder_lr до 1e-5
Только наоборот при 29 пикчах и 8 эпохах x10 повторов вышло слабо и я ставлю силу Лоры на 1-1.2
Но, все же, гипер огромные глаза остались на Any 4.5
А, ну и еще так может быть из-за того, что я поставил dim32, alpha 1
Столкнулся с такой проблемой, что на некоторых версиях xformers сломано обучение модели. Из за этого при обучении loss может очень быстро уходить в nan или наоборот почти не изменяеться во время обучения, а на выходе получается не работающая модель. Проблема решается установкой другой версии xformers
https://github.com/kohya-ss/sd-scripts/issues/85
https://github.com/kohya-ss/sd-scripts/issues/85
Почему не определяет позу? Остальные препроцессоры работают.
Дело именно в этом изображении, прогнал через img2img, начало работать.
Кто-нибудь в курсе, можно ли прунить лорки?
можно
Разрешаю.
Прочитал несколько гайдов по лорам, но так и не разобрался. Плиз хэлп.
У меня в датасете все картинки вертикальные или горизонтальные. Если их кропать в 512х512, получается малоэстетичная фигня.
В гайдах написано, что можно и не кропать, как я понял. Но нигде не нашел объяснения, что дальше произойдет. То ли как-то автоматом покропаются по дороге, то ли что.
Можно как-то натренировать на 768х512, чтобы от этого была польза, и потом натренированный концепт хорошо генерировался в этом разрешении?
У меня в датасете все картинки вертикальные или горизонтальные. Если их кропать в 512х512, получается малоэстетичная фигня.
В гайдах написано, что можно и не кропать, как я понял. Но нигде не нашел объяснения, что дальше произойдет. То ли как-то автоматом покропаются по дороге, то ли что.
Можно как-то натренировать на 768х512, чтобы от этого была польза, и потом натренированный концепт хорошо генерировался в этом разрешении?
Не кропай, всё само кропниться как надо
Важный вопрос: тип фигкры схватило? Размер груди? Пупок? Длину ног?
Напомните, где можно почитать про отличия тренировки файнтюна, дримбудки, лоры, ти, гиперсетки. Вроде у автоматика в вики было? Найти нигде не могу
webui-model-toolkit мне говорит что там нечего прунить. Что я делаю не так?
Размер груди точно. Про остальное мне сказать сложно.
А вопрос-то не праздный, не праздный! DreamLike-PhotoReal V2 пишет в своей документации, что тренили его на 768х768. Это вообще как? Получается, 512х512 - это не фундаментальное ошраничение модели SD1.5, это просто так натренили? Соответственно, раз они смогли, то и мы... можем?
Субъективно - у DLPRv2 и впрямь меньше проблем с рассиамливанием на 1024х1024, чем у других моделей.
>Соответственно, раз они смогли, то и мы... можем?
Можем, но тренировать сетку с нуля это месяц+ даже на 4090.
Точно, так же можно как раз протестить попробовать тренировку на 768.
Попробовал проверить две сетки, пик 1 тренился на 512х512 и пик 2 на 768х768 пикчах. Выборка, как обычно, маленькая, теги указаны только уточняющие, у пик 1 тегов получилось больше, всё так же рисует нескольких персонажей в кадре 1024х1024 на эни3.0 фп16, естественно без хф
Нашёл 2 лорки на Шинобу, в 1 ахуено получаються волосы, в другой глаза, пытался их смерджить как на 3 пике, но так и не смог получить лучших деталей из обеих, и хотел бы узнать про (":blocks" is option, not necessary), на сколько я понял лорки можно мерджить по блокам, но как? У меня мало в этом опыта, окно снизу имеет к этому отношение? Или нужно просто вместо 1 веса использовать другой синтаксис для вызова мерджа по блокам?
Как мне в dataset editor переместить нужные мне теги вперёд?
А, переместить? Проще удалить и записать так их заново.
Есть полноценное объяснение для дегенератов, что значат все эти настройки в обучении лорок? Особенно интересуют эпохи. А то вот я как бы натренил по гайду для теста Зину, а вышло пусть норм для первого раза (с третьего захода), но хочется получше.
В идеале, есть желание натренить на условный "Стиль фильмов 80-х", чтобы и зерно было стабильно, и цвета - начать, например, с Безумного Макса и его клонов.
В идеале, есть желание натренить на условный "Стиль фильмов 80-х", чтобы и зерно было стабильно, и цвета - начать, например, с Безумного Макса и его клонов.
Чёт дохренищи у этого колаба настроек, да:
https://colab.research.google.com/github/Linaqruf/kohya-trainer/blob/main/kohya-trainer.ipynb#scrollTo=j1jJ4z3AXRO9
Попробуем, но чуется мне, что получится фигня. Или использовать нужно не его?
https://colab.research.google.com/github/Linaqruf/kohya-trainer/blob/main/kohya-trainer.ipynb#scrollTo=j1jJ4z3AXRO9
Попробуем, но чуется мне, что получится фигня. Или использовать нужно не его?
Почему-то у меня в начале каждой эпохи loss меньше (около 0.105), а к концу эпохи ползёт до 0.121...
Ага. Значит, при положительной тренировке значимых отличий нет. Вот теперь вопрос: а при отрицательной? У меня есть нагенерённые сиамцы а-ля пикрил. Не то чтобы прям вот возьми и выложи, их ещё отсортировать надо, но там реально много. Сотни. Они в 512х1024. Можем ли мы натренировать (вероятно, на ванильной SD) лорку, которой объясним, например, что за концепт такой - "две головы одна над другой", а потом вставить это в негатив или каким-то другим образом попросить лорку НЕ делать этого? "Мы" - потому что я, во-первых, не имею видеокарты (но это ладно, кегли/гугли поделятся), во-вторых, не имею вообще никакого опыта успешного лоропечения. А начинать своё знакомство с лорами с эксперимента, который запросто может и провалиться, как-то не хочется. Ну и резать датасет в пустоту, не будучи хоть сколь-либо уверенным, то он кому-то нужен, тоже не хочется от слова "совсем".
Тут, на самом деле, возможно два эксперимента.
а) Учим лорку на 512х1024 (так же можно, да?)
б) Вырезаем из наших картинок тайлы 512х512, на которых ясно видна мутация (пикрил 2) или такие прямоугольники, что любой квадрат 512х512 содержит искомую мутацию (пикрил 3) и далее https://gitlab.com/Nickkolok/chas-conceptrate/ (но это по вкусу)
Анончики, кто-нибудь возьмётся?..
Ведь если получится, то мы заборем очень серьёзную проблему!
Берешь второй лоро-коллаб из шапки.
Им тренируешь.
Только ознакомься с мануалами сначала. Там всей разницы только в том, что папки и модели вместо твоего диска будут в гугле лежать.
Кропать ничего не надо, скрипт сам всё отресайзит.
>начинать своё знакомство с лорами с эксперимента, который запросто может и провалиться
Первый эксперимент у тебя в любом случае провалится, так что можешь и с этого начать, почему нет.
Полезность, правда, сомнительная, и вдобавок результат фиксировать трудно будет.
Лора же в любом случае влияет на генерацию, одним своим фактом подключения, и нет никакой гарантии, что нормальная генерация без "склейки" получится именно из-за тренировки концепта, а не из-за факта подключения лоры как таковой.
Опять же, штука это редкая, бороться с ней легко - обычным имг2имг или хайрез-фиксом. Ради такого лорку затевать, которая на стиль генерации еще влиять будет... Ну, не знаю.
Мерджил лоры через веб-гуй версию kohya_ss, и заметил, что силу применения соединенной лоры надо раза в 3 подымать по сравнению с обычными, чтоб концепт хотя бы приблизительно на том же уровне включаться начал.
То же самое касается и экстракции лоры из модели.
Можно это как-то забороть, никто не в курсе?
То же самое касается и экстракции лоры из модели.
Можно это как-то забороть, никто не в курсе?
С лишними конечностями и персонажами вообще не угадаешь, вот добавил просто тегов на задник на пик1, таже модель, лишнего стало меньше даже с 512 лорой. Другая аниме модель на пик2 это полный провал c 1024 на том же промпте, 768 же на пик3 нормально.
Ты бы хоть показал с какими настройками у тебя такое генерится. Ну натренится лора как ты задумал на 512х1024, даже пускай она получится, перестанет рисовать две головы, а с ногами и руками что делать, отдельным концептом засунуть? А с двойниками? Да и актуальна она будет лишь для одной модели тогда? А как быть с другими разрешениями, не все ведь генерят 512х1024? Проще действительно хайрезфикс просто юзать
Настройки вот. На вебуи аналогично получается. С хайрезфиксом не разобрался. То глазки на трусиках, то три пупка в рядок, то долбаное мыло.
Теоретически можно попробовать перенормировать веса лоры. Грубо говоря, смёржить лору с собой же, выставив суммарный вес 3. Но это теоретически, я не пробовал.
А есть ли проблема? Если решается просто увеличением веса, то какая разница?..
Возможно, при мёрже стояли веса 0.5 и 0.5. Тогда более-менее понятно, что каждый концепт по отдельности может потребоваться увеличить.
> Лора же в любом случае влияет на генерацию, одним своим фактом подключения, и нет никакой гарантии, что нормальная генерация без "склейки" получится именно из-за тренировки концепта, а не из-за факта подключения лоры как таковой.
Сотня картинок с лорой, сотня без. Если это реально работоспособных фикс - то разница уже на сотне будет видна.
> Ну натренится лора как ты задумал на 512х1024, даже пускай она получится, перестанет рисовать две головы, а с ногами и руками что делать, отдельным концептом засунуть? А с двойниками? Да и актуальна она будет лишь для одной модели тогда?
Если она натренится на 512х1024, то и на другие разрешения влиять же будет, разве нет? А вообще типовых мутаций немного. Две головы, два лифа (пикрил 1), двое плавок (пикрил 2), почти полное удвоение (пикрил 3). Да, наверняка повылезут ещё мутации, но эти самые частотные.
Ты либо трусы сними, либо крестик надень уж определись тебе:
> closeup, portrait, perfect detailed face, focus on face
или
> outie navel, thin waist, slim flat belly, very slim girl in bikini
Хз где ты там генеришь, но может тебя с твоим
> adorable 12yo girl standing in bikini
просто отсеивает цензурой?
Хайрез просто поставь вот по этому калькулятору https://preyx.github.io/sd-scale-calc/ латент и от 0.6 до 0.7 денойза, чтобы мыла не было, или не латентный апскейлер, если есть
> Проще действительно хайрезфикс просто юзать
Ну это может стать не заменой хайрезфиксу, а дополнение к нему. Грубо говоря, сейчас можно хайрезфиксить с 256х512, а будет можно с 512х1024. Как бы множитель.
Цензура там есть, часть картинок отсеивает, однако попадается и вот такое.
Да, ей 12 с т.з. StableDiffusion. Возраст - эффективный способ избежать коров с племенными выменами, да и только.
нахер дрочить переобучение на ошибки шума и генерить в 1024 по стороне, если можно генерить в безопасном разрешении и апскейлить на безопасном денойзе?
в крайнем случае есть Latent Couple, где ты жестко можешь задать положение для концепта на картинке и ошибок шума быть не должно
Есть нормальный гайд по тренеровке сетки на еот?
Пробовал гайд от XpucT через гипернетворк, похоже но не то.
Пробовал гайд от XpucT через гипернетворк, похоже но не то.
> гайд от XpucT
У тебя рот в хачевском говне.
Я тоже обсираюсь с тем чтобы сделать свою лору.... Уже неделю чекаю каждый день надеясь что кто-то ее сделает за меня, но нихуя подобного. Хотя gogalking популярный художник.
Вот бы настоящего мужчину который бы сделал ее..............
Вот бы настоящего мужчину который бы сделал ее..............
Ну так что, "попозже" еще не наступило, или всё таки сгрузишь куда нибудь?
Хотя бы на мегу залью, да восстановлю ссылки на лоры, если не хочешь больше сервер держать
Там концепт плюс-минус один. На одних и тех же кейвордах тренировано, по крайней мере. Надо просто усреднение по стилю получить, но на силе 1 оно практически не работает. Приходится сильно выкручивать, но тогда начинают всякие артефакты вылезать - того, что в тренировку случайно попало и тоже протэгано было, но в промпте не проставлено.
Саму с собой сливать не пробовал пока еще. Врядли сработает, конечно.
Привет всем, есть тут те кто может раздевать? Разденьте её пж если не сложно
Ну вообщем как я и думал. Результата нет. От простого слияния одной и той же лоры между собой ничего не меняется.
Надо что-то другое придумывать, и тут я хз вообще, куда копать.
Попробуй мёрджить через экстеншн для автоматика SuperMerger - там можно вес базовых лорок при мёрдже крутить. Я так смог добиться того, что смёрдженная лорка, которая только на весе 2.4 работала, стала на 0.8 нормально работать, просто увеличив веса у базовых лорок при мёрдже. Через гуй версию kohya_ss у меня тоже приходилось какие-то нереальные веса задавать.
Что-то вдруг сломалось, я ничего не трогал. Были сеймы у кого?
Попробуй %каломатик%\extensions\sd-webui-additional-networks убрать и глянуть, стартанёт ли без экстеншена. Если выйдет, то мб поновой его поставить надо.
Спасибо, дело и правда в нем было!
Только вот оно что-то у меня не работает.
Градио чтоль обновить?.. Но как?
Я посмотрел получше, у меня эта ошибка была из-за того, что в папке с лорами случайно оказался сефйтенсор обычной модели. Обновление хеша спотыкалось на нем.
https://preyx.github.io/sd-scale-calc/
А в чем профит ставить всё по рекомендуемым здесь размерам?
А в чем профит ставить всё по рекомендуемым здесь размерам?
Ты к нам прямиком из ноября 2022-го?
Увы, не знаю, не сталкивался с такой ошибкой. Может и вправду надо автоматик обновить.
Я просто всегда ставлю на 0 все и он сам определяет как будет увеличивать полотно в зависимости от множителя апскейла.
У меня на коммите 3715ece0 работает, если что. Тоже уже, наверное, обновиться стоило бы.
Этот калькулятор использовался для старого хайрезфикса, новый работает совершенно по-другому. Всё, эта ссылка нахуй не нужна, если только ты не сидишь на сборке тех времён.
А, ясно, а то я увидел его в сообщениях сверху, решил что что-то актуальное.
Обновление норм проходит.
На создании вкладки для супер-мерджера спотыкается.
Проверил - автоматик полностью обновлен.
Может, он градио как-то отдельно обновляет? Командой какой-нибудь?
И вправду, gradio отдельным пакетом ставится. Попробуй его снести в %каломатик%\venv\Lib\site-packages
Если ты автоапдейт пакетов не отключал, то потом просто перезапусти гуй. Если автообновление отключено, то введи в корне автоматика:
.\venv\Scripts\activate
pip install -r requirements.txt
Если обосрётся с апдейтом, то, наверное, придётся все пакеты сносить и по новой ставить. Может лучше бекап всего %каломатик%\venv\Lib\site-packages сделать сперва.
Убил обе папки градио, обновился командой - одна фигня, та же ошибка.
Тогда у меня нет идей, может кто-то ещё из анонов подскажет. Разве что попробовать целиком venv снести и по новой все пакеты поставить. Если и это не поможет, то тут только новый инстанс автоматика разве что пробовать установить - может с какими-то другими плагинами конфликтует или ещё что.
1. Сноси весь venv и он будет качать по новой
2. Если не поможет, то удалить еще и все пакеты в директории самого питона с помощью:
pip freeze > 1.txt
pip uninstall -y -r 1.txt
Вдохновился чудесами воспроизведения ЕОТ на анимэ-моделях. Своей видяхи нет. Как загрузить NAI или хотя бы AnythingV3 в ckpt на коллаб/кеглю??
Вопрос про второй коллаб. Как делать/где брать реги????
О, нихуя. Тоже на шмарине обучал модель. А чего нет на циве? Кинь линк или залей сюда хоть, не слежу за бордой.
Линкаешь гугл-диск, грузишь и ставишь всё туда.
Выходные тоже туда будут грузиться.
А ты уверен, что размерность суммы лор равна максимальной размерности слагаемых, а не сумме их размерностей? Или даже произведению...
Как правильнее замиксовать три модели в одну? Знаю только хэш от нужной модели и из каких она состоит.
Вручную зашел в папку с экстеншном и сделал гит-пулл.
Заработало.
Какую он там версию из автоматика по ссылке тянул, почему не обновлял - хз вообще.
Хотя может, конечно, и сам автор подсуетился и что-то обновил как раз в этот срок.
Новый способ тренить лоры https://github.com/KohakuBlueleaf/LoCon
экстеншон https://github.com/KohakuBlueleaf/a1111-sd-webui-locon
экстеншон https://github.com/KohakuBlueleaf/a1111-sd-webui-locon
Господа, имеется rtx 2080S. Имеет ли смысл менять на 3090?
Прямо лоры тренировать вроде не собираюсь, но вот генерирую/img2img/инпейнтингом занимаюсь много (в т.ч. с контролнетом).
4090 стоит прямо уже слишком дорого пока, а вот 3090 прихватить с авито тысяч за 50-60 - вполне реально.
Прямо лоры тренировать вроде не собираюсь, но вот генерирую/img2img/инпейнтингом занимаюсь много (в т.ч. с контролнетом).
4090 стоит прямо уже слишком дорого пока, а вот 3090 прихватить с авито тысяч за 50-60 - вполне реально.
Зачем? Чем он лучше?
А, этого тебе недостаточно. Вот еще.
Угум, графики изучал.
Рановато я вопрос высрал, не доформулировал.
Вообще, я даже больше думаю между 3080ti и 3090. По графику они вообще практически одинаковые (да и по характеристикам кроме объёма памяти) + 3080ti за эти же деньги можно купить новее/в более хорошем исполнении.
Генерировать свыше 1024x768 (а в идеале 768x512) смысла особого нет, я пробовал, получается какая-то каша, лучше проапскейлить потом. Хотя, наверное, с йоба-памятью можно будет апскейлить без деления на тайлы очень много, тут, вот, не в курсе пока.
В общем, хрен его знает, может и потом пообучать тоже захочется. Да и вообще, 3090 с 24Гб, наверное, всё же больше подходит для нейроувеселний - кто знает что там ещё придумают.
>Да и вообще, 3090 с 24Гб, наверное, всё же больше подходит для нейроувеселний - кто знает что там ещё придумают.
Да.
Полноценная лора, а не половинчатая как щас
Все зависит от твоих финансов и насколько серьезно хочешь заниматься нейрохудожествами и играть в игорь. Если изредка делать шакалов с хайрезфиксом до 1.5к и катать соревновалки на фуллхд - апгрейда не заметишь. Если апскейлить побольше - размер тайла там важен а значит нужно хотябы 12 гигов врам, 24 лучше. Если переделывать куски, инпеинтить и т.д. - тут важна производительность, с 3090 куда комфортнее будет.
> между 3080ti и 3090
Переезд с 12 на 24 гига был дохуя приятным, если готов потратиться на такую игрушку - бери где больше памяти не задумываясь. Как компромиссный вариант - 4080 если занидорого найдешь.
Пробовали работает ли оно вообще?
>
> Пробовали работает ли оно вообще?
Работает
Сравнение не делал?
может вечером попробую
Спасибо, анон!
Да, уже договорился и с покупателем моей 2080s, и с продавцом 3090 - сегодня, похоже, уже всё будет.
>и катать соревновалки на фуллхд
Ну, кстати, я сижу за 4к телеком, и не сказал бы что мне 2080s где-то прямо не хватало естественно, в совсем йобы играю в 2к разрешении, на телеке оно от 4к практически не отличается. Если б не увлечение нейронками (а так же Блендером), то я б и не думал ещё пару лет апгрейдиться.
>делать шакалов с хайрезфиксом до 1.5к
Вот, кстати, ещё особо не пробовал этот хайрезфикс. Насколько понял, это немного отличается от того, что если б я просто сгенерил обычный 512x768, а потом SD апскейлом увеличил на нужный размер. Да и это сильно дольше на моей 2080s происходит, проще нагенерить 10 картинок, выбрать из них лучшую, и уже её в img2img апскейлить каким-нибудь валаром/ремакри. Но вот с 3090 уже попробую этот фикс полноценно.
>Если апскейлить побольше
Да, очень хотелось бы. Тут иногда выкладывают генерации в бешеном разрешении, выглядит очень хорошо. А тайлами по 768 это и долго, и слишком много артефактов, надо с промптом что-то придумывать постоянно.
>Если переделывать куски, инпеинтить и т.д.
Вот этим больше всего занимаюсь, да. Не думал что тут прямо особенно нужна производительность, но если так - я только рад что будет ещё комфортнее.
Если про обычный без каштомов и прочего - считай то же самое что прогнать пикчу через img2img с латентом или однотайловым sd, здесь не происходит дробление пикчи на куски а все делается одним.
> проще нагенерить 10 картинок, выбрать из них лучшую, и уже её в img2img апскейлить
Теперь будет то же самое, но делать будешь сразу в разрешении хотябы 1к, а уже их будешь апскейлить.
> иногда выкладывают генерации в бешеном разрешении, выглядит очень хорошо
обычно они выглядят хуево лол, но тема интересная
> Не думал что тут прямо особенно нужна производительность
Ну это твой комфорт считай, перерисовал что-то, закинул кусок в инпеинт, поставил батчей, делаешь другую часть, потом ставишь уже ее а из сгенерированных выбираешь подходящий вариант. Если приноровиться то почти нет ожиданий обработки и процесс не прерывается на разглядывание прогрессбара и лайв превью.
Кто здесь спец по миксам моделей?
Замутите микс вот этих двух, плиз
https://huggingface.co/waifu-diffusion/wd-1-5-beta2/tree/main/checkpoints
https://civitai.com/models/3850/kenshi
Будет пиздато, отвечаю. Первая модель - это новая версия Waifu diffusion, с новизной и эстетическими ступенями. Вторая - Kenshi, ничем особо не выделяется, но отточена до блеска - даже пизже чем Anything v4 и Counterfeit. Уточню, что нужный чекпойнт называется wd-1-5-beta2-aesthetic-fp32.safetensors. Замиксуйте, это будет пиздато.
Замутите микс вот этих двух, плиз
https://huggingface.co/waifu-diffusion/wd-1-5-beta2/tree/main/checkpoints
https://civitai.com/models/3850/kenshi
Будет пиздато, отвечаю. Первая модель - это новая версия Waifu diffusion, с новизной и эстетическими ступенями. Вторая - Kenshi, ничем особо не выделяется, но отточена до блеска - даже пизже чем Anything v4 и Counterfeit. Уточню, что нужный чекпойнт называется wd-1-5-beta2-aesthetic-fp32.safetensors. Замиксуйте, это будет пиздато.
Ах да, и еще совет: смиксуй результат снова, но уже с моделью для пиксель-арта. Дело в том, что самые лучшие пикчи получаются если добавить чуть-чуть токена пиксель-арта. Выходит как бы HD пиксельарт, оче гладкий и детализированный, с охуенной палитрой. (Но если переборщить, то выйдет зернистая хуйня)
>fp32
нахуй
Я не в курсе что это значит. Aesthetic очевидно пизже
Если смиксовать кенши с вд 1.5.2 - получится топовое манямэ, с такими-то формами и деталями как у самых ебейших топовых крутанов на pixiv и арстейщоне.
примеры плез
> смиксовать кенши с вд 1.5.2
> WD 1.5 Beta is fine-tuned directly from stable-diffusion-2-1 (768)
> Base Model SD 1.5
Щас кааааак намешаем, никуда не уходи.
Ну и как их тренить? Установил расширение в webui, ничего в интерфейсе не появилось нового
Google Colab даёт бесплатный доступ к видяхе Т4, 16 ГБ VRAM.
Kaggle даёт бесплатный доступ либо к двум T4, по 16 ГБ VRAM каждая, либо к P100.
Возникает закономерный вопрос: есть ли способ извлечь из этого какую-то выгоду при обучении? Есть ли смысл обучать на гугле, а не на кегле - и как?
Kaggle даёт бесплатный доступ либо к двум T4, по 16 ГБ VRAM каждая, либо к P100.
Возникает закономерный вопрос: есть ли способ извлечь из этого какую-то выгоду при обучении? Есть ли смысл обучать на гугле, а не на кегле - и как?
https://rentry.org/2chAI_LoRA
Ссылки на скачивание не работают.
Ссылки на скачивание не работают.
Да, я обосрался.
У меня сдох сервак.
Щас я вам залью лоры, но без названий, к сожалению.
Если сопоставите - будет заебись...
Анончики, объясните нюфане:
Нужно ли подгонять картинки под конкретный размер?
Желательно ли удалять фон?
Нужно ли подгонять картинки под конкретный размер?
Желательно ли удалять фон?
Нет если будешь описывать бекграунд, если убираешь то указывай на что поменял, если хуёво редачишь, например дохуя шума, то тоже указывай, просто будь честен с нейронкой, кропать тоже не обязательно
>Нужно ли подгонять картинки под конкретный размер?
Нет. Можно (и нужно) обрезать ненужное. Еще можно соотношение сторон подгонять, чтоб скрипт сильно при ресайзе картинку не растянул. Я обычно (если кропаю) ставлю соотношения 2:1, 2:1.25, 2:5, 2:1.75, 2:2.
>Желательно ли удалять фон?
Если там какая-то вакханалия творится или лишние персонажи - то да. Обычно - нет.
Спасибо!
Колабожрецы, проясните подробнее про: https://colab.research.google.com/drive/1bFX0pZczeApeFadrz1AdOb5TDdet2U0Z#scrollTo=12GnGId_PdMo
1. Нужно в 7z или просто папку залить на диск?
2. Куда прописывать путь до архива с картинками?
3. Там уже есть определённая модель или нужно желаемую загружать?
Простите за даунские вопросы, просто я не понимаю, а пердолиться самому времени колаба не хватит...
Как я их сделаю? Ты сначала микс выложи
Весы и эмбеддинги кенши лягут на то что знает wd, чтоб уточнить небольшие детали.
Подключаешь гугл-диск. Это самый первый пункт.
Создаешь там нужные папки, туда всё и грузишь. Модель, картинки для тренировки, и т.д. Только смотри не переборщи, гугл это дело контролирует, и может за плохой контент забанить.
Когда диск подключен - в левом столбце жмешь на значок с папкой, он тебе диск откроет. А там уже можно жать "копировать путь" на то, что тебе надо, и вставлять в скрипт.
Приобрёл таки.
Дааа, анон, SD на 3090 это просто что-то за гранью. Я вроде и смотрел графики, но на деле всё НАСТОООЛЬКО быстрее это я ещё без xformers сижу, так за полгода и не дошли руки/голова пощупать и узнать что это такое. Теперь можно генерировать 8 изображений 768x512 одновременно за 30 с небольшим секунд - чисто для бенчмарка пробовал, даже не думал что заработает. А всякие инпейнты и т.д. - вообще практически мгновенны.
Это же, получается, SD yf 2080s ни разу не хобби было, а настоящее мучение. Вроде и всё более-менее устраивало, но сейчас даже смешно вспоминать.
В общем, спасибо за советы!
осталось только разобраться с андервольтом, а то и по температурам, и по громкости, конечно, получше 2080s, но совсем на чуть-чуть
Я юзаю Орду без всяких карт, даже цп генерирую
как починить? картинки в грид не склеивает
Обучил лорку на wd1.5, при попытке генерации ловлю пикрелейтед и лора не применяется. Поменял только эти две настройки, остальные взял со старой рабочей лоры. Есть идеи, что я делаю не так?
> остальные взял со старой рабочей лоры
До этого только под SD 1.x делал.
пик2 - твоя ошибка
На пик2 поменял правильно, также нужно поставить $resolution = 768 указать верный путь до модели, положить yaml идущий с моделью в ее папку, прописать путь до их рекомендованного vae. С такой конфигурацией все работает, обучается довольно таки неплохо, только оче медленно и большой батч сайз не поставить
Подскажите плиз расширение для редактирования тегов размеченного датасета. Теги в .txt файлах
Dataset Tag Editor
Спасибо
А то wd tagger иногда глючит и он прописывает теги, указанные в игноре..
Алсо новая лора;)
Ребят, тут есть добряки которые лору сделают из датасета?
Могу и без датасета нахуй послать.
Да, могу. Кидай.
А что там у тебя за лора и датасет? Ты покажи а мы подумаем
Датасет будет завтра скорее всего. Я тот малютка из треда анимешного.
Хочу лору чтобы крутой была и в стиле Library of Ruina рисовала персонажей. Если будет нормик то я бы и для фонов датасет сделал бы.....
Кто-нибудь фотошоповские плагины пробовал? Как они вообще работают? Удобно пользоваться или нет?
Попробовал натренировать лору с вае. Получилось даже хуже.
Ну, цвета вроде починились и поведение походе на то что выходит без лоры, задай промт чтобы она ближе была.
https://drive.google.com/file/d/1rlgVmW-ek6Bc_9Ke4_coQO-1bbHa2dw6/view?usp=sharing
Ребят, я все правильно делаю?
Ребят, я все правильно делаю?
Что у тебя там?
Нечаянно отправил. Там начало моего () датасета просто, хочу узнать не зря ли я это сейчас делаю
Так я просто хотел узнать корректный ли формат. Я делаю через мокрописечку sd tagging helper, достаточно удобно но вдруг через жопу как то.
Но вот тут классно и более менее похоже. А не так клева.
Если я протегаю больше картинок будет пиздатее?
Ты же не вручную всё пишешь?
Хуй знает, че-то сложное, в такое не умеем.
Без понятия правильно у тебя или нет, теги в .тхт кидаю
>json
Каво? Оно их вообще жрет? Датасеты обычно выглядят как пикрил
Вот по этому и написал. Я хуй знает почему он так сохраняет их. Сейчас буду думать
Круто, спасибо! Мне есть смысл тэгать картинки дальше чтобы лора стала более пиздатой/похожей или нет?
Я разобрался, там тупо сделано. Инструкцию жопой читал
>Круто, спасибо! Мне есть смысл тэгать картинки дальше чтобы лора стала более пиздатой/похожей или нет?
Не знаю.
Мимо
А можешь датасет и настройки тренировки тоже выложить? Глянуть хочется
А эту можешь залорить?
https://drive.google.com/file/d/1ODNx3vD_ySq8efZHpEiHwir8VDfhPsV3/view?usp=sharing
DreamBooth, lr=5e-7
Что посоветуешь, анон, с каким количеством шагов лучше получилось?..
Что посоветуешь, анон, с каким количеством шагов лучше получилось?..
Когда сделают нормальный тренинг лор для webui без дроча миллиона параметров и прочего говна?
Господа, а вы не охренели, не зажрались? Это опенсорос, здесь никто ничего никому не должен, только своей совести (при наличии). Человек сделал охрененную вещь (объективно, ибо все пользуются; diffusers, при всём уважении, по многим параметрам недотягивают) - так что теперь, ему отдохнуть нельзя? Погамать? В отпуск съездить? Поспать, поесть, в сортир сходить, сексом потрахаться?
> тренинг лор для webui
Не сделают, ты посмотри сколько рам и врам ватоматик сжирает в простое и сколько требует лора. Если этот мусор оставить то входным порогом будет видюха от 12 гигов, а выгружать все - такого функционала аддонами не добиться.
Ну что-то такое себе, сила стиля слишком высока, глаза проебанны совершенно.
Почему не лора?
Есть ли возможность в автоматике генерить картинки из текстовиков? У меня условно есть папка, там 30 текстовых файлов и я хочу получить 30 картинок. Как это сделать?
Как сделать разные теги для картинок в Linaqruf коллабе?
Свой тег для каждой загруженной картинки*
Нужно ли кропать датасет до 512х512 перед тренингом лоры или нейросетке пох на это?
Потому что у меня есть моделька на DreamBooth, которая меня прям сильно-сильно цепляет. Ну вот нравится мне эта конкретная рисовка. Но там сильно деградировала базовая модель, мутноваты глаза, перехреначены руки. Сейчас я пытаюсь восстановить рецепт этой модельки. Логи-то есть, так что фактически вопрос в воспроизведении эксперимента.
Есть у меня предположение, что моя любимая моделька потрёпана потому, что я (по незнанию) тренировал её в два подхода. Сначала 3200 шагов, потом 4000. Со вторым подходом генерации регов, ага. Деградация базового концепта, все дела.
Собственно, на том гриде - попытка сделать всё за один проход. Сравнительный грид старое/новое ещё не делал, поскольку не могу уделять нейронкам всё свое время (удалёнщик).
Датасет около 30 картинок.
Не лора - потому что я не знаю формулы, по которой относительно работающий рецепт модели можно перевести в работающий рецепт лоры. Хочу воспроизвести обучение модели (подозреваю, что если в 1 проход, то там может быть не 7200 шагов), потом поиграться с содержимым датасета (не все картинки этого художника мне нравятся одинаково). И только потом пробовать другие технологии обучения.
За советы буду благодарен. Особенно за быстрый способ сделать в автоматике сравнительный грид по чекпоинтам.
Пикрил - пример генерации, которая прям цепляет. Одна из десятков, да. А что поделать?..
На huggingface.co часто вижу модели, в которых VAE в виде пикрила. куда это говно пихать? кидал как есть в папку ваэ - не видит. переименовывал расширение в .pt - видит, но при попытке подгрузки в UI - консоль сыпет ошибками. чяднт?
Этоо диффузорные веса, каломатик их не поддерживает. Тебе нужно перегнать их в .ckpt. Как это сделать чисто для vae в отрыве от остального - не знаю.
controlnet не работает без ошибок
Не влияет на генерацию и генерирует черные квадраты вместо аннотатора на любой модели.
Шиндоус 11, ноувидео 4090, свежий каломатик и свежий контролнет поставил с нуля для экспериментов - не работает.
Есть идеи?
Не влияет на генерацию и генерирует черные квадраты вместо аннотатора на любой модели.
Шиндоус 11, ноувидео 4090, свежий каломатик и свежий контролнет поставил с нуля для экспериментов - не работает.
Есть идеи?
Есть, откатись на старую версию контролнета.
1e-3
128 dim 128 alpha
С этими настройками шанс получить просто не говно намного выше. А по уму - уже думать надо исходя из экспериментов с дата-сетом.
Я стили только на старой версии делал.
Похуй. Сама кропнет и квадраты, и прямоугольники.
Не советую прямоугольную картинку разбивать на квадраты вручную, есть шанс того, что на некоторых моделей в будущем вместо персонажа с глазами и прической будут тупо ноги.
А как если не вручную? Плюс почему в датасетах форчанеров есть прямоугольные пикчи уже хорошо протеганные?
То есть, я хочу сказать, что бы у тебя дата-сет не состоял лишь из вот таких пикч как 1 и 2. Лучше оставить как 3.
Потому что она разбивает прямоугольники на маленькие прямоугольники, например пик 4.
Технач объясните мне преимущество locon перед обычной lora https://github.com/KohakuBlueleaf/a1111-sd-webui-locon
> 1e-3
> 128 dim 128 alpha
Хуясе ебать, это же жесткий перетрен с распидориванием будет, особенно если у него не 16+ гигов врам
> что бы у тебя дата-сет не состоял лишь из вот таких пикч как 1 и 2
Хуясе ебать, тема здравая, но бля, это кому такое в голову должно придти? В датасете должно быть то с чего ты хочешь что-то скопировать а не рандомные куски, это вроде очевидно.
Двачую вопрос, кто-нибудь уже пробовал?
А как обучить модель чьему-то стилю рисовки?
Меня одного из колаба выкидывает за неактивность теперь?
> 16+ гигов врам
Нет никакой разницы, между соотношении скорости, дима и альфы к соотношению vram. С чего ты это вообще взял? Некоторые люди делают dim больше 256 и им нормально. По сути это лишь параметры сохранения выходного файла, кроме скорости.
> кому такое в голову должно придти?
Тем, кто пользовался обучением эмбеддинга и гиперсети в автоматике. Там нужно было использовать квадраты 512x512 и подругому никак. Поэтому использовали автоматическую обрезку, которая резала хрен пойми как, в основном - ноги отдельно, руки отдельно.
Я уже забыл, но вроде в дримбухе до сих пор так, что нужны строго 512x512 пикчи, иначе ошибки валит.
Кидаешь дата сет из пикч с этой рисовкой в дримбух. Обучай на стандартных параметрах. Показывай здесь результат, дадим советы куда настройки крутить.
> С чего ты это вообще взял?
С того что есть еще батч сайз, который на врам как раз завязан.
> dim больше 256 и им нормально
Ваще похуй не влияет, суть в том что при альфе = дим 1e-3 - дохуя высокий лр, особенно при батчсайзе 1-2 и 100% приведет к поломке модели. Она может поломаться удачно и выдавать что-то новое что будет воспринято за стиль, но хотябы упоминай об этом когда советы раздаешь.
> Тем, кто пользовался обучением эмбеддинга и гиперсети в автоматике. Там нужно было использовать квадраты 512x512 и подругому никак.
Так оно требует просто квадраты в качестве пикч а не нарезку пикчи на куски.
> Поэтому использовали автоматическую обрезку, которая резала хрен пойми как
Она может не идеально смещать кроп и делать фокус не на лице, но отдельно на куски не нарезает. Одна пикча на входе - одна кропнутая на выходе. Впринципе совсем ужасной ее не назвать, совсем проебывала не более 10% пикч, их руками можно было поправить или перезапустить с другими настройками.
>Кидаешь дата сет из пикч с этой рисовкой в дримбух. Обучай на стандартных параметрах. Показывай здесь результат, дадим советы куда настройки крутить.
Я вот как раз пытаюсь найти нормальный не запутанный гайд
Если осилишь двощегайд то все сможешь, разве что придется подобрать параметры и оптимизировать датасет. Да, это действительно пиздец для неофита, но зато когда понял - все становится просто и понятно. Задавай вопросы по ходу здесь.
Я открыл двощегайд и там тупо три видео, я что-то не то открыл, да?
>дримбух
>гайд по лоре
Я явно чего-то не выкупаю
Ну так банч 1 по умолчанию, а я не говорил крутить его на 10.
До 0.4.0 версии 99% людей сидел на таких настройках - lr=1e-3, 128 dim, 128 alpha, batch_size=1. И даже не думая что-либо крутить и было всем все нормально. Сейчас это подходит больше для стилей, ибо требования по качеству у все выросли и персонажи на таких настройках уже совсем не очень.
Раньше и кроп был максимально простой, сейчас получше. Да и зеркалили пикчи почти всегда. Вот мой дата сет тех времен, например, конца октября.
Да, гайд написан крайне ахуительно, фейл даже в заголовке. Смотри оглавление, находи там дримбус и бугурти с пахомовской структуры где все перемешано. Один хуй лучше на великом-могучем врядли найдешь.
Сколько обычно места на харде нужно?
Проблема была в браузере.
Напредолил защиту от фингерпринтинга, включая канвас. Вот он-то и срал в штаны контролнету.
Обучение dreambooth от обучение lora отличается одной галочкой (или параметром командной строки). Все остальные параметры у них одинаковые. Разве что у dreambooth нет network_dim и alpha. Но оно и к лучшему.
На каждую эпоху столько же места, сколько занимала та модель, на которой ты обучаешь dreambooth. 10 эпох - 10 раз по 4 гб, например.
Советую тебе поставить под это дело нормальную вебморду
https://github.com/bmaltais/kohya_ss
А потом просто раскурить, что значит каждая настройка.
Для референса можешь использовать настройки лоры из гайда. Как я уже написал выше,
>Все остальные параметры у них одинаковые.
> а я не говорил крутить его на 10
Как раз если крутануть то будет более толерантно к высоким лр, в том и суть. Правда на сколько не понятно, кроме слов что вроде как так должно быть инфы нет, а тестировать дохуя долго.
> До 0.4.0 версии 99% людей сидел на таких настройках - lr=1e-3
Да ладно, 2e-5 .. 5e-4 сидели, многие и с альфой=1 такие числа используют, в прошлых тредах было. 1e-3 для высокой альфы действительно дохуя, в 2 раза снизить и от той точки уже щупать окрестности.
> Да и зеркалили пикчи почти всегда
Норм тема же, в случае если датасет скудный
> мой дата сет тех времен
Ахуеть вот это реально треш, а еще наверно удивлялись что неоче получается
> нормальную вебморду
Оно новый функционал вносит или игрушка для тех кто не может без gui?
>игрушка для тех кто не может без gui
Ок, допустим, а если я на коллабе буду заливать анкроп имагес? Например в линакриф, он так же будет разбивать сам на множество квадратов или просто кропнет на один?
Как фанат рисовки naiga12 (художника для руины) заявляю, хуита, выпей яду
Стиль слишком слабоват и недотянута крупность мазков, да и всё слишком плавно
Спустя час я вижу, что зря я не проставил тэги, но выглядит интересно
Остановил, завтра попробую снова
Учил на SD1.5, в итоге говно, но забавно получилось
Подскажите ради лолей как пользоваться вторым коллабом по тренировке лор из шапки или запишите тутор плз, я не понимаю куда там загружать теги в txt файлах
Туда же, куда и картинки. Текстовый файл с тэгами должен быть с тем же именем, что и файл с картинкой.
Что за херь? Запустил, выключилась через 17 сек и никакого файла не появилось
Тренировка не запустилась, прогони преднастройку инстанса тренировки с самого начала по шагам заново
Если продолжит не запускаться, то проблема в том что ты сделал что-то не так
Как это? Везде галки стоят, ошибок не заметил
Скорее всего ошибка в адресах до датасетов, у тебя они одинаковые, дл рег файлов должна быть отдельная папка, пустая если нет рег файлов. Помимо этого сам датасет должен быть в папке с названием итерации_название, т.е. 1_penis например
Алсо из прошлого треда посмотри как устроен конфиг и под себя измени.
>Скорее всего ошибка в адресах до датасетов, у тебя они одинаковые, дл рег файлов должна быть отдельная папка
Я пробовал указывать разные, все равно не работает
Алсо, что такое рег файлы? Это файлы txt с промтом внутри? Если так то я пробовал в другую папку их кидать
Не совсем понял про итерацию, в прошлом треде название так же без _ прописано
А еще датасет должен быть заархивирован или прямо так картинки закинуть в папку?
>Алсо, что такое рег файлы?
Это датасет сделанный по главным ключам которые испоьузешь в своем датасете. Допустим 100 изображений по ключу woman сделанных в NAI.
> Это файлы txt с промтом внутри?
Ниет, это такой же датасет но для точности.
>Не совсем понял про итерацию, в прошлом треде название так же без _ прописано
Вот у тя датасет из говна в папке, там есть файл 1.png, к нему идет файл 1.txt. Тебе нужно обозвать папку этого датасета по принципе "количествоитерацийиспользования_любоеимя", в примере с лорой карины юзалась одна итерация. Итерации нужны преимущественно чтобы несколько датасетов вместе совмещать, указывая плагину в каком количестве брать информацию от каждого датасета, допустим есть два датасета 2_anus и 1_penis, значит плагин будет брать в два раза больше данных из 2_anus, и количество информации в конечной лоре будет 2/3 (2 к 1) от всей лоры - то есть 66.6% лоры будет занимать трен на анус.
Должен быть просто в папке без всяких архивов.
Тритон не юзается на колабе, не обращай внимания на эту ошибку.
А это норм что у меня нет папки которая прописана для выхода лоры? И где выбрать как ее назвать?
Выход лоры сохраняется в --output_dir=
так я знаю, 5 шагом он чето делает с лорой, то ли ее переписывает толи хрен знает, причем в той папке которой у меня нет либо я ее не вижу
Алсо, такая же шляпа, хоть и подпишу цифру в название папки
Думаю, что это сломанная штука, анон. Я тоже пыхтел и пытался, ничего не получилось
чел, ты можешь просто скопировать конфиг отсюда положить по пути /content/drive/MyDrive/sd/dataset/sincos/1_имятвоегодатасета свой датасет, поменять путь к модели своей и запустить или нет?
все работает, это просто у кого-то ручки из попки
Запили тогда подробный гайд для попоручек. Один говорит - пропускай третий шаг, другой - нажимай всё о порядку, а тот недогайд в колабе - калич.
ты зачем прям в пути прописал папку с датасетом?
ток что проверил у меня все работает
так всмысле, гайд рабочий и так, максимально для тупых сделано, третий шаг пропускать или не пропускать зависит от того надо тебе наи скачивать в инстанс колаба или нет
>ты зачем прям в пути прописал папку с датасетом?
А как иначе и в чем разница? Кидай скрин как ты делаешь
Отбой, скрипт пошел по пизде скорее всего из-за обнов на гите. Ищите рабочий теперь или фиксите этот.
https://github.com/Linaqruf/kohya-trainer/blob/main/fast-kohya-trainer.ipynb вот это говно работает вроде
Блджад, прекратите дрочить скрипт.
Поставьте просто вебморду, там все работает
https://github.com/bmaltais/kohya_ss
Поставьте просто вебморду, там все работает
https://github.com/bmaltais/kohya_ss
как
>Поставьте просто вебморду, там все работает
Не у всех локально тренить можно по мощности.
У меня вот тренировку в батч 2/768 не тянет на моей 2070, а коллаб - тянет.
Запилите туторчик плиз я пробовал у меня какую то ошибку все равно выдавало
Да, я жопой посмотрел, что вы в коллабе возитесь.
Крайние сэмплы
Но как я знаю, сэмплы всегда хуже генерации
челы, блять, там же все расписано, ну вы че блять
Ок че то запустилось, у них плохо работает анзип, я вручную залил просто в папку и нашло файлы.
Так же, там сказано что если с фотками будут txt файлы то теги будут браться оттуда, но пункты с автоматической растановкой тегов обязательны???? зачем то???? в итоге зачем то эти дерьмовые теги проставленные машиной а не мной обьеденили в один мета файл и использовали их??? зачем??? как это дерьмо убрать????
Кто-нибудь пояснит?
меньше 0.2 и больше NaN - хорошо
вапроси?
И то что есть призрачный тренд на снижение - тоже?
А что с лицами делать? Или это последствия того, что я за базу взял 1.5?
>И то что есть призрачный тренд на снижение - тоже?
да, чем меньше лосс тем меньше пиздошит веса по итогу, т.н. гниение
>А что с лицами делать?
а что с ними?
>Или это последствия того, что я за базу взял 1.5?
нет
Ну вот какие лица есть, они явно текут (это из сэмплов)
ну вопервых это 512, попробуй апскейлни или хайрезфиксни и посмотри результат
ну а так тренинг скорее всего не опатимален, да еще и аниме на реалистичной сд1.5
Ибо я шо, ебан брать Anything)0))
бери NAI))000
Я начинаю чувствовать овертрейн, ибо пик 2 слишком по структуре похож на пик 3 из датасета
Просто ок, тут я учу дримбуф, но если я решу обучать Лору и на чём-то кроме 1.5, она же будет не совместима с чем-то кроме того, на чём учил, я же верно понимаю?
>она же будет не совместима с чем-то кроме того, на чём учил, я же верно понимаю?
По умолчанию лоры совместимы.
Дальше уже зависит от датасета.
Вот например https://civitai.com/models/8723/pov-doggystyle-lora-1-mb совместима со всем, что я пробовал.
Кстати, аноны. Я помню, что у моделей можно веса перелопачивать. И там есть условное разделение на фоны, позы, и прочее.
У лоры есть такое? Можно натренировать лору на фоны, а потом выпилить из нее лишние веса? Или на позу, и выпилить стиль, чтобы оно не меняло стиль, только позу?
А в случае с sd2.1 0.25 и особо не меняется, это плохо или хорошо?
Привет создаю лолу по таким вот исходникам не очень выходит. Надо использовать аниме модель или обычную.
Еще пару примеров
Подскажите пж норм настройки для этой шляпы а то персонаж сам на себя не похожим получился
Ps это норм что у меня лора тренилась 1 час 30 мин?
На SD 1.5 никто аниме не учит. На civitai ставят только потому, что нет выбора NAI.
Бери NAI, ACertainty, Anything 4.5
Обучаю онли на ACertainty. Совместимо со всем, что умеет в рисовку аниме, даже всякие дико ягодно-оражевые-капустные миксы с графикой уровня 3d рендера в блендере. То есть со всем, кроме базовых SD, ProtoGen, Deliberate.
Попробуй Deliberate
Не знал о такой модели... Спасибо!
Для банча 1 слишком низкая скорость. Попробуй хотя бы 5e-4.
можно не в тему вопрос - тут есть канал по поиску авторов картинок? гн смог найти в гугле источник и автор.
iqdb.org
Это база
Попробовал запустить Anything и прогнать датасет через deepbooru
>iqdb.org
Это не из аниме изображение
что это вообще за хрени? эти 5e-4 или 2е-6
алсо, а на кал лабах можно ставить банч 2?
Хотел делать ЛОРУ не нашел автора
Надо через Anything 4.5, 3.0 какая-то хуевая для обучения.
Не знаю как сейчас deepbooru, но месяца два назад перешел на WD. Разница по качеству определения на 5 голов выше.
Скорость записанная в виде формулы. 1e-4 это 0.0001, а 2е-6 это 0.000002. То есть вторая цифра это количество нулей, а первая - число после них.
Короче, в гугле вбивай и по первой же ссылке калькулятор.
В колабах никогда не сидел, но слышал, что 2 уж точно можно.
>WD
?
https://github.com/toriato/stable-diffusion-webui-wd14-tagger
Вроде как SwinV2 самая качественная модель от туда
Ладно, пока (или вообще) забью, ибо тратит много времени, а результат ужасный получается
Но как я уже писал, результат, что был выше в виде "Library of Ruina style" - говно
Но как я уже писал, результат, что был выше в виде "Library of Ruina style" - говно
Можешь дата сет скинуть, попробую у себя прогнать. Если выйдет, скину сюда же с настройками.
https://dropmefiles.com/8ycCc
Папка output - это я кропал
Папка output-deepbooru - это после прогона в webui автоматика в ddepbooru
Нумерация не сквозная, ибо я удалил около 25%, что совсем не подходили на мой взгляд или были не очень качества
Тут именно арты автора без примесей артов из библиотеки, ибо там было много художников, файлы тупо стащил с артстейшна
Barry Blair во вроде нашел автора
Стоит ли по нему делать ЛОРУ?
Стоит ли по нему делать ЛОРУ?
нет
Ну, от датасета зависит, от настроек, от батча.
У меня на 500+ картинок лора на гипер-футанари тренилась как раз столько на коллабе. Батч 2, 768px.
Получилось очень хорошо.
https://github.com/wcde/custom-hires-fix
Только у меня этот хайрез-фикс к хренам ломает имг2имг?
Невозможно нормально выбрать разрешение картинки слайдерами, после запуска генерации в консоли всякая хрень появляется, и всё такое.
Только у меня этот хайрез-фикс к хренам ломает имг2имг?
Невозможно нормально выбрать разрешение картинки слайдерами, после запуска генерации в консоли всякая хрень появляется, и всё такое.
> Только у меня
Да. Каломатик с прошлого года не обновлял?
Да вчера вроде только.
Это нормально тренить 5000 степов на колабе? Где снизить их колличество?
Есть ли какой-то способ быстрой обработки скриншотов для даты? А то скрины не лучшего качества, и на выходе ИИшка рисует персов +- так же в не очень качестве. Или мб что-нибудь в настройках тренировки поменять, чтобы при обучении всратость скринов не учитывлась?
Всяких гуманоидов, роботов, рыцарей, инопланетян - нахуй.
Не, возможно сделать лору и на таких сущностей, но это сложнее раз в 50. Анон тут ебался с тем, чтобы просто суставы кукл были. Я сам пытался робо-кошку и куклу сделать, но с 10 попыток на каждую так ничего нормального и не вышло.
max_train_steps, не?
Нормально
Ну я бы ставил альфу 1. При генерации в негатив anime screencap и anime key visual color, семплер не Эулер a, а какой-нибудь DPM++ 2M.
Сам сталкивался. Было скринов всего лишь процентов 5-10, но выходила рисовка пик1, когда сократил совсем минимально, то вышел пик2 и пик3.
Анонче, расскажи про датасет.
Что за npz?
В txt нужно теги конкретной картинки прописывать?
Какой утилитой можно найти/убрать из датасета дубликаты одних и тех же картинок?
Анон, поясни в кратце за LoCon, пробовал вчера с ним тренить через КохуйСС-гуй - СД ругается на лору, но что-то генерит, вроде не отличается от того, что было без LoCon. Настройки были дефолтные 1/1, AdditionalNetwork стоит.
И ещё вопрос в догонку, для тренировки стиля художника какие начальные настройки взять? Я понимаю что всё строго индивидуально и обсасывалось не однократно, но всё же. И я правильно понял, что тег для стиля нужно выбрать из того самого списка тегов с гитхаба?
И ещё вопрос в догонку, для тренировки стиля художника какие начальные настройки взять? Я понимаю что всё строго индивидуально и обсасывалось не однократно, но всё же. И я правильно понял, что тег для стиля нужно выбрать из того самого списка тегов с гитхаба?
А нетворк ранк какой ставить? И что по скорости, она вообще никак не влияет на хуевость обучения на скринах? И все таки повторю первый вопрос: мб есть что-нибудь через можно прогнать скрины, чтобы получились заебись арты на выходе?
Здрасьте
Мимо лора криповой куклы Мику на фото из твиттера
Я не хочу учить на людей, я хочу учить только на стиль
Попробуй dim 32, unet_lr 1e-5, text_encoder_lr 5e-5. Да, оно влияет.
Я пытался через img2img прогнать 3d модели, но выходило такое себе. Либо слабо, либо слишком много лишних деталей.
Вышло-то вышло, но ебались долго. Это я хотел сказать.
Все равно ты даешь нейронке месиво вот такого уровня и ожидаешь получить не месиво.
У тебя еще там токена нет. Может по этому это все.
Это нормально?
Слишком много эпох поставил. Штуки 4 на такое количество шагов хватит.
Где это? Я не пони...
max train type value на 4
save n epoch type value на 1
Спасибо!
Такой еще вопрос, купил я 4090 и стала иногда выскакивать эта ошибка. modules.devices.NansException: A tensor with all NaNs was produced in VAE. This could be because there's not enough precision to represent the picture. Try adding --no-half-vae commandline argument to fix this. Use --disable-nan-check commandline argument to disable this check.
Сталкивался кто, и как фиксить?
Сталкивался кто, и как фиксить?
>Сталкивался кто, и как фиксить?
Сделай как написано
>Try adding --no-half-vae commandline argument to fix this
Попробую еще раз
Не, с таким тегингом вероятность успеха невелика. Можно дим=альфа поставить чтобы оно совсем сломалось, будет генерировать дохуя концептуально с мазней и свечением
Как лору в колабную модель загрузить/подключить?
Ну, это проставил deepbooru, я же писал
А куда её вставлять? Другой анон.
Несколько вопросов по поводу ЛОР в колабе
1) Например я сделал лору из датасета в 20 картинок, а есть еще 60. Мне нужно вновь обработать датасет из 80 картинок или есть возможность как то добавить старые к новым без повторной прогонки? В интерфейсе коллабы которая kohya-trainer
2) Я верно понимаю что если у художника разные стили, и сделать из них лору, то рандомно будет получатся не всегда то что хочешь? Вроде очевидно, но мало ли. Например на пикрилах картинки одного художника, но они вроде отличаются а вроде и нет. Испортит ли несколько таких пикч весь датасет? Простите за тупой вопрос.
1) Например я сделал лору из датасета в 20 картинок, а есть еще 60. Мне нужно вновь обработать датасет из 80 картинок или есть возможность как то добавить старые к новым без повторной прогонки? В интерфейсе коллабы которая kohya-trainer
2) Я верно понимаю что если у художника разные стили, и сделать из них лору, то рандомно будет получатся не всегда то что хочешь? Вроде очевидно, но мало ли. Например на пикрилах картинки одного художника, но они вроде отличаются а вроде и нет. Испортит ли несколько таких пикч весь датасет? Простите за тупой вопрос.
Тред не читай и сращу спрашивай - я переставил с нуля Автоматик1111 и sd_dreambooth_extension для него, но эта хуйня все равно сыпет для меня ошибками при обычном локальном dreambooth-тренинге.
Я знаю, что отдельно от автоматика существует kohya веб-морда. Вопрос такой, в кохйе результаты будут такими же как и в основном дримбус плагине для автоматика? Или это вообще другая тема сугубо для тренинга Лоры? Короче, какие тулзы для локального тренинга дримбуса сейчас наиболее актуальны
Я знаю, что отдельно от автоматика существует kohya веб-морда. Вопрос такой, в кохйе результаты будут такими же как и в основном дримбус плагине для автоматика? Или это вообще другая тема сугубо для тренинга Лоры? Короче, какие тулзы для локального тренинга дримбуса сейчас наиболее актуальны
Что я делаю не так?
Учу лицо, с ростом шагов сходство медленно появляется, но также появляется всё больше каши из артефактов. Стоит попробовать другую модель или проблема в датасете? Увеличить rank лоры (сейчас 16)?
Учу лицо, с ростом шагов сходство медленно появляется, но также появляется всё больше каши из артефактов. Стоит попробовать другую модель или проблема в датасете? Увеличить rank лоры (сейчас 16)?
В чем профить 16 ранка кроме размера?
Гайс, чё за хуйня у меня произошла? Как исправить?
Только размер. Еще возможно меньше времени расходуется на степ при обучении, но это не точно.
Разобрался
Я сделал вышло такое
От этого есть отличие сильное...
Блин. Попробой еще в промте теги поставить вроде highly detailed portrait, photo 90s, illustration, 1990s magazine
Сложно с моделью из-за дата сета определиться, под что больше подходит. Слишком уж реалистично. На аниме моделях пальцы разъебанные будут, а реалистичнее не особо умеют в легкое накидывании стиля рисовки.
Ну, теперь пробуй аниме. Только и протегай как аниме, то есть "1girl, solo, blond hair..."
Что если я скажу тебе, что аниме модели нормально впитывают реальные фотографии?
Пару раз видел заебись, но в целом сложно их этим запитать. Пробовал с 3-мя дата сетами, вышло один раз, но совсем анимешно.
Все нормально. Тренировал на наи, делал на оранджмиксе
Эту поменяй еще на вот так чтобы по эпохам сохраняло.
Хорошо.
Вроде, обучил лору, попробовал на: https://colab.research.google.com/drive/1Qhpzb2s6vzn2QS55OzFUZr5gl536FKBA#scrollTo=sBbcB4vwj_jm
всё работает. Открыл модель в колабе с подключённым диском, прописал путь до лоры и ничего не работает, просто дефолт генерации модели.
Чяднт?
Такой вопрос, аноны. Прочитал намедни, что можно сделать лору и таким способом - наваять модель и извлечь из нее лору, мол результаты качественнее получаются, по крайней мере для реальных персонажей. Ну допустим сваять модель я могу в колабе, а где извлекать то? Какими средствами автоматика это делается?
> sd_dreambooth_extension
Чекни гит его ебнутого автора. Он вообще собирается делать стандалон версию, потому что его расширение на регулярной основе гробит автоматика, но ему похуй, он для этого бренного мира слишком хорош. У меня эта гнида вчера наебнула кастомный торч и хформерс, потому что обновилась с собственными requirements.txt и молча перезаписала установленные в venv, причем автору писали о такой проблеме ещё три недели назад, но он на своей волне и идите нахуй и в пизду.
Либо отдельную сборку чисто под будку заведи, причем какие-то прошлые версии, либо накатывай в колаб.
Алсо, благодаря этой ситуации выяснил, что в гайде по повышению производительности лежат кривые готовые торч, торчвижен и хформерс от местного шиза, раньше были от другого автора и работали, эти же между собой не дружат, авто идет в отвал. К счастью, гайд по ручной сборке и конпеляции рабочий, хоть и муторный, за него спасибо. Было душно, но всё поднялось. 3060, win10.
Куда сохраняются промежуточные лоры? И как это настроить? И как настроить количество эпох если там на выбор либо степсы либо эпохи
>Куда сохраняются промежуточные лоры? И как это настроить?
Пик1 - говорим сохранять каждую вторую эпоху, меняем 2 на 1 - будет сохранять каждую эпоху.
в папку /content/drive/MyDrive/training_dir/output
при вклченном пике 2
>как настроить количество эпох если там на выбор либо степсы либо эпохи
пик 3 количество эпох
Нашел там о генерации Лоры из разницы двух моделей. Похоже это не совсем то о чем упоминали в тех комментариях. Почитай сам, анон, может я что-то не так понял?
https://civitai.com/models/10792/marty-mcfly-back-to-the-future-1985?commentId=30703&modal=commentThread
тебе нужно выжать лору из модели, так? принцип вычитания из модели лоры такой
1. тренишь на условной NAI
2. получаешь свою модель
3. из своей модели вычитаешь оригинальную NAI
4. получаешь лору
супермерджер как раз позволяет все че угодно делать с лорами и моделями
спасибо няш, а как дотренировать лору если персонаж не похожий получился?
Спасибо, буду экспериментировать
Чет все равно нихрена не сохраняется хоть я и поставил галку
ясно я походу куку, я не прожал кнопку включения скрипта после того как поставил галку
А нет, все равно не сохраняет каждый эпок
Так как дотренировать лору?
Так как дотренировать лору?
Нейрохудожники, уже известно почему глаза получаются такими плохими? Как фиксить?
На сколько нормальная идея для конкретного стиля взять и в датасет добавить чисто глаза персонажей в большом разрешении?
На сколько нормальная идея для конкретного стиля взять и в датасет добавить чисто глаза персонажей в большом разрешении?
Вопрос все еще актуален, в чем прикол locon
Бамп вопросу
Это норм?
Алсо, почему промежуточные лоры не сохраняются??????!!!!!!??????? Если я все проставил как надо
Алсо, почему промежуточные лоры не сохраняются??????!!!!!!??????? Если я все проставил как надо
Как ты смотришь так настройки в одной таблице?
Мне кажется у меня не так потому что у меня лернинг рейт меньше стоит
> Алсо, благодаря этой ситуации выяснил, что в гайде по повышению производительности лежат кривые готовые торч, торчвижен и хформерс от местного шиза, раньше были от другого автора и работали, эти же между собой не дружат, авто идет в отвал. К счастью, гайд по ручной сборке и конпеляции рабочий, хоть и муторный, за него спасибо. Было душно, но всё поднялось. 3060, win10.
Надо будет мне тогда старую версию тоже в гайд добавить на всякий. У меня просто на более новой версии (которая в гайде) прирост на несколько процентов выше был и никаких жалоб я раньше не видел, поэтому я с чистой совестью старую версию убрал из гайда.
Возможно, какие-то расширения с этими версиями конфликтуют в твоём случае, или что-то ещё влияет - я с этими версиями до сих пор сижу, пару дней назад автоматик со всеми расширениями обновил, и всё до сих пор работает.
Алсо, можешь плиз написать, как производительность поменялась после того, как новые либы напердолил?
>Как ты смотришь так настройки в одной таблице?
В окне выполнения скрипта прямо пишется
Не понимаю как скачивать картинки граббером и чтобы он сохранял тэги. Все сделал по гайду
Пару раз уже было, что "text file content" криво переписывали с этого скрина. Может быть, что та же самая проблема и в твоём случае - там просто со всеми этими спецсимволами очень легко опечатку сделать. Должно быть так: %all:unsafe,separator=^,^ %
оо, помню пол дня ебался с этими скобками ебаными. а оказалость, что пробел лишний не поставил.
Я поэтому попросил автора гайда эту строку сразу в гайд вставить, поскольку такая же проблема с этим пробелом у нескольких анонов была.
На силе 0.9 вроде уже больше похоже на правду
Ну возможно да, будка где-то ещё насрала при тихом обновлении, я по гайду удалял только три компонента. Ему б ебало говном измазать за такую подставу, конечно. Будку, впрочем, снес и не жалею, всё равно говно без задач, не запускал с декабря.
Производительность не сравнивал, у меня вообще довольно хаотичный подход к генерациям, я не дрочу 512×512 с секундомером и просмотром логов. Раз в пару дней запускаю, кидаю в пнг инфо из прошлых генераций, меланхолично подкручиваю какие-то детальки, генерю с новыми эмбедингами и лорами, это в любом случае небыстро, только я и не тороплюсь никуда. Порой даже забываю что что-то там генерируется, пока занимаюсь другими делами. Хуже не стало, по крайней мере.
Почему чекпойнт сохраняется только непонятно на какой эпок? я указал каждый третий а по итогу хрен знает
РебяТушки из технотреда, он у вас уже седьмой наверняка вы очень умные.
Подскажите как ЛОРУ сделать не на 144 мегабайта а на 10 скажем? Ну короче в РАЗЫ меньше? Я её делал на коллабе kohya. Может там надо что-то нажать/указать?
>Подскажите как ЛОРУ сделать не на 144 мегабайта а на 10 скажем?
Уменьшить network dim
Ага, спасибо, нашёл такое. А можно ещё вопрос оно же наверняка не только на вес влияет? Иначе зачем все по 144 делают? Нужно какой-то конкретный параметр вместо 128 выставлять кратный чему-либо?
>Иначе зачем все по 144 делают?
Детский максимализм "больше - лучше".
Нет доказанной связи между размером и качеством лоры.
Лучшая из лор, что я качал, на позу ебли сзади, весит 1 мегабайт.
>Нужно какой-то конкретный параметр вместо 128 выставлять кратный чему-либо?
Ну как обычно, 1 2 4 8 16...
Спасибо, попробую!
Бамп вопросу
Анончики, генерировать хочеца...
реально хочу тебе помочь, но колабом не пользуюсь и хз что там надо нажимать.
Вопрос такой — что будет если дата-сет на 1400 картинок использовать для создания ЛОРЫ? Все нормально будет?
Ну тут вопрос в том, насколько качественно он протеган. Больше пикч - больше проебов - хуже качество.
Да, сам так делал.
>highly detailed portrait, photo 90s, illustration, 1990s magazine
Спасибо попробую.
Тогда вопрос к хуевости тегов. Вот я например граббером скачал с буры теги артиста
2girls, biting, black shirt, black shorts, blouse, breasts, camisole, cleavage, dolphin shorts, ear biting, ear licking, closed eyes, from above, frown, gogalking, grey shorts, highres, holding, holding pillow, licking, long hair, lying, medium breasts, medium hair, multiple girls, on side, open mouth, original, pillow, pointy ears, shirt, shorts, siblings, sisters, sleeping, sweatdrop, vampire's sister (gogalking), vampire (gogalking), white camisole, white hair, yuri
Проебы зафиксируете? Или проблема в том что не хватает тегов например который указал что это кровать и т.п.?
С пальцами и руками/норами плохо...
Реалистик-модели тоже могут впитать лоры, тренированные и тэганные под аниме модели. Лица только на лоуресе будет пидарасить, но с апскейлом норм.
Если я учу на стиль художника, то может лучше брать с 5 по 7 версии?
>Алсо, благодаря этой ситуации выяснил, что в гайде по повышению производительности лежат кривые готовые торч, торчвижен и хформерс от местного шиза, раньше были от другого автора и работали, эти же между собой не дружат, авто идет в отвал. К счастью, гайд по ручной сборке и конпеляции рабочий, хоть и муторный, за него спасибо. Было душно, но всё поднялось. 3060, win10.
Ха, значит это не у меня одного весь автоматик к херам обвалился после того, как я этот гайд попробовал.
Надо было мне раньше об этом написать, но я что-то тогда заленился.
Через кохая-сс вебуи можно разницу извлекать.
Когда я сам пробовал - там с весами какая-то дичь была, лора концепт воспроизводила, но где-то в два раза слабее, чем базовая модель, приходилось силу применения задирать.
В супермерджере такого вроде нет, там только обратное - лору в модель запечь.
Генерить в высоком разрешении.
Писать квалити-тэги.
Использовать хорошие модели.
Глаза скорее всего не помогут, лорка в результате будет тебе выдавать иногда картинки чисто с глазами.
Но можешь попробовать, конечно.
Вторую ссылку попробуй.
Там лишнего нет (ну, может только третий шаг).
Если все 1400 отборные качественные понятные сети и хорошо протеганы - будет заебись. Каракули, шмурдяк, комиксы, эскизы - будет отборная хуйта.
> теги артиста
> 2girls
А на что у тебя лора? Если стиль или взаимодействие то норм, если на персонажа то стоит такого избегать. Теги норм.
> в том что не хватает тегов например который указал что это кровать
было бы неплохо но если фоны разнообразные то не обязательно здесь.
Если после лоры где автор странно рисует глаза - добавь в датасет клозапы чтобы оно в малом разрешении могло различить их, офк немного и аккуратно протегать что там клозап, ай фокус, фейс фокус и т.д. Если просто при генерации - увы
Как раз тестирую лору на 30 картинках против лоры на 1300 картинках правда 70% итераций приходится только на 200 из них. Пока в глаза бросается только то, что фоны в целом больше похоже на оригинальные стали, которые без лорки. Но я пока не так много тестов успел сделать, чтобы к каким-то выводам прийти.
Microsoft Windows [Version 10.0.19045.2604]
(c) Корпорация Майкрософт (Microsoft Corporation). Все права защищены.
D:\SD\stable-diffusion-webui>.\venv\Scripts\activate
(venv) D:\SD\stable-diffusion-webui>pip install mmdet
Collecting mmdet
Using cached mmdet-2.28.2-py3-none-any.whl (1.5 MB)
Requirement already satisfied: scipy in d:\sd\stable-diffusion-webui\venv\lib\site-packages (from mmdet) (1.10.0)
Collecting terminaltables
Using cached terminaltables-3.1.10-py2.py3-none-any.whl (15 kB)
Requirement already satisfied: matplotlib in d:\sd\stable-diffusion-webui\venv\lib\site-packages (from mmdet) (3.6.3)
Requirement already satisfied: six in d:\sd\stable-diffusion-webui\venv\lib\site-packages (from mmdet) (1.16.0)
Collecting pycocotools
Using cached pycocotools-2.0.6.tar.gz (24 kB)
Installing build dependencies ... done
Getting requirements to build wheel ... done
Preparing metadata (pyproject.toml) ... done
Requirement already satisfied: numpy in d:\sd\stable-diffusion-webui\venv\lib\site-packages (from mmdet) (1.23.3)
Requirement already satisfied: fonttools>=4.22.0 in d:\sd\stable-diffusion-webui\venv\lib\site-packages (from matplotlib->mmdet) (4.38.0)
Requirement already satisfied: pillow>=6.2.0 in d:\sd\stable-diffusion-webui\venv\lib\site-packages (from matplotlib->mmdet) (9.4.0)
Requirement already satisfied: contourpy>=1.0.1 in d:\sd\stable-diffusion-webui\venv\lib\site-packages (from matplotlib->mmdet) (1.0.7)
Requirement already satisfied: pyparsing>=2.2.1 in d:\sd\stable-diffusion-webui\venv\lib\site-packages (from matplotlib->mmdet) (3.0.9)
Requirement already satisfied: packaging>=20.0 in d:\sd\stable-diffusion-webui\venv\lib\site-packages (from matplotlib->mmdet) (23.0)
Requirement already satisfied: cycler>=0.10 in d:\sd\stable-diffusion-webui\venv\lib\site-packages (from matplotlib->mmdet) (0.11.0)
Requirement already satisfied: kiwisolver>=1.0.1 in d:\sd\stable-diffusion-webui\venv\lib\site-packages (from matplotlib->mmdet) (1.4.4)
Requirement already satisfied: python-dateutil>=2.7 in d:\sd\stable-diffusion-webui\venv\lib\site-packages (from matplotlib->mmdet) (2.8.2)
Building wheels for collected packages: pycocotools
Building wheel for pycocotools (pyproject.toml) ... error
error: subprocess-exited-with-error
× Building wheel for pycocotools (pyproject.toml) did not run successfully.
│ exit code: 1
╰─> [16 lines of output]
running bdist_wheel
running build
running build_py
creating build
creating build\lib.win-amd64-cpython-310
creating build\lib.win-amd64-cpython-310\pycocotools
copying pycocotools\coco.py -> build\lib.win-amd64-cpython-310\pycocotools
copying pycocotools\cocoeval.py -> build\lib.win-amd64-cpython-310\pycocotools
copying pycocotools\mask.py -> build\lib.win-amd64-cpython-310\pycocotools
copying pycocotools\__init__.py -> build\lib.win-amd64-cpython-310\pycocotools
running build_ext
cythoning pycocotools/_mask.pyx to pycocotools\_mask.c
C:\Users\tavol\AppData\Local\Temp\pip-build-env-e9uzfzi7\overlay\Lib\site-packages\Cython\Compiler\Main.py:369: FutureWarning: Cython directive 'language_level' not set, using 2 for now (Py2). This will change in a later release! File: C:\Users\tavol\AppData\Local\Temp\pip-install-x935m1qd\pycocotools_dcd62e38f0f04caeb600e928305bf433\pycocotools\_mask.pyx
tree = Parsing.p_module(s, pxd, full_module_name)
building 'pycocotools._mask' extension
error: Microsoft Visual C++ 14.0 or greater is required. Get it with "Microsoft C++ Build Tools": https://visualstudio.microsoft.com/visual-cpp-build-tools/
[end of output]
note: This error originates from a subprocess, and is likely not a problem with pip.
ERROR: Failed building wheel for pycocotools
Failed to build pycocotools
ERROR: Could not build wheels for pycocotools, which is required to install pyproject.toml-based projects
(c) Корпорация Майкрософт (Microsoft Corporation). Все права защищены.
D:\SD\stable-diffusion-webui>.\venv\Scripts\activate
(venv) D:\SD\stable-diffusion-webui>pip install mmdet
Collecting mmdet
Using cached mmdet-2.28.2-py3-none-any.whl (1.5 MB)
Requirement already satisfied: scipy in d:\sd\stable-diffusion-webui\venv\lib\site-packages (from mmdet) (1.10.0)
Collecting terminaltables
Using cached terminaltables-3.1.10-py2.py3-none-any.whl (15 kB)
Requirement already satisfied: matplotlib in d:\sd\stable-diffusion-webui\venv\lib\site-packages (from mmdet) (3.6.3)
Requirement already satisfied: six in d:\sd\stable-diffusion-webui\venv\lib\site-packages (from mmdet) (1.16.0)
Collecting pycocotools
Using cached pycocotools-2.0.6.tar.gz (24 kB)
Installing build dependencies ... done
Getting requirements to build wheel ... done
Preparing metadata (pyproject.toml) ... done
Requirement already satisfied: numpy in d:\sd\stable-diffusion-webui\venv\lib\site-packages (from mmdet) (1.23.3)
Requirement already satisfied: fonttools>=4.22.0 in d:\sd\stable-diffusion-webui\venv\lib\site-packages (from matplotlib->mmdet) (4.38.0)
Requirement already satisfied: pillow>=6.2.0 in d:\sd\stable-diffusion-webui\venv\lib\site-packages (from matplotlib->mmdet) (9.4.0)
Requirement already satisfied: contourpy>=1.0.1 in d:\sd\stable-diffusion-webui\venv\lib\site-packages (from matplotlib->mmdet) (1.0.7)
Requirement already satisfied: pyparsing>=2.2.1 in d:\sd\stable-diffusion-webui\venv\lib\site-packages (from matplotlib->mmdet) (3.0.9)
Requirement already satisfied: packaging>=20.0 in d:\sd\stable-diffusion-webui\venv\lib\site-packages (from matplotlib->mmdet) (23.0)
Requirement already satisfied: cycler>=0.10 in d:\sd\stable-diffusion-webui\venv\lib\site-packages (from matplotlib->mmdet) (0.11.0)
Requirement already satisfied: kiwisolver>=1.0.1 in d:\sd\stable-diffusion-webui\venv\lib\site-packages (from matplotlib->mmdet) (1.4.4)
Requirement already satisfied: python-dateutil>=2.7 in d:\sd\stable-diffusion-webui\venv\lib\site-packages (from matplotlib->mmdet) (2.8.2)
Building wheels for collected packages: pycocotools
Building wheel for pycocotools (pyproject.toml) ... error
error: subprocess-exited-with-error
× Building wheel for pycocotools (pyproject.toml) did not run successfully.
│ exit code: 1
╰─> [16 lines of output]
running bdist_wheel
running build
running build_py
creating build
creating build\lib.win-amd64-cpython-310
creating build\lib.win-amd64-cpython-310\pycocotools
copying pycocotools\coco.py -> build\lib.win-amd64-cpython-310\pycocotools
copying pycocotools\cocoeval.py -> build\lib.win-amd64-cpython-310\pycocotools
copying pycocotools\mask.py -> build\lib.win-amd64-cpython-310\pycocotools
copying pycocotools\__init__.py -> build\lib.win-amd64-cpython-310\pycocotools
running build_ext
cythoning pycocotools/_mask.pyx to pycocotools\_mask.c
C:\Users\tavol\AppData\Local\Temp\pip-build-env-e9uzfzi7\overlay\Lib\site-packages\Cython\Compiler\Main.py:369: FutureWarning: Cython directive 'language_level' not set, using 2 for now (Py2). This will change in a later release! File: C:\Users\tavol\AppData\Local\Temp\pip-install-x935m1qd\pycocotools_dcd62e38f0f04caeb600e928305bf433\pycocotools\_mask.pyx
tree = Parsing.p_module(s, pxd, full_module_name)
building 'pycocotools._mask' extension
error: Microsoft Visual C++ 14.0 or greater is required. Get it with "Microsoft C++ Build Tools": https://visualstudio.microsoft.com/visual-cpp-build-tools/
[end of output]
note: This error originates from a subprocess, and is likely not a problem with pip.
ERROR: Failed building wheel for pycocotools
Failed to build pycocotools
ERROR: Could not build wheels for pycocotools, which is required to install pyproject.toml-based projects
Там все написано в конце, даже ссылка есть
Вот не пойму откуда эта ошибка взялась? Визуал С стоит
говорили же он сломался из за обновы. какой та
или его уже починили?
чел не в курсе что вторая лора с шапки всё
У меня всё работает, алсо в новых версиях должны наконец генерацию нормального лора файла запилить (вроде уже запилили, но пока нет версии с этой функцией)
Хм. А если я себе на диск копию этого блокнота сделал?
Тоже "всё"?
git checkout в помощь. И, возможно, повозиться с версиями бибилотек.
Помогите, что делать, я сделал лору по персонажу с такими настройками
lr 1e-4 или же 0.0001
epoch 20 или же 5200 шагов
разрешение 768 на 768
И в итоге персонаж получился нифига не похож на себя, ни длина волос, ни цвет глаз, нифига не повторяет
lr 1e-4 или же 0.0001
epoch 20 или же 5200 шагов
разрешение 768 на 768
И в итоге персонаж получился нифига не похож на себя, ни длина волос, ни цвет глаз, нифига не повторяет
Я имел в виду, что сделал на гугл диск копию второго колаба из шапки, который, типа, "не работает", пока он еще работал.
Т.е. код там, по идее, еще в рабочей версии должен быть записан.
Или как вообще этот колаб работает?
5200 шагов - это перебор.
Выше 2500 целиться смысла нет, и даже это уже много.
Если у тебя в сете были протеганы фичи персонажа - цвет волос, глаз, прическа, одежда - всё такое - тебе в промте их тоже вызывать надо каждый раз.
(makeup), (milf), (porn), (glamour), (instagram),(monochrome), (orgy), (homo), (multiple girls), (multiple boys), (duplicate), (sfw), (censorship), extra fingers, mutated hands, (bad eyes) (poorly drawn hands), (mutation), (deformed), (bad anatomy), (bad proportions), (extra limbs), cloned face, (disfigured), extra limbs, (malformed limbs), (missing arms), (missing legs), (extra arms), (extra legs), mutated hands, (fused fingers), (too many fingers), (long neck), text, logo, blood, animal, pig, long neck, deformed ears, (futa), lowres, (bad anatomy), (bad hands), text, error, (missing fingers), extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, (child), (loli), (old), (ugly), lowers, jpeg artifacts, low quality, lowers, jpeg artifacts, low quality - у меня такой негатив а вы какой исспользуете.
Видел kohya ругают, есть альтернативный колаб для тренировки?
Если по фоткам персонажа тренировать, на 1.5 модели или на каком-то deliberate?
Если по фоткам персонажа тренировать, на 1.5 модели или на каком-то deliberate?
Нахуй ты 66100 шагов взял? Ебанутый?
норм, у него датасет из 6600 пикч.
База
А как его понизить?
Из 800 же
Мне кажется колаба сдохнет пока 7 часов пройдет же, да?
Поставил max_train_type_value:10
Теперь говно выйдет?
Теперь говно выйдет?
https://postimg.cc/gallery/190cyYZ - вот датсет на чем бы вы обучали его? я уже 2 день бьюсь не выходит.
Народ, контролнет через openpose нормально у вас работает?
Вчера поставил posex, генерю через него картинку с позой, закидываю в контролнет, запускаю генерацию, и начинается пиздец.
Нет, начинается ПИЗДЕЦ.
>Загрузка харда с диффужном - 100%.
>Выжирается 95% оперативки (31 гиг из 32, Карл!).
>Комп виснет практически намертво.
>Причем в диспетчере не написано, какой процесс и куда столько отжирает. Браузер 3 с копейками, и всё - а загрузка памяти 95-96%
>ЦП и видюха при этом практически не нагружены.
>cmd от автоматика пишет про распаковку контролнетовской модели, бла-бла, но сама генерация не стартует.
Чтоб это все обычным порядком закрыть, не ребутом - надо минуты четыре ждать.
Что за ересь?
Вчера поставил posex, генерю через него картинку с позой, закидываю в контролнет, запускаю генерацию, и начинается пиздец.
Нет, начинается ПИЗДЕЦ.
>Загрузка харда с диффужном - 100%.
>Выжирается 95% оперативки (31 гиг из 32, Карл!).
>Комп виснет практически намертво.
>Причем в диспетчере не написано, какой процесс и куда столько отжирает. Браузер 3 с копейками, и всё - а загрузка памяти 95-96%
>ЦП и видюха при этом практически не нагружены.
>cmd от автоматика пишет про распаковку контролнетовской модели, бла-бла, но сама генерация не стартует.
Чтоб это все обычным порядком закрыть, не ребутом - надо минуты четыре ждать.
Что за ересь?
Где прописывать теги, чтобы потом вызывать лору в модели? И вообще, нужно ли там прописывать негативные теги тоже? Я ничего не понимаю уже.
https://colab.research.google.com/github/Linaqruf/kohya-trainer/blob/main/fast-kohya-trainer.ipynb
https://colab.research.google.com/github/Linaqruf/kohya-trainer/blob/main/fast-kohya-trainer.ipynb
Как не допустить того чтобы коллаба наебнулась?
>где
в тхт твоих во всех должен быть одинаковый тег, на первом месте например
а внутри скрипта есть менюха Custom Tag
купить пидписку колабную у гугла
Разрешите доебаться, пожалуйста:
1. тхт - это которые в датасете, к каждой картинке?
2. Кастом тег влияет на вывод лоры на модель или в обобщает все остальные теги?
>1. тхт - это которые в датасете, к каждой картинке?
да, хочешь тег вызова - придумай уникальный и пихни в каждый тхт файл
>Кастом тег влияет на вывод лоры на модель или в обобщает все остальные теги?
там есть чекбокс который говорит типа ебани кастом тег в конце всех строк тхт файла, то есть по идее должен добавить просто любой тег внутри готовых последовательностей в конце
кип токенс хз за че отвечает в данном случае
Всё обновил, попробовал еще раз - та же хрень.
Вырубил poseex - работает.
Зашел на гитхаб экстеншна - и я не один там такой, ха.
Ну хоть где косяк нашел.
Ладно, вернусь пока на openpose.
А вы знали что автоматик добавил новую фичу которую раньше заполнением запятыми до 75 чанков можно было вызывать?
Это нормально? Фон херит сильно, иногда особо сильно, пытаясь orange hair на всю картинку зараспространить.
Так тебе скинуть?
Так тебе скинуть?
Бесплатный лимит на коллабе утрачивается и большен не появляется?
превращение человека самки в кальмара
Лимит один на сутки для одного акка, зависит от нагрузки на гугл - от 1 до 6 часов.
Есть способы уменьшить время апскейла?
Не одним огромным тайлом скейлить, а кучей мелких, юзни Ultimate Upscale.
Мимо другой анон, репортинг ин изменение производительности по твоему гайду на 4090 после нескольких комманд, без пердолинга.
Torch 1.13.1:
150/150 [00:13<00:00, 11.36it/s]
Torch 2:
150/150 [00:05<00:00, 25.52it/s]
Nuff said, спасибо за гайд. +100% и походу боттлнек в цпу уже.
Не понял только почему если переименовать папку с автоматиком, заходя потом в ней в venv через cmd, он хоть и активируется, но либы отсаются обычные системные через pip list, если не переименовывать, то всё норм.
Как правильно прописывать теги в тхт? Например:
1girl, short_hair или 1 girl, short hair? Есть какая разница или влияние?
1girl, short_hair или 1 girl, short hair? Есть какая разница или влияние?
Нихуя не понял, но очень интересно. Поделитесь гайдом для альтернативно одарённых.
Вот кстати фигня.
Сколько я его не дрочил - всегда мне плитку выдавал на простых фонах. Типа звездного неба.
Обычный SD-апскейл без склеек всё делает, а этот я так победить и не смог.
https://rentry.co/sd_performance
У тебя гпу 40 серии есть? Просто там не без проблем, будка другие версии требует и в каких то конкретных случаях производительность может даже упасть
Как поставить кастомный хайрез фикс? Закинул файлы в scripts, но автоматик не видит его
Даже если и есть, то нейросеть одно с другим сопоставляет и разницы минимальна. Короче, пиши как все - 1girl, short hair, orange hair, fox ears, red eyes...
1girl, 2girls, 6+girls - общепризнанная вещь и пишется слитно
Не, у меня 3ХХХ огрызок. Но спасибо, поковыряю.
Размер тайла побольше поставь а не 512, при необходимости настрой починку мест склейки (работает 50-50). Но вообще если с денойзом не ультить можно с ним вполне приличные вещи делать, это тот же сд апскейл только с большим числом параметров. Одно огорчает - форма тайлов только квадраты.
> Типа звездного неба.
Без хитростей тут 2 стула - или склейки на малых тайлах, или проеб деталей на больших.
Я не смог успокоится скачал wd-v1-3-full.ckpt - думаю вдруг на ней лучше обучать. Ещё раз перебрал рисунки, удалил фон. Собрал новый - https://postimg.cc/gallery/Mf7rkTH. Проверил чтобы не были обрезаны головы и не было странных поз. Но вот что в итоге будет?
я специально не тегал внешку персонажа, только его одежду, а еще,
так я пробовал недоделанную лору (как раз 1600 шагов примерно) и все равно вообще не похоже на персонажа ни капли
Конечно лей
> learning_rate 0.001
Как-то многова-то. Если выйдет явно не очень, попробуй снизить до 0.0001.
Сколько пикч в дата сете?
https://mega.nz/folder/W8B1SLoK#RS0HzAuOqI0XzAL9JdmZzA
55 пикч
Да я всяко ставил. Вплоть до максимального по ВРАМ. Один фиг заметно.
Ну, не повезло, значит.
Либо в датасете косяки, либо нейронка твои тэги не увидела, либо со скоростью обучения налажал. А может датасет просто слишком маленький был.
>всегда мне плитку выдавал на простых фонах.
почитай фак скрипта, там все сказано для начала работы че делать https://github.com/Coyote-A/ultimate-upscale-for-automatic1111/wiki/FAQ
алсо скинь пример фона с которым проблемы я поиграюсь на своих настройках, потому что у меня со скриптом и фонами проблем нету
>форма тайлов только квадраты.
можно прямоугольники делать же
Попа горит ПИЗДЕЦ КАК НАХУЙ
Сначала пишет, что все изображения найдены
А потом пикрил
Ну ещё вчера всё работало, доколе можно пердолиться?!
Сначала пишет, что все изображения найдены
А потом пикрил
Ну ещё вчера всё работало, доколе можно пердолиться?!
Технари, подскажите, в колабе Кои там где параметр альфа написано ставите такой же как и дим. Так оно, а то я видел что альфу советуют уже 1 ставить, что?
> > 1e-3
> > 128 dim 128 alpha
> Хуясе ебать, это же жесткий перетрен с распидориванием будет, особенно если у него не 16+ гигов врам
Подскажи тогда, я вот треню ЛОРУ на колабе Кои, и там советуют альфу ставить равную диму, как раз 128х128. Неправильно советуют?
> > 1e-3
> > 128 dim 128 alpha
> Хуясе ебать, это же жесткий перетрен с распидориванием будет, особенно если у него не 16+ гигов врам
Подскажи тогда, я вот треню ЛОРУ на колабе Кои, и там советуют альфу ставить равную диму, как раз 128х128. Неправильно советуют?
И да, насколько стоит зеркалить датасет, стоит того вообще? Или если пик 30-50± то е имеет смысла? Или всегда имеет?
Я ставлю 1
Попробуй убрать японский из имён файлов/папок, у меня из-за этого один раз тоже не работало
> если пик 30-50
Зачастую не имеет смысла. Хватает и без зеркаливания.
Во, блин, придется переделывать и сравнивать...
Понял, спасибо.
лора через брейк заебись ложится на генерацию кстати
> Один фиг заметно.
Промт скорректируй, меняй перекрытие, денойз. Заметно будет но можно значительно снизить что будет легко обработкой пофиксить
> можно прямоугольники делать же
Как, там новая версия чтоли? Может оно с батч сайзом и каунтом работать научилось?
> и там советуют альфу ставить равную диму
Каждый тред несколько раз это поднимается, перечитай хотябы этот. Вообще надо бы в faq какой добавить
>Зачастую не имеет смысла. Хватает и без зеркаливания.
А если 4-10?
Впервые лору-стиль тренил в колабе кохи (дримбуз). Как читать лог, насколько хуево? Слышал что если меньше 0.25 loss то заебись.
Значение loss - это не метрика. А вот на что тебе надо обратить внимание, так это на пиздец со скоростью обучения и ебучую пилу на графике.
В том и дело, что у меня нет таких названий, это по дефолту прописано в коде. Но это не мешало вчера тренировать.
>пиздец со скоростью обучения
Из чужого конфига взял значения, отсюда https://huggingface.co/khanon/lora-training/blob/main/junko/lora_chara_junko_v1c_131i9r-9i6r.json
> "learning_rate": "1e-5",
"lr_scheduler": "constant_with_warmup",
"lr_warmup": "5",
Плохие?
>ебучую пилу на графике
Где читать чтобы исправить пилу?
Поясните пожалуйста — как использовать prompt matrix вместе с LORA если LORA запускается через Additional Networks?
Additional Networks — Поставил потому что когда указываешь в промте оно просто не работает по ощущениям. Если можно запускать LORA и без него то как??? Может я делаю что-то не так?
До Additional Networks я просто кидал папки в D:\stable-diffusion-webui\models\Lora но где-то видел что оно теперь так не работает и нужно юзать AN
Additional Networks — Поставил потому что когда указываешь в промте оно просто не работает по ощущениям. Если можно запускать LORA и без него то как??? Может я делаю что-то не так?
До Additional Networks я просто кидал папки в D:\stable-diffusion-webui\models\Lora но где-то видел что оно теперь так не работает и нужно юзать AN
Подскажите пж тутор и как пользоваться и как найти эту полезную програмку, увидел у какого то анона, скрин сохранил, а как пользоваться не спросил
Сразу скажу, если у тебя нет прокси то оно не будет работать (если ты собираешься качать картинки с бур/рулл34).
Скачать отсюда
https://github.com/Bionus/imgbrd-grabber/releases
Типа тутор
https://www.bionus.org/imgbrd-grabber/docs/
В остальном просто делаешь настройки как на скрине и не теряешь папку для картинок и текстовиков.
Скачать отсюда
https://github.com/Bionus/imgbrd-grabber/releases
Типа тутор
https://www.bionus.org/imgbrd-grabber/docs/
В остальном просто делаешь настройки как на скрине и не теряешь папку для картинок и текстовиков.
>Сразу скажу, если у тебя нет прокси то оно не будет работать (если ты собираешься качать картинки с бур/рулл34).
Типа впна на пк? (не браузерного)
Да
Там http/socks5 proxy можно в настройках настроить.
другой анон
Какие-то теги не видит, хотя в датасете есть тхт.
Я вот не пойму, зачем в колабе каждый раз все заново устанавливается, почему нельзя на гуглодиск поставить один раз и с него запускать?
спасибо, но как получить теги в отдельных файлах или как вообще теги от туда выкачивать?
Написать в настройках то что на срине написано же
Нет
да блять, почему
Рад слышать, анон.
> Не понял только почему если переименовать папку с автоматиком, заходя потом в ней в venv через cmd, он хоть и активируется, но либы отсаются обычные системные через pip list, если не переименовывать, то всё норм.
У меня тоже подобная проблема была, как-то починил и сам не понял, тоже в этих нюансах питона не шарю.
Думаю в ближайшие дни создать отдельный rentry для хранения команд установки разных версий скомпилинных xformers и обновлять его периодически, раз с версией из гайда есть проблемы у кого-то из анонов. Ещё бы инструкцию по сборке обновить, чтобы whl-файл пригодный к дистрибьюции сперва генерировать - мне кидали команды для такого где-то в прошлых тредах.
И надо бы опросник для сбора статистики собрать... Есть какие-то сервисы, где можно сделать опросник по двум пунктам? Т.е. отдельно указать свою видеокарту и как поменялась производительность после обновления торча на второй.
Почитаю, потом.
Пикчи уже нет, запарился и удалил, надо заново делать. Лень =)
Сам потом разберусь, погоняю в разных режимах.
3070ti-огрызок.
Не получилось, не взлетело. Первый способ установилось как положено, но СД отказался генерить картинки. Второй способ - на моменте кумпиляции xformers, где должно минут 5 компилиться, секунд через 5 всё прекращается. Было уже поздно, я накатил всю папку venv из бэкапа и решил вернуться к этому в другой раз, может по другому гайду.
> Второй способ - на моменте кумпиляции xformers, где должно минут 5 компилиться, секунд через 5 всё прекращается
Ты что-то недоустановил, инфа сотка. У меня тоже xformers именно так не компилились раньше, когда я пробовал в первый раз несколько недель назад, но с установкой нужных библиотек от майков и куртки пошло как надо.
3060
колаб это среда выполнения, а диск это хранилище
Понятно. Правда у меня тут другие проблемы уже, гугл похоже понял, что я не собираюсь заносить шекели и выкидывает меня через полчаса с любого аккаунта.
> У меня тоже подобная проблема была, как-то починил и сам не понял, тоже в этих нюансах питона не шарю.
Пойти в pr у питонистов может спросить насчёт этого?
> Ещё бы инструкцию по сборке обновить, чтобы whl-файл пригодный к дистрибьюции сперва генерировать - мне кидали команды для такого где-то в прошлых тредах
Да, это было бы полезно, скомпилить разные версии иксформеров из репы https://github.com/facebookresearch/xformers, где verified тег есть, и переносить на по нужде на другие машины, без пердолинга с компиляторами.
> Думаю в ближайшие дни создать отдельный rentry для хранения команд установки разных версий скомпилинных xformers и обновлять его периодически
А вот это еще полезнее, для тех кто не хочет вообще пердолиться и что-то там собирать.
> Есть какие-то сервисы, где можно сделать опросник по двум пунктам?
Я видел у форчановцев такой опросник https://usem.liberaforms.org/sdperformance и соответствующую таблицу https://docs.getgrist.com/3mjouqRSdkBY/sdperformance , которую походу вручную обновляют, может чем поможет, хотя вроде не самое простое решение для всего двух пунктов.
А какие у тебя версии стоят, которые внизу вебуи отображаются? На ампере оптимальнее всего у меня работали торч 1.13.1+ку117, иксформерс 0.0.16. Короче, те которые параметрами из батника --reinstall-xformers --reinstall-torch (их еще пишет когда со старыми версиями запускаешь свежий вебуи), в данный момент ставятся.
> разных версий скомпилинных xformers и обновлять его периодически
Как же я ору с местных пердоликов. Пердолятся, а сами не знают зачем.
ты нипричом, просто нагрузка на жпу гугла высокое, все карты занимают подписчеки и тебя нищука дропает
Всё завелось, поставил абсолютно чистую СД. Прирост на ощупь до 10%, не больше. Возможно я не правильно замерял, если есть какой способ (я просто смотрел на it/s при генерации картинки) готов сделать правильный замер, стоит параллельно версия со старым xformers
torch: 2.1.0.dev20230306+cu118 • xformers: 0.0.17+b89a493.d20230307
Можно ли теперь это применить для kohya_ss для тренинга или у него своя атмосфера и зависимости? 3070огрызок.
Блокнот содержит, грубо говоря, текст и рисунки. В числе текста - команды, в числе команд - требование загрузить библиотеки откуда-то извне. Гуглоблокнот (в отличие от кегли) сам никаких библиотек не хранит и на гуглодиск не скачивает, и даже версии не запоминает. Поэтому если там, вовне, что-то обновилось или изменилось и поэтому сломалось - то добро пожаловать в увлекательнейший квест по поиску номеров версий библиотек и хэшей коммитов. Я такой квест, кстати, разок успешно проходил. Но отвлекает, отвлекает...
А если причина в поломке самого текста блокнота - то да, копия спасёт. И лучше бы ты не стирал логи старого запуска, а каждый раз создавал у себя на диске копию блокнота.
Ну блджажд, ну позавчера ж еще все нормально было, чего оно сломалось?
(имг2имг, каждую генерацию такую хрень выдает, хотя генерация проходит).
(имг2имг, каждую генерацию такую хрень выдает, хотя генерация проходит).
Аноны, вопрос от новичка. Можно ли сделать фотореалистичную тню, и генерировать огромное количество фото с ней, в разных одеждах, разных местах, позах, и так далее? Вот прямо сотни с одной и той же, но чтобы сильно в глаза не бросалось одинаковое выражение лица
> Всё завелось, поставил абсолютно чистую СД. Прирост на ощупь до 10%, не больше. Возможно я не правильно замерял, если есть какой способ (я просто смотрел на it/s при генерации картинки) готов сделать правильный замер, стоит параллельно версия со старым xformers
Не уверен что это прямо каноничный тест, но я делал так: запускаешь вебуи с новыми версиями ставишь какой нибудь эйлер а и 150 шагов, генеришь первый 512х512 раз просто чтобы разогреть генерацию, он всегда медленнее, генеришь вторую пикчу и результат записываешь куда нибудь. Ставишь хайрез х2, например, записываешь его результат. Если батч большой ставить можешь, стоит и его потестить и записать результат, можно еще апскейлера, через и2и сд_апскейл, какого нибудь быстрого, время замерить, одним тайлом или 2х2 и тоже записать.
Потом, собрав данные, закрываешь это дело и проделываешь тоже самое со старыми версиями библиотек. Какие кстати у тебя старые стоят версии?
> Можно ли теперь это применить для kohya_ss для тренинга или у него своя атмосфера и зависимости?
А вот хз, надо бы посмотреть на скорость тренировки при одинаковых настройках будет, думаю там будет явное отличие выражаться, если буст 100% при генерации
Сколько у тебя кстати it/s на эйлере а 512х512 150? У тебя же вроде тоже 4090. И каковы цпу, частота рам?
Так раньше то было заебись, а тут вдруг джва дня нагрузка. Подозрительно
В пизду короче, выставил амуде на авито. И ведь думал что топкража когда покупал, но подвох все таки проявился.
Бамп, всё эта же проблема.
Если тебе это нужно, то твой выбор - kaggle. Со включённым Persistence (но и там иногда всё пропадает). Ну либо хорошенько подолбаться с ln -s, чтобы не тягать тяжёлые модели. Но это вот хорошенько-хорошенько!
> Я видел у форчановцев такой опросник https://usem.liberaforms.org/sdperformance и соответствующую таблицу https://docs.getgrist.com/3mjouqRSdkBY/sdperformance , которую походу вручную обновляют, может чем поможет, хотя вроде не самое простое решение для всего двух пунктов.
Полезная инфа оказалась, спасибо. В Google Forms (опрос можно проходить в инкогнито режиме) можно настроить автоэкспорт в Google Sheets, в котором можно настроить фильтры по колонкам (типичный случай - меня интересует статистика только для моей видеокарты, так что я хочу отфильтровать по GPU сразу) и добавить кастомные колонки, которые могут что-то высчитывать. Скажем, можно просить у юзеров не просто процент изменения производительности, а вставить их it/s до и после обновления либ и высчитывать изменение автоматически. В целом, можно действительно тогда собирать любую дополнительную инфу (цп/частота памяти и т.п.), чтобы сразу оценить, насколько другие параметры, кроме GPU, влияют на производительность до и после обновления либ.
Так что можно подробный опросник составить, только время надо найти настроить всё...
> Сколько у тебя кстати it/s на эйлере а 512х512 150? У тебя же вроде тоже 4090. И каковы цпу, частота рам?
~22.4 it/s
torch: 2.0.0.dev20230218+cu118
xformers: 0.0.17+cc36858.d20230219
RTX 4090, i9-9900K, 2400MHz; оверклокинг/даунвольт никакой не делал.
Ахуенно, чо...
> Так что можно подробный опросник составить, только время надо найти настроить всё...
Ты же уже его вроде составил, по нужде просто добавлять новые колонки можно, цпу там или рам, или что еще может влиять сильно
> 2400MHz
Это какой то старой ревизии шестилетней давности память или почему не гонишь её? Она же всё портит на такой частоте, хотя хз насколько это актуально конкретно для сд, по идее должно быть, было бы неплохо проверить
У меня 25.5 на 5900х получилось, но он сам задушен до 4400/4300 ccd0/1, чтобы не подавал 1.5 вольта на ядра ради 500мгц, память врятли смогу поднять выше 3600, учитывая что занимает она все гнезда. Стоило бы наверное потестить проц в стоке, все таки там однопоток куда быстрее, но сомневаюсь что там выжмется что-то больше 1it/s взамен на постоянные скачки с 40 до 80 градусов на ядрах
Надо будет проверить. Не заморачивался с оверклоком, потому что повода не было, да и лень просто во всё это вникать. По спецификации вижу, что мою оперативку можно на 3200 включить (xmp), а материнка поддерживает частоту до 4200.
Тут писали, что вторая ссылка на тренировку лоры в шапке поломана.
Как именно поломана? Затренил лору со старой копии этого колаба - и тренировка прошла. Стиль схватился.
Сейчас вот вторую тренирую, уже по актуальной.
Что там не так?
Как именно поломана? Затренил лору со старой копии этого колаба - и тренировка прошла. Стиль схватился.
Сейчас вот вторую тренирую, уже по актуальной.
Что там не так?
> включить (xmp)
Вот это и сделай, буквально одну кнопку нажать, чтобы долго не вникать, если прирост какой-то значительный и будет, заметно будет сразу
Спасибо за совет. Попробую завтра.
Подскажите что за дерьмо, я указал папку с файлами но оно отказывается увидеть их
алсо, это второй кал лаб
алсо, это второй кал лаб
>Что там не так?
Ошибка Input must be callable
Это из дримбуфа:
Instance Token The unique identifier for your subject. (sks, xyz). Leave blank for fine-tuning.
Class Token What your subject is. If a xyz is a person, this could be person/man/woman.
Как использовать несколько лор одновременно, чому у меня такого нет, хелп
у меня-то вопросов нету, они есть у тебя
> выставил амуде на авито
Правильно сделал
> И ведь думал что топкража когда покупал
Все так думают, пока не встречают лес хуёв лизки на пути
А какое амуде? С 6700хт например мне было бы обидно.
> Как использовать несколько лор одновременно
Так вроде нативно в промте можно несколько юзать, но удобнее пользоваться костылем адишнл нетворкс, с ним гриды удобнее строить. пик 2
нашёл, пасиба ;*
>А какие у тебя версии стоят, которые внизу вебуи отображаются?
Дефолтные:
torch: 1.13.1+cu117 xformers: 0.0.16rc425 = 11.44it/s
Самосбор:
torch: 2.1.0.dev20230306+cu118 xformers: 0.0.17+b89a493.d20230308 = 11.45it/s
Штош, ждём тогда когда подвезут генерацию на RTX ядрах или ещё какой прорыв.
3070ти огрызок да нахуй я его купил??, i10900 не К
Хз.
Всё натренил, ошибок вроде не заметил.
Правда, какие-то косяки в картинках полезли.
Похоже на ошметки интерфейса браузера - боковая панель со скроллом, и иконки каких-то программ, или просто кнопки навигации иногда проступают.
ЧСХ ничего подобного и близко в материалах не было. Токен-активатор (который имя художника) влияет, чтоль?.. Неудачно подобрал, в нейронке на это имя что-то уже было?..
Сейчас вот локально на том же материале сделал версию, погляжу на нее.
У тебя случаем нет какого-то треша в параметрах запуска типа no-half и подобного? Оставь только -xformers. Должно быть хотябы 26+. Если батч сайз 4 выставить с теми же параметрами то сколько выдает? Ну и тестируй на нормальной прунед модели и с небольшим количеством тегов без всяких допов и лор, последние ощутимо просаживают.
Оно конечно может просаживать но не настолько, ддр5-3600 из интереса ставил, там конские задержки и все равно много итераций.
> Неудачно подобрал, в нейронке на это имя что-то уже было?
Выключи лору и проверь, но врядли. Скорее всего что-то из датасета, чудес не бывает.
На одну итерацию в секунду быстрее стало, как xmp-профиль включил для оперативки (2400 -> 3200), т.е. с моими цифрами это около +5% грубо. Так что частота оперативки определённо влияет на SD.
> У тебя случаем нет какого-то треша в параметрах запуска типа no-half и подобного? Оставь только -xformers. Должно быть хотябы 26+.
set COMMANDLINE_ARGS=--xformers --skip-version-check
> Если батч сайз 4 выставить с теми же параметрами то сколько выдает?
У меня батч-сайз перестал работать после последней обновы от автоматика, всегда только одну картинку генерирует. Или я что-то странное настроил/установил, надо разбираться.
> Ну и тестируй на нормальной прунед модели и с небольшим количеством тегов без всяких допов и лор, последние ощутимо просаживают.
Потестирую ещё вечером, сейчас без лор на не прунед модели тестировал.
>А какое амуде? С 6700хт например мне было бы обидно.
Да не, попроще, 6600. Не знаю что купить потом правда, как я понимаю из вариантов новая 3060 или б/у 3080 у меня.
Ну какого Хрулёва, блядь?!
Каких тегов не имеет изображение? КАКИХ?
В датасете есть тхт файлы, что ещё нужно-то?
Каких тегов не имеет изображение? КАКИХ?
В датасете есть тхт файлы, что ещё нужно-то?
> 6600
Тоже хотел своровать такую по приколу у китайцев когда цены дропнулись, только рефаб с мобильным чипом за 13к. Но посидел, подумол что чета давно я на новидео не сидел и не стал брать кактус.
> новая 3060 или б/у 3080 у меня.
Если ты из дсов, есть бабосы и достаточно шаришь, то бери сразу бу 3090, сможешь абсурдресы генерить с любым обмазом из лор и контролнетов, не говоря уже про скорость и батч сайзы при тренировке.
Ты же лору пытаешься тренить? Если скинешь датасет, то могу у себя трайнуть запустить поглянути пока не отвалился спать, что б методом исключения проверить что с датасетом все норм например.
> У меня батч-сайз перестал работать после последней обновы от автоматика
Раз такое дело то там явно что-то левое наверчено или поломано. Для начала нужно нормальную работу обеспечить, а потом производительность тестить.
>Выключи лору и проверь, но врядли. Скорее всего что-то из датасета, чудес не бывает.
Оно сильно нестабильно пролазит, раз в 30 генераций, иногда реже. На локальной версии вроде не проявилось, но я ее тренил под другими настройками (768 локально не тянет, только 512).
Такое ощущение, что АИ начинает понимать, что сидит в компе, и пытается что-то сказать =)
Еще была версия, что скрипт каким-то образом прочитал метаданные из картинок, которые я перед загрузкой в инпэинте обрабатывал, для удаления мозаичной цензуры, чтоб оно в лору не пролезло.
Но это мимо - я потом в жипег всё пересохранил.
>Если ты из дсов, есть бабосы и достаточно шаришь, то бери сразу бу 3090, сможешь абсурдресы генерить с любым обмазом из лор и контролнетов, не говоря уже про скорость и батч сайзы при тренировке.
24 гига жирно конечно, но придется еще и бп менять. Как часто больше 12 используется при генерации?
Если без батчей, естественно
> Как часто больше 12 используется при генерации?
Если разрешение выше 1024х1024, то всегда.
А у 2080ти есть какие-то подводные? Вроде стоит дешевле 3060, но чуть ли не в два раза производительнее в тестах сд.
> Оно конечно может просаживать но не настолько, ддр5-3600 из интереса ставил, там конские задержки и все равно много итераций.
А какой у тебя цпу и до скольки тайминги удалось при такой частоте ддр5 снизить?
По хорошему бы провести тест ipc (instructions per clock) на одинаковых частотах проца, памяти и остальных основных узлов по возможности, но наверное он будет не совсем правильным между разными поколениями памяти. Какие кстати сейчас бенчи актуальные есть чтобы попугаев набирать?
Я все таки тоже попробовал вернуть ядра в сток, +0.7 it/s на частотах 4700-4900, сд все таки долбится в одно ядро, возможно если поставить аффинити процессу на лучшее ядро в кристалле, удастся выжать еще малость производительности.
Что там кстати с линуксом, там все также по производительности, или получше?
Ну раз в 30 генераций это ерунда, да и сама по себе тренировка sd1.x на 768 может какие-нибудь баги породить.
13900к, у меня 128 гигов четыремя плашками, я рад что оно вообще работает на 5200 с 36-38-что-то там, незначительные отличия от дефолтного xmp но прямо на нем с 4мя заводиться не хочет в5й ддр больше двух плашек это вообще сложно, а на прошлых процах вроде как невозможно судя по форумам
> По хорошему бы провести тест ipc (instructions per clock)
Это не амудэ-вс-штеуд в синбенче/премьере/игорях, здесь на производительность влияют лишь небольшие операции в промежутках когда в ожидании их видеокарта может простаивать, ну и их доля мала что не создаст заметности. Это может сыграть во время склейки грида, сохранения больших пикч, загрузки моделей и подобного, но не при самой генерации. Тут скорее надо смотреть не лезут ли прерывания, нормально ли работает драйвер, что с коррекцией ошибок врам, не лезут ли лишние задержки по шине и какой режим ее адресации и т.д. А по процам - вангую что 2-3 итерации при сравнении исправных йоба цп и старичка уровня сандаля - все что можно будет отследить, и то только в режиме который никто не юзает. Разное разрешение мониторов и наличие свистоперделок типа 3д обоев больше может сыграть.
Ну кстати, финальный подсчет же идет с учетом загрузки модели и сохранения пикчи, тут ссд даже больше даст лол.
Проблема с тегами решилась, но появилась другая.
Сделал лору с Ульяной.
https://civitai.com/models/17249/ulyanalora
Алсо, если есть годные арты - скиньте плиз. Буду медленно пилить вторую версию.
https://civitai.com/models/17249/ulyanalora
Алсо, если есть годные арты - скиньте плиз. Буду медленно пилить вторую версию.
а де параметры к примерам
Цивитай на две картинки зажевал. Я перезалил, но не помогло..
> Ну и тестируй на нормальной прунед модели и с небольшим количеством тегов без всяких допов и лор, последние ощутимо просаживают.
Переключил на NAI (animefull-final-pruned) и отключил VAE; разницы 0 по сравнению с полновесным aom2 и активным VAE.
> Если батч сайз 4 выставить с теми же параметрами то сколько выдает?
150/150 [00:13<00:00, 11.30it/s]
> 13900k
Ебать, это шутка чтоли на пик1 или они наконец правдивый тдп стали писать, а не мамой клянусь 95ватт в стоке, в среднем, в идле?
> 13900к, у меня 128 гигов четыремя плашками, я рад что оно вообще работает на 5200 с 36-38-что-то там, незначительные отличия от дефолтного xmp но прямо на нем с 4мя заводиться не хочет в5й ддр больше двух плашек это вообще сложно, а на прошлых процах вроде как невозможно судя по форумам
Мда, я так понимаю, все печально пока с новым стандартом. В прошлых это 12900к?
Интересно даже, зачем тебе столько. До того как сд включил вообще не ощущал проблем с 32 рам, запуская несколько вм и браузеров на винде
> Тут скорее надо смотреть не лезут ли прерывания, нормально ли работает драйвер, что с коррекцией ошибок врам, не лезут ли лишние задержки по шине и какой режим ее адресации и т.д
Интересно как же ты подразумеваешь проводить все эти микрооптимизации?
Алсо
> что с коррекцией ошибок врам
What?
> А по процам - вангую что 2-3 итерации при сравнении исправных йоба цп и старичка уровня сандаля - все что можно будет отследить, и то только в режиме который никто не юзает
А вот на такое сравнение я бы посмотрел, лол. Распердоленный до усрачки сэндик против какого нибудь 9900к в сд с 4090, думаю что разница всё таки будет побольше, учитывая ддр3 и пси2 всё может пиздец как упереться в стену если вообще запустится. Вообще было бы неплохо, конечно же, реальную стату с конфигами компов иметь
> Ну кстати, финальный подсчет же идет с учетом загрузки модели и сохранения пикчи, тут ссд даже больше даст лол.
Да, так и есть, во время самой генерации 150 шагов пишет чуть больше итераций. Кстати сколько у тебя на 13900 их?
Решил, но опять...
Надеюсь, я вас не заебал.
Теперь доходит до тренировки и пикрил 2, 3.
Пик 1 - настройки.
Да, на 12м поколении и на 7к амд оче грустно. Офк с новыми биосами и на них ситуация улучшилась, да и оче похоже что там еще дело в некоторых таймингах которые при большем числе плашек должны быть другие. Но это надо заниматься, пердолиться, один хуй усилия не окупятся.
> зачем тебе столько
Работа же ну, а 4090 чисто по рофлу купил за место ампера чтобы пикчи крафтить быстрее. 128 это не много, масштабные расчеты не подымаются, на рабочих станциях 512+. Ну и когда привык к много рам то 32 - уже не грани комфорта даже без виртуалок
> Интересно как же ты подразумеваешь проводить все эти микрооптимизации?
Не оптимизации, посмотреть что срет в журнале шинды и латенси моном не лезет ли dpc/irq, если нет то положить и смириться или искать другую причину.
> What?
Да, на видюхах есть ecc, раньше в хуанговской пане ее можно было даже включать-выключать. Если что-то готовится подыхать то этому предшествует всплеск числа ошибок и снижение производительности, только хуй знает как их сейчас можно посмотреть.
~30-31 итераций, если отключить лишние мониторы, ускорение в браузере и лайв превью будет 32-33, если гнать карту то можно еще больше. Один хуй батч из 4х дает 12-12.5 итераций в секунду, что 48+ в пересчете на одну пикчу. И
> 150/150 [00:13<00:00, 11.30it/s]
не сильно то от них отличается, не смотря на разницу в железе. Вангую что больше всего роляет быстрый ссд, ибо при запуске со всратого пока полоса идет итерации такие же, а в момент окончания число заметно снижается.
> Не оптимизации, посмотреть что срет в журнале шинды и латенси моном не лезет ли dpc/irq, если нет то положить и смириться или искать другую причину.
А, понял. Даже видел объяснение как это делать для прямо хлебушков. У меня были что то типо 70 нс обсеры от tcp/ip драйвера, сетевуха что-то там косячила, я это даже фиксил по приколу отрубанием сети, лол, всё равно никаких изменений, статтеров не было до, и после тоже. Видимо ядер слишком много и нагрузка нормально распределяется энивей, хотя что то мне подсказывает что это даже не существенная задержка для интеррапта впринципе.
Насчет ворнингов в логах винды как то не парился даже, не ерроры же.
> Да, на видюхах есть ecc, раньше в хуанговской пане ее можно было даже включать-выключать. Если что-то готовится подыхать то этому предшествует всплеск числа ошибок и снижение производительности, только хуй знает как их сейчас можно посмотреть.
О как, не знал. А с какой версии и по какую эта фича хоть была? хотя какая уже разница, на 4090 их не поставить ведь
> не сильно то от них отличается, не смотря на разницу в железе. Вангую что больше всего роляет быстрый ссд, ибо при запуске со всратого пока полоса идет итерации такие же, а в момент окончания число заметно снижается
Действительно, параллелизация рулит. Получается впринципе достаточно иметь больше 20 итераций и просто пользоваться батчем, благо врам позволяет
> Вангую что больше всего роляет быстрый ссд, ибо при запуске со всратого пока полоса идет итерации такие же, а в момент окончания число заметно снижается
Ну так да, всяко лучше писать пикчу на йобу, подключенную напрямую к процу по псие, чем на сата хард или даже ссд
Впиши вручную. Тоже было.
Окей, поковыряюсь. Завтра может еще Слявяну залью
память утекла
Как фиксить?
изменить настройки чтобы не было аут оф мемори
> бп менять
А у тебя какой?
> Как часто больше 12 используется при генерации?
Да хз, но сможешь генерить и процессить в qhd без медврамов при надобности. Можешь доебаться до владельцев в наи, что б узнать у них подробнее про граничные разрешения с обмазом из лор дефолтного размера и мультиконтролнетов, а то тут 3.5 анона сидят.Ну и 3080 12 стоит 45-50, а 3090 50-60 можно найти, только надо тщательно выбирать и смотреть не запекается ли там память. Для аи херни переплата небольшая за х2 врам.
> Если разрешение выше 1024х1024, то всегда.
Это ты про сд 2.1 с но халф без иксформерсов?
> А у 2080ти есть какие-то подводные?
Тьюринг уже древноват, да и bf16 например не поддерживает, хотя хз насколько он нужен или будет нужен. Сейчас можно лоры в нем тренить например, видел еще что модели в bf16 конвертировать можно.
>CCP
Chinese Communist Party гордится тобой, получи миска риса и кошкожена! Удар!
> Это ты про сд 2.1 с но халф без иксформерсов?
Про 1.5 с xformers и лорами. Без xformers будет меньше.
Хуясе, а сколько лор подключено и какого они размера? Я думал на 12 гигах еще остается пространство для маневра.
Ты можешь выключить xformers и лезть в кэш торча, out of memory не будет, но скорость пиздец. Для быстрых 1920х1200 без забивания кэша надо 24 гига. Выше разрешения только уже тайлами генерить, без разбивки на тайлы там скорость очень сильно падает из-за просера кэша, даже на 4090 печально становится. Например 1920х1200 за 20 секунд генерятся, а 2048х2048 уже почти 40. Голый SD будет сильно меньше жрать, в сентябре прошлого года на 8 гигах генерили 1280х1280, сейчас уже посос.
Какой метод обучения лучше использовать если датасет 20к изображений? Lora обучиться?
Тут кто-нибудь ебётся с обучением не-SD моделей? Например super-resolution? В /pr/ сидят хлебушки-студенты, какой-то практической инфы не имеют от слова совсем.
Вот я обучал Real-ESRGAN и ванильный SwinIR по оригинальным пайплайнам - первый кал, второй получше. Теперь начал полностью сам переписывать всё с нуля на Transformers, с PSNR и VGG освоился как обучать, результат есть. Но вот с GAN никак не получается обучить. Дискриминатор ебёт мозги и запарывает всё обучение - пики ломаются меняют цветокоррекцию, мои проблемы нихуя не гуглятся, в основном пишут скорость обучения высокая, но она как в KAIR. Возможно надо дискриминатору вес при комбинирования лоссов меньше ставить, но не понятно сколько минимально можно, он же для регуляризации нужен, будет ли смысл от 1%. Нагуглить как правильно распределять веса лоссов не получается, везде учёные в говне мочёные "подбирают" hyperparameters. Даже есть фреймворки автоподбора hyperparameters, но я ебанусь таким говном на 4090 подбирать - там фактически огромное количество тренировок идёт с перебором параметров. Неужели все просто на глаз подбирают настройки обучения GAN без какой-то методики и пониманию куда что делать?
Вот я обучал Real-ESRGAN и ванильный SwinIR по оригинальным пайплайнам - первый кал, второй получше. Теперь начал полностью сам переписывать всё с нуля на Transformers, с PSNR и VGG освоился как обучать, результат есть. Но вот с GAN никак не получается обучить. Дискриминатор ебёт мозги и запарывает всё обучение - пики ломаются меняют цветокоррекцию, мои проблемы нихуя не гуглятся, в основном пишут скорость обучения высокая, но она как в KAIR. Возможно надо дискриминатору вес при комбинирования лоссов меньше ставить, но не понятно сколько минимально можно, он же для регуляризации нужен, будет ли смысл от 1%. Нагуглить как правильно распределять веса лоссов не получается, везде учёные в говне мочёные "подбирают" hyperparameters. Даже есть фреймворки автоподбора hyperparameters, но я ебанусь таким говном на 4090 подбирать - там фактически огромное количество тренировок идёт с перебором параметров. Неужели все просто на глаз подбирают настройки обучения GAN без какой-то методики и пониманию куда что делать?
Бери NAI. Если не понравиться, то ACertainty
Скорее DreamBooth. Но 20k это пиздец как много. Неделя уйдет на обучение.
я тренил на 1000 изображений, а тут всего в 20 раз больше, то есть скорость просто в 20 раз выше ставить нужно да и все, количество картинок в сете покроет все неточности
В 20 раз больше или меньше? Датасет больше значит скорость обучения меньше. Скорость обучения должна быть порядка 1e-6 или даже 1e-7
>А у тебя какой?
650
>Ну и 3080 12 стоит 45-50, а 3090 50-60 можно найти, только надо тщательно выбирать и смотреть не запекается ли там память. Для аи херни переплата небольшая за х2 врам.
Да у меня тут в регионе нет 3090 по нормальным ценам, ехать в питер надо, а это тоже деньги и время. Я думаю потом обновлюсь, если мне так уж зайдет эта тема.
Что ты обучаешь там хочешь вообще? Выбери из них самые лучшие оставив не более 500 и тренируй на них. Для лоры в принципе столько шагов не нужно, а если у тебя там что-то дохуя сложное то уже дримбус
> Что ты обучаешь там хочешь вообще?
Скриншоты из аниме 80х и 90х
>Что там кстати с линуксом, там все также по производительности, или получше?
Получше, там accelerate есть.
Можно попробовать завести на WSL.
>Да, на видюхах есть ecc, раньше в хуанговской пане ее можно было даже включать-выключать.
На 4ХХХ и сейчас можно. Ну на 4090 точно.
Из минусов - режет немного обьем VRAM.
>650
Хз, у меня 3090 и 10600k питаются 600-ваттным голдовым биквайтом, никаких проблем ни при генерации, ни при рендере, ни в играх не наблюдал, всё работает как часы. И это без андервольта даже.
мимопроходил
>В 20 раз больше или меньше?
больше конечно, уменьшение тебе месяц тренинга нарисует
>Скорость обучения должна быть порядка 1e-6 или даже 1e-7
хуита, может быть любая которая эффективная
> обучения должна быть порядка 1e-6 или даже 1e-7
Если для лорки то оно вообще ничему не обучится, да и при файнтюне емнип побольше ставят
Нахуя, если и так каждая первая модель в это может, не говоря уже о Лоре, которой для этого достаточно пикч 50-100?
Господа, такой вопрос: тренирую лицо на СД 1.5 - при генерации на этой же модели получается довольно похоже, но если потом эту лору использовать на других моделях то оно берёт форму лица из модели, а не лоры и получается совсем другой человек. Если тренировать на всяких модных делиберейтах - получается изначально не очень похоже. И нужно ли в описание добавлять (young) woman, т.к. возраст не всегда угадывает, я не против старушек, но хотелось бы большей похожести. Может есть какой гайд именно по лицам, ткните, пожалуйста.
Разбирался кто-нить с этой штукой? https://github.com/KohakuBlueleaf/LyCORIS/tree/locon-archive
Будущее Лор
На сколько вообще это профитно по времени тренировки и результату?
Будущее Лор
На сколько вообще это профитно по времени тренировки и результату?
Пару раз натыкался и скипал, что это хоть такое в двух словах?
Ща потестирую
Штук 200-500 отбери, которые качественные, и хватит.
20к это прям лютый оверкилл.
500 вообщем-то тоже оверкилл, но с такого набора я сам тренировал, и получалось хорошо.
На сете в 20к можно выборочно по каким-то конкретным аниме тренить. По 200 на каждое, со своим токеном-вызовом, получится сотня разных аниме-стилей.
Но и это тоже будет оверкилл. Где ты в те годы сотню прям реально различных аниме найдешь?
Лучше отобрать максимум десяток.
В целом, разница в результатах на уровне погрешности, а то и вовсе сида при обучении.
Скорость тоже. 23 минуты на классическую лору, 26 на новую.
Не могу сказать, что новая чем-то лучше.
Пик 2 - пикча из датасета, с которой списан промпт для генерации.
> Будущее Лор
Никакого будущего нет, потому что convolution не генерирует высокочастотные детали. Даже хуже станет, если их преобучишь слишком сильно. Будет уже не композицию/стиль пидорасить, а и детализацию.
Лоры на отдельных персонажей я делал и они работают, я думал может можно обучить модель сразу на несколько десятков концептов, что бы получить более универсальную модель.
Ну видимо придется делать лоры.
>я думал может можно обучить модель сразу на несколько десятков концептов, что бы получить более универсальную модель.
Да, только это уже не лора, а dreambooth
> что бы получить более универсальную модель
Лора этого не может, для такого файнтюнь большие модели. "многоконцептуальная" лора возможна, вот только работает весьма условно и хуже чем отдельные.
Нихуя не понятно, где лучше то в итоге? Там эта штука просто интегрируется в кохаевский скрипт и все настраивается запускается также?
>Нихуя не понятно, где лучше то в итоге?
>В целом, разница в результатах на уровне погрешности, а то и вовсе сида при обучении.
>Не могу сказать, что новая чем-то лучше.
>Там эта штука просто интегрируется в кохаевский скрипт и все настраивается запускается также?
Вроде да. Я не смотрел, как вызов командной строки меняется, правда. Параметры все те же.
Господа, сейчас будет АБСОЛЮТНО ТУПОЙ вопрос, но есть ли способ обучения лорок без использования колаба, хотя бы на CPU, так как всё, что есть - картошка вместо видеокарты (1650 Ti 4GB) без возможности замены?
Колаб не собираюсь использовать из принципа, по не которым причинам (как минимум, потому что Гугл собирает данные, чтобы использовать в своих целях).
Колаб не собираюсь использовать из принципа, по не которым причинам (как минимум, потому что Гугл собирает данные, чтобы использовать в своих целях).
>по некоторым причинам
самофикс
На CPU нельзя. Можешь использовать Kaggle, но они тоже "собирают данные, чтобы использовать в своих целях" лол
наверно есть - но это сразу x100 к времени. в теории можешь брать любой питоновский код для коллаба и поправить инициализацию торча чтобы он софтверный фолбек юзал
Но CPU для обучения ООЧЧЧЕНЬ МЕДЛЕННЫЙ. просто буквально час vs неделя
Понял, благодарю за пояснение.
Ненавижу регистрации и учёт данных...
Ого, у нас тут очередной нищий чмохенс-нитакусик, восставший против злобных корпораций. Пердеж Столлмана с утра уже занюхал?
Ну, бывает, хоть и не настолько жёстко, как описывается.
К тому же, мне было бы просто неприятно, если бы какая-то информация о том, что я делаю, утекла куда-то или использовалась для всяких не совсем желаемых дел.
Это как, к примеру, если бы не просто лепишь какую-то фигню, о которой не сказал бы порой никому, а вдобавок растрезвониваешь об этом всем родным/знакомым/начальству/государству (которые этим ещё будут попрекать при каждом случае), добавляя реальные ФИО, номер телефона и подобное, и какая после этого будет репутация, и предвзятость окружающих.
Когда этого раздела не было, кое-кто неудачно воспользовался колабом, да был сдеанонен и травим. Как, нормально было?
Как говорится, "знают двое - знает и свинья".
Так что Столлман и корпорации вряд ли тут при чём-то, тут, скорее, более личные мотивы.
Извиняюсь за оффтопик, просто накипело от такого поста.
Спок, бро, выдыхай.
> Получше, там accelerate есть
Что это такое? Надо будет попробовать как нибудь с линукса запустить всё это дело, надеюсь мое ядро не слишком старое для всего этого
> Можно попробовать завести на WSL
Мне его еще реанимировать, перестал запускаться после апдейта на вторую версию для докера
> На 4ХХХ и сейчас можно. Ну на 4090 точно.
> Из минусов - режет немного обьем VRAM.
Сейчас поглядел, да в панели включить можно, только не понятно, о всплеске каких ошибок говорил тот анон. Ошибки, если что то не так, будут появляться в евент вьювере с включенным ECC?
>Ошибки, если что то не так, будут появляться в евент вьювере с включенным ECC?
Нет, это для внутреннего потребления видеокартой информация.
А вот теперь и у меня тренировка лоры по второй ссылке сломалось.
Чё там крутят вообще? На днях ж всё работало.
Чё там крутят вообще? На днях ж всё работало.
Копирнул блокнот еще раз, запустил уже на этой копии - и всё работает. Ух, погромизды. Лишь бы чего-нибудь намутить. Кому сказано: "Работает - не ломай!"
Могу на своей видяхе натренить лору, если дату дашь с тегами
Благодарю, конечно, но лучше не стоит.
Не зря же интересовался всё-таки.
50 регов
Класс woman
Analog Diffusion
24 лица, 8 по плечи, 10 в полеый рост
4000 шагов с сохранением каждые 500
lr 5e-7 или 1е-6
Как знаешь, мне ничего не стоит поставить комп на ночь тренить.
Ты не проебал тот момент, что train_data_dir - это путь к папке С ПАПКАМИ?
Начальник, не стукай! Как было по дефолту, так и оставил, только ещё папку с имаге дописал!
>Как было по дефолту, так и оставил
????????
Дефолт...
Я нихуя не понимаю
Про структуру папок прочитай
https://rentry.org/2chAI_LoRA_Dreambooth_guide#%D0%B4%D0%BB%D1%8F-%D1%81%D0%BA%D1%80%D0%B8%D0%BF%D1%82%D0%B0
Ахуеть! Спасибо, анон, всё работает!
Приятного!
Аноны нейроны, только вкатываюсь в лору, подскажите -- есть какие-то общие правила по подбору эпох-шагов/lr/ранка в зависимости от объема датасета? Хуй пойму от чего отталкиваться
>эпох
10, и собираешь из них грид, выбираешь, какая больше нравится.
>шагов
20-40 повторов на картинку
>lr
Стандартный, 1e-4, с batch size 1.
>ранка
32
Вне зависимости от объема датасета, если у тебя один концепт.
Ну, как база. Дальше уже можешь по вкусу крутить и сравнивать.
Восстановил ссылки на лорки с дампа дохлого репозитория: https://rentry.org/2chAI_LoRA
1060, ты бы знал насколько проще восстанавливать твои тренировки просто из-за того что они на 576px, лол
1060, ты бы знал насколько проще восстанавливать твои тренировки просто из-за того что они на 576px, лол
Спасибо!
> >эпох
> 10, и собираешь из них грид, выбираешь, какая больше нравится.
> >шагов
> 20-40 повторов на картинку
Бля, а как это в случае расширения дримбудки в вебхуе работает?
>Бля, а как это в случае расширения дримбудки в вебхуе работает?
Забей на него, если тебе нужны гуи, то качай эту хуйню
https://github.com/bmaltais/kohya_ss
Расширение безнадежно. Это я тебе говорю как автор части гайда по нему.
Вчера весь вечер жопу рвал чтобы скрипты kohya завести под виндой. Буду снова пытаться.
Это они и есть, просто в гуях. На название посмотри.
Та вижу, у меня в принципе какая то шиза происходит с акселератором и диффузерс и кудой происходила и при всех попытках завести и скрипты как по гайду, и варианты с примеров diffusers. Кал какой-то, буду ща по второму кругу уже с гуём
Ура, завелось, спасибо. Терь только треды изучать ибо инфы и рекомендаций по лора хуй да нихуя
>Терь только треды изучать ибо инфы и рекомендаций по лора хуй да нихуя
Начни просто с дефолтных настроек
Чёт после быстрого тестового прогона при юзе в вебхуе
> Failed to match keys when loading Lora
Я еблан или шо
Это норма, не обращай внимания
Процесс главное идет же?
Ну раз работает и норма, то хуй с ним.
Раз такой анонимвас то может просто купишь себе видеокарту?
> о всплеске каких ошибок говорил тот
Оно будет только если у тебя карта подыхает.
Все просто, когда у тебя гпу кластер на нем что-то постоянно отъебывает. Один из вариантов отъеба - превышение порога коррекций по врам, это видно по сообщениям дров в кернел логах доебана. При этом производительность сразу падает, что особенно весело при распараллеливании по нескольким машинам, а вскоре теслочке приходит пиздец и она сразу отваливается при запуске чего-то или вообще не стартует. На ресурсах пишут о том что поведение десктопных карточек такое же а прошаренные майнеры писали скрипты для отслеживания ошибок для статистики. Как это смотреть на шинде - хз, возможно в системном журнале.
> 20-40 повторов на картинку
> Вне зависимости от объема датасета
Ну нахер
>Раз такой анонимвас то может просто купишь себе видеокарту?
кожанка тоже собирает инфу на что дрочит этот шизофреник
> Ну нахер
Реквестирую альтернативное мнение
вкатывающийся
Спасибо!
Это опять я со своими видеокартопроблемами. Появился чел, отдающий 3090 за 58к рядом со мной. Ее вообще реально проверить только стресс-тестами без разбора или все равно может отвальной быть?
Термопрокладки еще можно чекнуть, потекли или нет(это если что фиксится заменой и чисткой спиртом)
650-ватт, ты? Ну во первых что за исполнение? Глянь обзоры на нее, че там и как должно быть +-, температуры при X оборотах при T амбиент при Z ватт например, температуры памяти, потом сравнишь с прикидом на текущие условия, если где-то значительные отклонения, то уже можно доебаться с вопросами к продавану. Дельта хотспота в районе 20 градусов норм емнип, если больше, то вопросы к охладу и/или термопасте возникают. Стресс тесты тебе покроют в принципе все основные области, фурмарк, суперпозишн, обязательно какую-нибудь тяжелую игру с гейтрейсингом в 4к или более высоком разрешении через dsr например, все с мониторингом афтербернера. Для стресса врам - осст, по другому хуй знает как 24 гига забить, на младших это в играх можно сделать. Полноценное есс у консумерских 3к емнип только у 3090ти.
На разбор мало кто соглашается, попробуй доеби продавана. С разбором можешь уже примерно оценить не ремонтировалась ли, но тут желательно иметь опыт в пайке и знать что и как выглядит, ребольнутый чип или меняные дрмосы хуй отличишь по пайке, если делали не конченные долбоебы. Некоторые еще любят смотреть на цвет чипа, не ужарен ли он, но с хорошим охладом там нихуя не будет. Можешь на ютубе какого-нибудь викона глянуть, у него вроде были видосы по этой теме. Разбор мало что дает, но позволяет успокоить душу перед покупкой. Ну будут там потекшие или сухие термопрокладки, это по температуре памяти будет видно или сбоку без разбора при удаче можно заглянуть. Ну и предполагай что вообще вся 3к серия майнила, но с хорошим охладом не страшно.
Посоны, что делать в такой ситуации, когда у тебя на руках нужная модель + 2 Лоры. К примеру Лора с нужным персонажем и Лора с нужным стилем. Я юзаю автоматик и следую негласному правилу, что превышать единицу в двух тегах Лоры нельзя, ибо ты "пережжешь" генерацию. Условно я делаю, чтоб было <lora: $name1$ :0.5> и <lora: $name2$ :0.5>. Или <lora: $name1$ :0.3> и <lora: $name2$ :0.7>.
Короче таким образом я теряю или влияние перса в генерации или теряю влияние стиля. Можно ли как-нибудь решить эту хуету? Я гайды конкретно тут не читал, пришел со своим опытом с реддита и ютуба
Короче таким образом я теряю или влияние перса в генерации или теряю влияние стиля. Можно ли как-нибудь решить эту хуету? Я гайды конкретно тут не читал, пришел со своим опытом с реддита и ютуба
X/Y грид по весу лор построй и в нём посмотри, мб будет какое-то удачное соотношение весов.
Лол какие то правила придумал и упёрся в них, просто юзай столько сколько нужно и смотри как будет, некоторые лоры нормально работают с весом выше 1
> следую негласному правилу, что превышать единицу в двух тегах Лоры нельзя, ибо ты "пережжешь" генерацию
Это правило довольно условное и под твои конкретные лоры надо подбирать опытным путем и исключительно на глаз. Пикрил, например, две лоры - 1.0 на персону и 0.8 на стиль, именно то что мне было нужно. В других генерациях с другим стилем значения другие, но тоже больше единицы.
Ну или лоры хуевые и ничего не получится, это тоже будет сразу понятно.
Я это правило то ли в каком-то посте, то ли в видосе увидел и подумал что это логично. Пару раз попробовал сделать сумму двух лор 1.8 потому что мне не хватало, стиля из второй лоры, ну и генерация в кашу говна превратилась. Хорошо, я буду пробовать рандомные значения на разных промптах, может норм все будет. Я думал, что можно одну из лор вшить в основную модель, но это не всегда удобно делать и вообще это полумера
Окей, буду пробовать. Всем за ответы спасибо
Еще один вопрос, иногда на civitai рекомендуют помимо тега вызова лоры еще дописывать trigger words под эту лору. Оно вообще сильно влияет на результат, мб добавляет силу в генерацию? Я немного потестил, у меня просто немного другая генерация получается да и все.
Мне надо это понять, чтобы еще свои обученные лоры лучше контролировать
>650-ватт, ты?
Йеп, он самый.
>Ну во первых что за исполнение?
Zotac Trinity, сейчас гляну обзоры. Вроде как стояла в игровом пк, он скидывает фотки пекарни с лгбт подсветочкой и всеми делами. При этом он продает кучу всякого железа постоянно, что для геймера весьма странно. В отзывах есть видяхи, из архива проданного - удалены.
Спасибо за подробный ответ, приму к сведению.
Сказал, что недавно обслужена в сц с заменой прокладок, но никаких доков он не сохранил естественно оттуда.
Ладно, раз круглосуточные обучальщики не отписываются, мой скромный опыт.
Если лора обучена с применением токена-триггера, то надо дописывать, если нет - не надо. Скорее всего, паразитное влияние где-то может вылезти, но это неточно, опять же зависит от того, насколько хорошо проведен тюнинг. Когда в концепте есть персона, предмет или, например, поза, то триггер необходимо использовать при обучении, иначе смысл теряется. Когда обучаешь стилю, на мой вкус, триггер нахуй не нужен, тут куда важнее описать в датасете максимально широкий спектр предметов-объектов-сущностей, ни в каком art by hudozhnik name надобности нет, это просто лишний мусор - ты потом либо подключаешь лору/эмбединг/гиперсеть, либо нет.
Исключительно субъективное мнение, если чо.
Ну, свитспот обычно в диапазоне 1.5к - 3к шагов, обычно в районе 2-2.5к. Считаешь число пикч, выбираешь чтобы свитспот приходился на эпоху ближе к концу или даже на последнюю если уверен в себе и соответствующим образом выбираешь число повторений, одно на другое разделить думаю осилишь.
Треню с высоким лр и большим батч сайзом, попытки обучения с низким лр и огромным числом шагов, как советовали люди что свои результаты не показывают а только рассуждают, приводили лишь к тому что модель не подхватывала полноценно ключевых деталей и стилистики, но при этом начинала всирать фоны и плохо управлялась. Офк это для nai-based моделей, для sd2.x возможно будет иначе, для низких батчсайзов тоже, хотя единичные эксперименты приводили к тем же выводам.
Гпу мемтест скачай, научись его запускать и вперед. 3к серия при текущем возрасте не склонна к отвалу чипа, да и свежепрогретые ты всеравно не диагностируешь, основные проблемы по врам
Нет такого правила, все зависит от конкретного случая. Некоторые лоры отлично работают совместно, некоторые всирают друг друга, протестируй и посмотри что получается. Можешь поставить аддон и немного поджать веса текст энкодера оставив юнет, иногда от конфликтов спасает. Если всеже не получается то генерируешь с лорой персонажа а апскейлишь с лорой стиля или наоборот, можно просто img2img с умеренным денойзом использовать.
Подскажите настройки "по мощнее", а то персонаж не очень похожим получается
> accelerate на домашней паке
> 8-bit оптимизатор
Кринж. Особенно если второе действительно работает, то прощайся с нормальными градиентами и ровным обучением.
Я нюфаня и не понимаю в этих ваших настройках от слова совсем. Прошу совета у олдов.
> вы напугали питониста-ждуна
Хех, а по существу что-нибудь может скажешь? Разумеется нужен развернутый ответ, вбрасывателей уже дохуя накопилось и все друг другу противоречат
>Можешь поставить аддон и немного поджать веса текст энкодера оставив юнет
О каком аддоне идет речь? Я в первый раз вчера скачал одну из novelai моделей и оказалось, что для них люди юзают некий clip skip, аддон делает примерно, тот же самый клипскип?
Что значит 50 регов?
А, понял regularization images
Посоветуйте как обрабатывать видео чтобы не ломало картинку и нормально распознавались пальцы.
Использовал canny, openpose и depthконтролнеты.
Использовал canny, openpose и depthконтролнеты.
дефликер в давинчирезолв юзай
Никак, у тебя нет связности кадров.
Nope. С этим скриптом возможно есть
https://xanthius.itch.io/multi-frame-rendering-for-stablediffusion
Со скриптом может и есть, а из кадров на видео ничего не получится.
Ты видишь, чтобы в примерах нос менялся? Или прическа?
Как это юзать? Разбить видео на фреймы, первый прогнать через контролнет, отослать его в и2и, выбрать скрипт не выключая контролнет, а дальше?
Я использовал с включенным контролнетом. Выставляешь в скрипте настройки, выбираешь фреймы из исходного видео и тыкаешь генерировать. Он сделает грид, который потом можно нарезать на фреймы и собрать видео сделано через жопу
В примерах просто обмазывают сеткой то, что уже есть на видео, что не интересно. Тут сеть перерисовывает прическу и лицо почти с нуля.
Есть какие-то тулзы, чтобы батчем прозрачный фон у картинок поменять на белый?
В фотошопе запиши действие. Вставь слой с белым фоном
У меня херово работает, один и тот же кадр перерисовывает, можешь подробнее про процесс?
Как я понял, надо взять, разбить видео на фреймы, первый перерисовать контролнетом, отправить назад в и2и, дальше выбрать все фреймы с этого видео в скрипте через upload guide frames, а настройки какие выставить не понятно, можешь скинуть скрин своего и2и окна вместе с контролнетом и этим скриптом?
Работает, лол.
Я поставил в имг2имг фрейм из видео, деноиз на 0.55
В скрипте выбрал деноиз 0,7
В первом списке - First gen, во втором - Input frame
Настройки не сохранились, так что это неточно. В png не сохраняет настройки контролнета ;(
Там в комментах на сайте есть скрины настроек
Вот как раз они нихера и не работают, не понятно даже нужно ли оставлять контролнет с первым фреймом или нет, видимо всё таки нужно
Сейчас попробую
Работает с твоими настройками, надо вообщем крутить параметры, вроде стало чуть лучше, чем то как прогоняли раньше, хз, оцени сам
> все друг другу противоречат
Вся суть треда. У всех есть какие-то любимые настройки, с которыми у них все прекрасно, а как кто-то другой начинает использовать их для себя, так сразу хуита.
Я вот посоветую использовать dim 32, alpha 16. train_batch_size = 1, scheduler = "linear"
То про сами алгоритмы обучения, планировщики, оптимайзеры и код. А настройки могут меняться в зависимости от задачи, кроме того есть несколько способов достигнуть желаемого.
> dim 32, alpha 16
Нулевые тензоры не вылезают?
> train_batch_size = 1, scheduler = "linear"
А lr, размер датасета, число повторений пикч?
И что получается с такими настройками, можешь примеры показать? Исключительно пользы для, в идеале гриды или что-то подобное
> Нулевые тензоры не вылезают?
Не чекал. На глаз смотрю.
> А lr, размер датасета, число повторений пикч?
Такие же, как и на твоем скрине выше, я как бы их исправил под свои
> можешь примеры показать
Не знаю, на что тут смотреть. По идеи все должно быть так, будто основная модель уже знает твой концепт на уровне какой-нибдуь популярной Сырни или легендарной Аски, при этом не херить фон, а персонаж должен уметь принимать позы промтом.
Какой тебе развёрнутый ответ, шиз? Не можешь загуглить зачем accelerate? Или тебе надо объяснить почему градиенты идут по пизде при низкой точности?
Блин, анонче, я забыл спросить, а какой токен-то её триггерит?
Кыш.
Объясни мне. Загуглил акселерейт, там написано:
🤗 Accelerate is a library that enables the same PyTorch code to be run across any distributed configuration by adding just four lines of code! In short, training and inference at scale made simple, efficient and adaptable.
Загуглил 8 бит адам, там написано:
Stateful optimizers maintain gradient statistics over time, e.g., the exponentially smoothed sum (SGD with momentum) or squared sum (Adam) of past gradient values. This state can be used to accelerate optimization compared to plain stochastic gradient descent but uses memory that might otherwise be allocated to model parameters, thereby limiting the maximum size of models trained in practice. In this paper, we develop the first optimizers that use 8-bit statistics while maintaining the performance levels of using 32-bit optimizer states. To overcome the resulting computational, quantization, and stability challenges, we develop block-wise dynamic quantization.
Т.е. это не тупа конверт.
Че не так с ними? Лорки тренятся нормально.
мимо паскаледебил 10 лет не погромировал
Забей, дебил просто баззворды кидает, не разбираясь в вопросе.
Кому ты больше веришь, челу, который это говно написал и выставил дефолты, или васяну с анонимной имиджборды?
Первое конечно же, все работает и работает нормас. Но вдруг это непризнанный гений и знает как сделать лучше, щас все разъяснит, создаст ПР в репе кои и мы сразу же переместимся в утопическое будущее, можно будет тренить на 2 гигах и амд картах, на улице бесплатно смуззи будут наливать.
>создаст ПР в репе кои
Ага, как же.
Там-то ему сразу на голову насрут.
Залейте лору с Юлей на civitai плиз. Там есть теги на бесконечное лето everlasting summer
Мне лень делать свою.
Ну типо того что у меня вышло
> distributed configuration
Чел...
> Загуглил 8 бит адам
А чего дальше не почитал и не разобрался что он для текстовых моделей transformers?
>Чел...
Чел, accelerate прекрасно работает без distributed configuration...
Это правильные параметры?
ss_clip_skip: "2" - для аниме/nai
ss_clip_skip: "1" - для реал/sd1.5
ss_clip_skip: "2" - для аниме/nai
ss_clip_skip: "1" - для реал/sd1.5
Хз как видео сделать более плавным, пробовал еще денойз базовый повыше, и два контролнета, все равно персонажа даже теряет
Правильные.
Аноны, а есть какие-нибудь базовые рекомендации по LORA с параметрами сетки/обучения/разметки датасета чтобы уменьшить запоминание и перенос стиля при обучении на персонажа/объект? Имеет смысл добавлять теги авторов артов чтобы можно было при инференсе исключать их? Дроч с регуляризационными может помочь?
Если еще не пробовал, попробуй экстеншен ebsynth_utility, с пальцами он скорей всего не поможет, но с дерганностью видео может помочь. Там тоже контрол нет используется для имк2имг (но вдроде мало настроек для котролнета)
> Чел...
Что мешает скукожить дистрибьютед конфигурейшон до сигл гпу? Там еще какие-то speed optimizations.
> А чего дальше не почитал и не разобрался что он для текстовых моделей transformers?
Что мешает его применить к другим моделям?
Ты так и не объяснил нихуя. Думаешь я до тебя просто так доебался?
бампусик.
>ebsynth_utility
Попробую. Если нужно будет обрабатывать только кейфреймы, то будет меньше возбни с контролнетом и img2img
Ок. Много тестировал, чтоб фоны интегрировать, да вот все никак.
Замутите микс вот этих трех моделей, примерно 34/33/33:
https://civitai.com/models/10028
Neverending Dream: хорошо понимает лолек и 3д формы, но никакой стиль
https://civitai.com/models/4099/laolei-new-berry-protogen-mix
Laolei newberry protogen mix: отличные цвета, тонкие детали, но однообразно, блекло и не знает лолек
https://huggingface.co/SweetLuna/Kenshi
Kenshi: сильный стиль, высокая детализация, но дженерик и плоская графика, слишком много черной туши
Самый топчик будет Neverending dream с шейдингом laolei и детализацией kenshi.
https://civitai.com/models/10028
Neverending Dream: хорошо понимает лолек и 3д формы, но никакой стиль
https://civitai.com/models/4099/laolei-new-berry-protogen-mix
Laolei newberry protogen mix: отличные цвета, тонкие детали, но однообразно, блекло и не знает лолек
https://huggingface.co/SweetLuna/Kenshi
Kenshi: сильный стиль, высокая детализация, но дженерик и плоская графика, слишком много черной туши
Самый топчик будет Neverending dream с шейдингом laolei и детализацией kenshi.
Тестовый с img2img на шару. Надо будет получше подобрать настройки контролнетов, чтобы не так сильно ломало. Может бы ть просто скормлю первое видео
Выглядит лучше в плане плавности пальцев и рук.
Почему-то обработало только мелкий отрезок видео, хотя аудио взяло полностью..
А это вообще просто делается? Если да, я то могу на своей видяхе, только гайдик скинь
Дополнил гайд https://rentry.co/sd_performance
https://rentry.co/xformers_builds
1. Для варианта с использованием предварительно-скомилированного торча вынес несколько версий (две старых и ещё сегодняшнюю) в отдельный rentry, т.к. прошлый билд не работал у некоторых анонов. Возможно, имеет смысл скомпилировать ещё несколько старых версий, но я пока не знаю, есть ли такая потребность.
2. Для гайда с ручной сборкой немного поменял финальные шаги сборки, чтобы в конце высирался собранный пакет в whl формате, который можно позднее запаблишить или сохранить на всякий.
3. Добавил секцию по сборке xformers без привязки к автоматику, чтобы можно было получить скомпилированный whl-файл не шатая пакеты в самом автоматике.
Ещё пункт про бекапы /venv добавил, чтобы можно было безболезненно откатиться, если апдейт вам поломал всё.
https://rentry.co/xformers_builds
1. Для варианта с использованием предварительно-скомилированного торча вынес несколько версий (две старых и ещё сегодняшнюю) в отдельный rentry, т.к. прошлый билд не работал у некоторых анонов. Возможно, имеет смысл скомпилировать ещё несколько старых версий, но я пока не знаю, есть ли такая потребность.
2. Для гайда с ручной сборкой немного поменял финальные шаги сборки, чтобы в конце высирался собранный пакет в whl формате, который можно позднее запаблишить или сохранить на всякий.
3. Добавил секцию по сборке xformers без привязки к автоматику, чтобы можно было получить скомпилированный whl-файл не шатая пакеты в самом автоматике.
Ещё пункт про бекапы /venv добавил, чтобы можно было безболезненно откатиться, если апдейт вам поломал всё.
> предварительно-скомилированного торча
*xformers, конечно же
Там больше к оперативной памяти вопрос, а так прям в дефолтном СД или с каким-то модулем есть миксер (я другой анон, просто мимо проходил).
>Почему-то обработало только мелкий отрезок видео, хотя аудио взяло полностью
В ebsynch закидывал все .ebs файлы? Скрипт может сгенерить больше одного файла, тогда нужно обработать ебсинком их все (закидывать вроде можно только по одному за раз)
Хз, что еще может быть, у меня не было такой проблемы.
В ebsynch закидывал все .ebs файлы? Скрипт может сгенерить больше одного файла, тогда нужно обработать ебсинком их все (закидывать вроде можно только по одному за раз)
Хз, что еще может быть, у меня не было такой проблемы.
Да, он сделал несколько и я все закинул. Наверное баг или я ошибся. Из 400 фреймов только 100 получил, хотя фреймы видео и кейфреймы сделаны нормально
Оперативы у меня только 16гб, еще и ддр4... Надо бы докупить еще 16
Тогда лучше не берись, там и 32 мало бывает. Надо мне докупить ещё 32.
> примерно 34/33/33:
Это как? Объясни формулу.
Мержу модели на 16 гигах нормально, только свопа дохуя отжирает, 40-60 гигов. Ну и скорость так се, при составлении гридов по слоям в супермержере прям посос.
>Ну и скорость так се
Собственно поэтому и рекомендую мержить тем, у кого вагон оперы, а не заниматься онанизмом и протиранием SSD до дыр.
Ахтунг, пора катить, тонем же! Здесь бамплимит 500, а 1000 только для двух тредов!
Ахтунг (2), на гуглоколабе обновился пихон с 3.8 на 3.9, у меня сегодня не завелись иксформерсы, заработало после пнресборки оных из сорцов (команда на всякий случай там прилигалась), как поделиться - не знаю.
Ахтунг (2), на гуглоколабе обновился пихон с 3.8 на 3.9, у меня сегодня не завелись иксформерсы, заработало после пнресборки оных из сорцов (команда на всякий случай там прилигалась), как поделиться - не знаю.
> протиранием SSD до дыр.
Да похуй, я его именно для этого и брал.
https://twitter.com/BlockadeLabs/status/1634578058287132674
Рисуем комнату в ВР.
Делаем из этого cribble для контролнета.
Пишем промпт.
Скармливаем ИИ.
Вуаля, у нас внутренний скайбокс для ВР-комнаты.
Так ведь и до полноценных ВР-миров, сделанных через АИ недалеко уже.
Рисуем комнату в ВР.
Делаем из этого cribble для контролнета.
Пишем промпт.
Скармливаем ИИ.
Вуаля, у нас внутренний скайбокс для ВР-комнаты.
Так ведь и до полноценных ВР-миров, сделанных через АИ недалеко уже.
Первый вариант у меня ломает автоматик.
Вебуй грузится (в начале правда варнинг выдает о том, что torchvision.transforms.functional_tensor module типа устарело), генерация не стартует.
Второй вариант выдает то же самое.
Куча ошибок, в конце
>RuntimeError: CUDA error: no kernel image is available for execution on the device
CUDA kernel errors might be asynchronously reported at some other API call, so the stacktrace below might be incorrect.
For debugging consider passing CUDA_LAUNCH_BLOCKING=1.
Compile with `TORCH_USE_CUDA_DSA` to enable device-side assertions.
Послений вариант вообще не ставится.
>ERROR: Could not find a version that satisfies the requirement torch==2.0.0
И потом еще много всякой ерунды.
Походу, по ссылке нифига уже нет.
Кароче, там есть два плогенса для перфект мерджа через аэстетик скор
Первый плагин https://github.com/Xerxemi/sdweb-auto-MBW просто перебирает все значения всех блоков рендеря по настройкам и выбирая лучший скор, потом собирает готовую модель, пишут что на 4090 при около 50 степах 768 пикселей работает больше часа, так что нищуки страдать. Результивную модель тестовую между энифингом и оранжем от автора можно скачать отсюда https://huggingface.co/Xynon/SD-Silicon/tree/main (качать Silicon29), почитать про всю хуйню с примерами и различиями тут https://medium.com/@media_97267/the-automated-stable-diffusion-checkpoint-merger-autombw-44f8dfd38871
Модель очень клевая получилась, можно юзать в качестве обучалки изи.
Второй плоген уже исполует баесиан апроуч для вероятностного просчета чтобы уменьшить количество тупых переборов брутфорсом https://github.com/s1dlx/sd-webui-bayesian-merger но нужно дольше настривать
Первый плагин https://github.com/Xerxemi/sdweb-auto-MBW просто перебирает все значения всех блоков рендеря по настройкам и выбирая лучший скор, потом собирает готовую модель, пишут что на 4090 при около 50 степах 768 пикселей работает больше часа, так что нищуки страдать. Результивную модель тестовую между энифингом и оранжем от автора можно скачать отсюда https://huggingface.co/Xynon/SD-Silicon/tree/main (качать Silicon29), почитать про всю хуйню с примерами и различиями тут https://medium.com/@media_97267/the-automated-stable-diffusion-checkpoint-merger-autombw-44f8dfd38871
Модель очень клевая получилась, можно юзать в качестве обучалки изи.
Второй плоген уже исполует баесиан апроуч для вероятностного просчета чтобы уменьшить количество тупых переборов брутфорсом https://github.com/s1dlx/sd-webui-bayesian-merger но нужно дольше настривать
Смысла особого нет, потому что скор говно. На выходе будут мастерпися-арты без мастерписи в промпте, а когда захочешь без мастерписи нарисовать конкретный объект - пойдёшь нахуй.
Аргх.
Как же меня это всё достало.
Каждый день что-то новое то ломается, то чинится.
Сколько можно уже?
Как же меня это всё достало.
Каждый день что-то новое то ломается, то чинится.
Сколько можно уже?
>ря нинужно
Ну попробуй, модель то есть.
>потому что скор говно
>The generated checkpoint is then used to create images that are fed into an aesthetic classifier, such as cafe-aesthetic or laion-V2, which outputs an aesthetic value that ranks the changes made by tweaking that specific value in the merge.
Почему кстати говно-то? Там не маняскор с бур всяких кстати, а модели заточенные под скоринг.
> модель то есть
Так ты сам-то пробовал? На них упор на мастерпися-фоны. Попробуй сам на этой модели лору прицепить и сгенерить персонажа без лишнего говна.
Так ты почитай что он там скорит. Он определяет насколько разнообразная композиция на пике, так называемое "качество арта". В той модели именно это и видим - фоны с нейрошумом. Абсолютно то же самое делается например с "art by peter mohrbacher, ruan jia, reza afshar, marc simonetti, alphonse mucha" - получишь такую же мастерписю.
>Так ты сам-то пробовал?
Да, заебись моделька.
>На них упор на мастерпися-фоны.
Не согласен.
>Попробуй сам на этой модели лору прицепить и сгенерить персонажа без лишнего говна.
Я персонажных лор не имею, у меня только стилистические и всякие позы да улучшайзеры, с ними работает прекрасно.
>Абсолютно то же самое делается например с "art by peter mohrbacher, ruan jia, reza afshar, marc simonetti, alphonse mucha" - получишь такую же мастерписю.
Ну так себе аргумент, он непрвоеряем.
Давай лучше начнем с того, что изначально сд тренируют и потом тюнят как раз скорерами, в том числе лайоном, который можно юзать в скрипте.
> изначально сд тренируют и потом тюнят как раз скорерами
Не пори хуйни, aesthetic score нигде при обучении SD не используют, только CLIP score. Он не может определить что конкретно на пике и бесполезен для обучения text2img моделей. Разве что как метрику для визуализации качества деноиза можно использовать, но в оригинальном SD его нет даже для такого.
>Не пори хуйни, aesthetic score нигде при обучении SD не используют
Чел, лайоном сд2.0+ вычистили все нсфв...
Чел, ты вообще в курсе что там был CLIP, а не aesthetic? Нахуй ты лезешь, если не знаешь?
https://github.com/LAION-AI/CLIP-based-NSFW-Detector
Ну так для это же фильтр для клипа, а нам фильтровать не надо, а надо слияние сделать оптимальное. Так что все фул легит, лайон может в оценку и аестетиком.
Он никакого отношения к обучению SD не имеет и оценивает только сложность композиции, не её содержание. Ты этим сможешь только нейрошум отскорить. Ну в общем разговор не о чём. Как принесёшь примеры повышенного качества миксования на реальных генерациях, так и будем продолжать. А нейрошум можно абсолютно на любой модели забустить.
>Как принесёшь примеры повышенного качества миксования на реальных генерациях, так и будем продолжать.
Как будто мне нечем заняться, вон у автора на страничке гриды есть - лакомись, мне лично результат работы нравится. И вообще условный оранж точно также тюнили отбирая лучшие положения процентных соотношений блоков, ток вручную, так что ты споришь просто с рабочим методом.
Супер!
>Ахтунг, пора катить
https://civitai.com/gallery/232919?reviewId=38082&infinite=false&returnUrl=%2Fmodels%2F12590%2Fnekopara-or-7-neko-girl
Кто из нас долбаеб?
Да, у меня лора от одного токена не работает, нужно минимальное описание тянки, вроде цвета волос, цвета глаз и вида одежды. Дал это понять по превью.
Но типа у кого-то лоры на персонажей работают лишь от токена?
Кто из нас долбаеб?
Да, у меня лора от одного токена не работает, нужно минимальное описание тянки, вроде цвета волос, цвета глаз и вида одежды. Дал это понять по превью.
Но типа у кого-то лоры на персонажей работают лишь от токена?
Как переключение vae вывести на главный экран, чтобы в настройки не лазить?
Благодарю
Можно ли лору тренеровать на разных разрешениях, или если выстовил 1024 то только на ней возможно?
Можно. А вот что и как ты собрался в 1024 тренировать - это уже интересно.
На Шинобу на разных стилях, мне не нравиться как выходят некоторые элементы и подумал что можно юзать более мелкие пикчи для таких концептов, и ещё если я собираюсь дообучать на подправленом датасете, то нужно ли снижать lr? Если да то во сколько? А если я добавлю новый концепт типа художника на 1/6 датасета?
Попробовал ещё раз провести эксперимент с проверкой того, как выпиливание бекграундов для датасета влияет на качество фонов при генерации, на этот раз для лор.
Сделал две версии своего датасета - в одном оставил оригинальные бекграунды, а в другом, при помощи этой либы https://github.com/SkyTNT/anime-segmentation выпилил бекграунды. Эта либа делает бекграунд прозрачным, что не сочитается с лорами (насколько мне известно). Так что через этот скрипт (спасибо анону и ChatGPT) поменял у всего датасета фон с прозрачного на белый (+ ещё тег white background добавил ко всем картинкам). Затем обучил две лорки с одинаковыми настройками по этим двум датасетам. В примерах использую последнюю эпоху, чтобы по максимуму увидеть последствия переобучения.
Колонка 1 - без лоры
Колонка 2 - лора, обученная на белых фонах
Колонка 3 - лора, обученная на стандартных фонах
По итогу, различие в качестве фонов между лорами надо под лупой выискывать, так что всё же склоняюсь к мнению, что смысла тратить время на удаление фонов в датасете не имеет смысла при обучении лор на персонажей. Либо это всё же особенность моего датасета, так как на значительной части картинок, на которые приходится много повторов, фоны и так одноцветные (хотя много иероглифов, как правило).
В либе, кстати, неправильно указаны аргументы в примере вызова (там --data-dir, а нужно просто --data), у меня такой вариант заработал, если кому-нибудь нужно:
python inference.py --net isnet_is --ckpt ./models/isnetis.ckpt --data ./input --out ./out --img-size 1024 --only-matted
Сделал две версии своего датасета - в одном оставил оригинальные бекграунды, а в другом, при помощи этой либы https://github.com/SkyTNT/anime-segmentation выпилил бекграунды. Эта либа делает бекграунд прозрачным, что не сочитается с лорами (насколько мне известно). Так что через этот скрипт (спасибо анону и ChatGPT) поменял у всего датасета фон с прозрачного на белый (+ ещё тег white background добавил ко всем картинкам). Затем обучил две лорки с одинаковыми настройками по этим двум датасетам. В примерах использую последнюю эпоху, чтобы по максимуму увидеть последствия переобучения.
Колонка 1 - без лоры
Колонка 2 - лора, обученная на белых фонах
Колонка 3 - лора, обученная на стандартных фонах
По итогу, различие в качестве фонов между лорами надо под лупой выискывать, так что всё же склоняюсь к мнению, что смысла тратить время на удаление фонов в датасете не имеет смысла при обучении лор на персонажей. Либо это всё же особенность моего датасета, так как на значительной части картинок, на которые приходится много повторов, фоны и так одноцветные (хотя много иероглифов, как правило).
В либе, кстати, неправильно указаны аргументы в примере вызова (там --data-dir, а нужно просто --data), у меня такой вариант заработал, если кому-нибудь нужно:
python inference.py --net isnet_is --ckpt ./models/isnetis.ckpt --data ./input --out ./out --img-size 1024 --only-matted
> Но типа у кого-то лоры на персонажей работают лишь от токена?
Работают, если из тегов датасета убирать к хуям описание персонажа, внешку шмотки etc.
Дримбудка и лора в частности довольно толерантны к качеству датасета на самом деле. Заебываться настолько смысла особо нет. Параметры модели и обучения больше разницы дадут. Главное чтобы теги не совсем говно были.
Вообще сложилось ощущение, что до приемлимого качества натренить лору зачастую не проблема даже не запариваясь с чисткой тегов и на дефолтных параметрах. А дальше уже начинается полурандомная магия и анальная зависимость сочетаний качества и балансировки датасета с параметрами модели и обучением, и с каждым процентом улучшения модели задроченность тонкой настройки растет x^2
Ну и как с этим со всем теперь разобраться? Сначала добавили LoСon, тут пару постов проскочило, потом появился Kohya LoСon, мы молчали, теперь они решили доебать окончательно.
Если фон одинаковый на всех пикчах, то лучше удалять/менять. Сужу по опыту обучения гиперсети на фото. У меня фон "запекался" в сеть вместе с объектом. Не знаю, может с лорами всё не так
Самое главное - непонятно в чем разница.
Если он везде был протэган - то не должен запекаться.
Другое дело, что рандомно может и без тэга выскакивать, но негативом у меня такое очень просто лечилось.
Вот и я об этом. На гитхабе с умным видом выложили картинки, я с умным видом посмотрел и решил забить до лучших времён.
Пока хач обзор не сделает.
Ну пиздец. Они еще там смешивают по формулам уровня "ACM+LoHA+DAdapt", вычитают и прибавляют дримбухи. Вангую тотальную еблю с результатом уровня погрешности, ибо фикситься одно, а ломается другое от доп.данных.
Сколько раз сталкивался с тем, что больше=значительно лучше и каждый раз это не так. Будто нельзя сделать заебись не живя всем этим.
>Раз такой анонимвас то может просто купишь себе видеокарту?
Во-первых, с финансами, как обычно, не всё стабильно.
Во-вторых, в таком случае нужно будет вообще системный блок собирать, а зачем он мне, если и так ноут есть? Я вроде на мажора не похож.
"Дрочерство" тут ни при чём, просто мне не совсем хотелось бы отчитываться за каждую крупицу данных, которые кто-либо может использовать против меня, да даже просто докапывать в стиле "ну, вот оно тебе надо, почему ты не как нормальные люди?" особенно, в случае деанона.
Как тегировать датасет для lora на базе реалистичной модели (sd 1.5)? Booru теги не будут работать? Clip выдает длинные описания не понятно как будет работать опция перемешивания токенов.
Тэги работать будут, но тут как повезет.
Лучше clip используй и отключай перемешивание. Зачем оно тебе, когда у тебя и так сложные и не повторяющиеся предложения?
Как использовать клип для датасета? Знаю только про кнопку в автоматике для одного изображения
Сюда тоже насру. Помогите разобраться с этим говном! Я не хочу новый тормозной аноноколаб, я ходу реанимировать старый! Можно ли это исправить, и если можно, то как?!
Укатывания лендскейпов в уберреалистичность - один из признаков поломки, но в этом также могут быть виноваты теги. Главное что результат получается
> Такие же, как и на твоем скрине выше
Хз о чем ты, на пикче в посте выше только параметры обучения, число повторений и количество пикч там не показывается, это параметры датасета. Поделись если не жадина
По первой складывается впечатление что с оригинальными фонами отработало лучше с точки зрения детальности бекграунда. На третьей чуть больше похоже на оригинал но не сказать что колонка 2 сильно хуже в этих сидах.
А это с каким числом шагов? Более ранние или поздние эпохи не смотрел?
Подобная анонимность - привелегия тех кто может себе позволить железо и/или свой софт. Парадигма мира, увы, такая, или попадаешь в бигдату, или тратишь сотни нефти и ресурсов не попытки этого избежать. А тут еще такой пряник в виде крутых расчетных мощностей нахаляву.
wd 1.4 tagger, deepdanbooru
Что-то совсем потанули, нужен перекот
Мне поможет кто или это нереально?
Я уже почти неделю не генерил картинки
Я уже почти неделю не генерил картинки
Входных данных мало, тебе только надеяться что такую ошибку уже кто-то встречал и решил что маловероятно. После чего это случилось хоть?
> Что-то совсем потанули, нужен перекот
Было бы неплохо, куда оп пропал, который шаблон шапки еще может отредачить? Там бы удалить мертвые ссылки на репозитории моделей и лор
Я понятия не имею что там с колабом, но на локальной установке тоже было такое, там какой-то пакет неправильной версии, надо было просто старую поставить
У ватоматика уже пофикшено, че делать на кал лабе - хз.
https://github.com/AUTOMATIC1111/stable-diffusion-webui/pull/7717
Стоит обсудить что в новую шапку можно добавить для начала
Как вариант предлагаю: локоны, параметры тренировки анонов что в этом треде писали, выводы по бекграунду, мердж лор, контролнет, могу complete idiot guide с примером по обучению лоры скриптом локально запилить.
Просто в один прекрасный день колаб отказался запускаться
Я нашёл что там проблема с fastapi
добавил строку
>!pip install --upgrade fastapi==0.90.1
по советам с фейса и реддита
Посмотрим что получится
У него вроде пре-процесс картинок на вкладке с тренировкой где-то был, насколько я помню. Целую папку туда можно запихнуть. Файлы с текстом создает, картинки ресайзит, всё такое.
Iбать я погромист:3
Хо Ши Мин, ты? Ну форкай тогда шапку и переписывай хотя бы понемногу, раз оп уже забил и не появляется тут
> локоны
А про них есть какая полезная инфа у тебя? Я вообще хз зачем это появилось, до сих пор нету поддержки в автоматике или аддишионал нетворкс, без отдельного экстеншена.
> параметры тренировки анонов что в этом треде писали
> мердж лор
Да, годно было бы.
> контролнет
Это отдельный гайд вообще писать придется, там же столько применений, неужели займешься?
> могу complete idiot guide с примером по обучению лоры скриптом локально запилить
Да уже давно местный аскотест напрашивается с готовым датасетом, для проверки корректности работы тренировки. Вот сейчас как раз решил проверить можно ли сделать две абсолютно одинаковые лоры с одинаковыми хешами, у меня не получается, параметры теже, шафл выключен, сид залочен. Генерации похожи, но чуть чуть отличаются, можно ли это считать правильным аскотестом, ну хз, наверное да. Пик1, пик2 - просто одинаковые настройки, пик3 - +шафл с теми же настройками.
Кстати до сих пор в шапке нету мокрописьки гуя для тренинга лор от одного из местных без вести пропавших, лично мне удобно именно ей пользоваться https://github.com/anon-1337/LoRA-train-GUI
Я специально генерил на миксах оранж-миксов с тегами реализма, чтобы проверить, как оно будет. Мне наоборот не хотелось бы, чтобы с персонажем копировался и стиль.
Пикчи с инфой соответствуют пикчам из моего предыдущего поста. 4пик не кидаю, так как она как 1пик, но в этой версии больше аниме скриншотов, что дает копирование стиля для одного из концептов, что мне и не надо было.
> Хо Ши Мин, ты?
Едва ли, хотя есть точки пересечения
> Ну форкай тогда шапку и переписывай хотя бы понемногу
Нууу если никто не возьмется то можно, конечно, денек на сбор мнений. Лучше Хо Ши Мину это поручить а мы отдельные моменты выдвигать будем
> А про них есть какая полезная инфа у тебя?
Не, все никак не попробую. Раз из примеров на весь тред только специфичное фурри где разницы и нет то пока в шапку рано значит
> Да, годно было бы.
Ну параметры могу собрать, про мерж к Сенкофагу
> неужели займешься
Едвали, может потом
> Да уже давно местный аскотест напрашивается с готовым датасетом, для проверки корректности работы тренировки.
Выбирайте персонажа или готовый датасет если есть. Или сам выберу заодно из старых что уже есть может что добавлю
> Я специально генерил на миксах оранж-миксов с тегами реализма
Ну тогда все ок, Ювао разве что не совсем похожа на оранжи
> 768
У тебя случаем нет сравнения с 512 тренингом?
> Не, все никак не попробую. Раз из примеров на весь тред только специфичное фурри где разницы и нет то пока в шапку рано значит
Мне вообще кажется что оно не сработало, ну или это просто не стоит вообще того, чтобы заморачиваться. А есть же еще какое то loha, название как бы намекает.
> Ну параметры могу собрать, про мерж к Сенкофагу
А по вайт бекграунду в итоге что, тоже трата кучи времени на 1% улучшения? Ну вроде выглядит здорово для овертрейна и добавления потом в негатив этих симпл беков, персонаж же будет прямо повторен, только наверное откажется переодеваться.
> Едвали, может потом
Тогда можно в туду записать, как это было в шаблоне раньше.
> Выбирайте персонажа или готовый датасет если есть. Или сам выберу заодно из старых что уже есть может что добавлю
У меня много этих датасетов, на персонажей и стили, причем я хз на стиль точно нужны большие альфа и дим при батч сайзе в один, стоит ли это как то разделять в тесте?
А вот что точно стоит делать, это указывать версию сд-скриптс, там какие то опять обновы у кохуи, которые он сам описывает, как не стабильно работающие, мельком глянул
> У тебя случаем нет сравнения с 512 тренингом?
Я не он, но раз уж сейчас занимаюсь аутизмом то попробую заодно и так сравнить, только хз как это правильней проверить, пальцами чтоли, как мелкими деталями, зависящими от разрешения?
Короче извини, но хуйня оказался твой способ, сразу старух и жирное ебало делает с таким LR. А от модели достаются олдскульные причёски. Остановился на дефолтном cosine и тренить, внезапно, на delibearte/analog madness.
Может я использовал еще anything-v4.5, который тоже является миксом.
> 512
Если даже и есть, то не найду. Постоянно что-то прибавляю из дата-сета, что-то убираю, меняю параметры методом тыка каждый раз и поэтому найти точное сравнение - легче сделать еще раз.
В целом, иногда 768 помогает значительно, но иногда нихрена.
> А по вайт бекграунду в итоге что, тоже трата кучи времени на 1% улучшения
Кмк на ухудшение, субъективно офк, но отрицательный результат тоже результат. Или может не туда смотрю, тут надо больше примеров и указаний как интерпретировать. Алсо здесь важнее будет пример где остались не чищенные иероглифы, надписи и прочее, будет лезть нещадно если такого в датасете много.
> Тогда можно в туду записать
Дело говоришь
> причем я хз на стиль точно нужны большие альфа и дим при батч сайзе в один, стоит ли это как то разделять в тесте?
Можно добавить по мере так сказать, для начала персонаж и батч сайз что влезет в 8 гигов, например.
> только хз как это правильней проверить, пальцами чтоли, как мелкими деталями, зависящими от разрешения
В первую очередь качество передачи персонажа, работает ли также хорошо как 512. Далее уже мелкие детали и глаза при тренировке стилей некоторых авторов, их всирает в первую очередь
Тут вот не особо помогло. Вроде стали лучше рукава и значок на шее. Да, скорости разные и сеты немного тоже, но в целом не сильно разница видна. А вот когда делал по Некопраре и me!me!me!- там очень сильно глаза ломались.
Так ну пример есть, осталось сделать с настройками под 8гиговых и альтернативными, на днях что-нибудь будет, может даже раньше.
Какая на рентрай политика по легкому нсфв?
Какая на рентрай политика по легкому нсфв?
Вообщем сделал две лоры с одинаковыми параметрами тренировки, единственное отличие между ними разрешение, в6 - 768, в7 - 512. Грид делал 768 квадратом, лосс, не уровня погрешности, ниже именно у лоры 768 во время тренировки. Но лучше основной объект тренировки, то есть персонажа и её платье объективно запомнила именно 512, лол. В то время субъективное имхо, в среднем по палате пальцы получаются лучше с 768. Платье это просто позор на 768, походу 768 намного более придирчив к датасету, там есть пара картинок с не просто белым платьем, а градиентом на вот этот синеватый цвет.
Алсо как доебали эти спайки между концом и началом эпохи, вот как с ним батчем тренить, это же пиздец наступает на первые пару шагов, было у кого такое?
Алсо как доебали эти спайки между концом и началом эпохи, вот как с ним батчем тренить, это же пиздец наступает на первые пару шагов, было у кого такое?
В6 чуточку лучше глаза, в7 более живая чтоли, по передаче костюма очевидно. Тут просто суть в том что sd1 модель неоче хорошо работает за пределами когерентности, и при обучении это может быть критичным, перебивая преимущества более высокого разрешения
> sd1 модель неоче хорошо работает за пределами когерентности
Разве этот предел не заканчивается как раз на 768х768, ну или же 0.5 мегапикселя?
Емнип там уже на 0.35 начинаются траблы, много факторов
А почему генерится тогда квадрат 768 нормально? Модель для тренировки с наи сменить на новомодный микс тогда?
Не эксперт, но вроде всем похуй. Это большой батч сайз и альфа 1?
Да чего "извини", всё норм, спасибо за фидбэк!
Какие у тебя параметры датасета и тренировки? Я делиберейт и аналог маднесс ещё не пробовал...
> нормально
Ну как нормально, простое сделает, в сложных позах будет больше пиздеца и меньше вероятность нормальных пальцев чем при 512х512. Оно оче редко может и 1кх1к сгенерировать хорошо.
> вроде всем похуй
Так этож для гайда, или не нужон?
> большой батч сайз и альфа 1
Да, но есть и альтернативные примеры с разным бс, лр, альфой, фп/бф и т.д. Таки самому интересно подтвердить или опровергнуть
Я всё ещё треню DreamBooth. Искренне считаю, что для моих задач норм. Например, если я хочу двух тянок в рисовке конкретного художника. Или если я хочу фотореалистичную ЕОТ-модель по мотивам фоток конкретной косплеерши.
Вопрос: а больше регов - это всегда лучше? В DreamBooth каждый рег имеет одинаковый тегинг (class prompt), так что нашлёпать регов - вопрос только времени. Но большого.
Вопрос: а больше регов - это всегда лучше? В DreamBooth каждый рег имеет одинаковый тегинг (class prompt), так что нашлёпать регов - вопрос только времени. Но большого.
Господа, подскажите, пожалуйста.
Созрел, наконец, до клепания своих Лор - гайд в шапке ведь актуален?
>✱ LoRA – "легковесный Dreambooth" – подойдет для любых задач. Отличается малыми требованиями к VRAM (6 Гб+) и быстрым обучением:
https://rentry.org/2chAI_LoRA_Dreambooth_guide
Интересу
Созрел, наконец, до клепания своих Лор - гайд в шапке ведь актуален?
>✱ LoRA – "легковесный Dreambooth" – подойдет для любых задач. Отличается малыми требованиями к VRAM (6 Гб+) и быстрым обучением:
https://rentry.org/2chAI_LoRA_Dreambooth_guide
Интересу
Что бы дообучить лору в скрипте нужно просто указать название лоры в output_name и где она находиться?
25 фото, все теги прописаны, но одежда/волосы запекаются насмерть, всё же нужно красить/переодевать для нормального результата. Параметры оставил дефолтные - cosine, warmup 0, но надо ещё потестить с ним. 50 проходов. Сейчас играюсь с начальным LR, чёт слышал что при cosine не имеет значения, но внезапно нет.
Output - это выходной файл.
В зависимости от того, где обучаешь, возможность до-обучения будет в разных местах записана.
Ну допустим у меня есть лора а в папке б, мне нужно писать $output_name= a, $output_dir = б ? Мне тут говорили что это так делается, или я не правильно делаю?
мимокрок, нужен совет
Если просто генерю в малом разрешении(пик1), будь то лора или нет, все нормально выглядит, просто лоурез, если что-то делаю с контролNET(пик2), пикчу пиздец шакалит, зашарпливает и все что можно делает с ней, лишь бы это выглядело несмотрибельно.
Делать выше разрешение? - анатомия выходит из чата
Делать с хайрезfix? - изначальная маска выходит из чата
Суккакфиксить
Если просто генерю в малом разрешении(пик1), будь то лора или нет, все нормально выглядит, просто лоурез, если что-то делаю с контролNET(пик2), пикчу пиздец шакалит, зашарпливает и все что можно делает с ней, лишь бы это выглядело несмотрибельно.
Делать выше разрешение? - анатомия выходит из чата
Делать с хайрезfix? - изначальная маска выходит из чата
Суккакфиксить
Он изначально рассчитан на версию 0.4.0, в теории все должно работать и до 0.4.4, возможно и на 5й версии заведется. Надо посмотреть как получится что там с версиями, в общем помимо добавления новых параметров там все то же.
Я имел в виду, в зависимости от того, каким скриптом и на каком коллабе обучаешь - может быть по-разному это прописано.
Output в любом случае это то, куда ты свою лору писать будешь, и под каким именем. Это не то.
Я юзаю скрипт из гайда местного, и если то как я делал неправильно, что очень вероятно, то единственный вариант это $ckpt, правда я думал что основная модель всё таки нужна для дообучения, но видимо она нужна была только как отправная точка, а дальше лора работает как самостоятельная в плане обучения
>.jpg
Хуя Шимакадзе подросла. Она ж плоскодонка.
Принял, спасибо!
Нашёл гит с скриптом на тренировку лоры, а ещё там есть возможность натренить locon, сейчас затещу, а ещё там установка для отсталых есть, в теории можно в шапку добавить https://github.com/derrian-distro/LoRA_Easy_Training_Scripts
Анон, как мне правильно подготовить датасет для лоры моей еотовны?
У меня отобрано около 50 хайрезов с зеркалки, без левых людей и объектов, среди них селфи с разными прическами, цветами волос, в очках и без; фотки в полный рост в разной обстановке, и немного нюдесов в полный рост с разных ракурсов. Всё это добро я уже прогнал через BLIP Captioning в Кохье.
1. Как это всё правильно протегать? С оглядкой на то, что лору я хочу использовать не только на фотореалистик, но и на около-мяняме моделях. Остановиться ли на СД промте вида "photo of a girl with short brown hair, weading white t-shirt, standing in park"? Или лучше использовать данбуру-теги? Или замиксовать?
2. Насколько детально вообще надо тегать исходники? Вот есть у меня фотка с композицией как на пикрилейтеде - надо ли мне подробно расписывать, что это "Full lengh portrait of EOT_name with green short hair, wearing glasses and necklace, in white t-shirt, in green pants, in lime sneakers, standing in park". Из того что я понял тегать надлежит всё, что не должно быть частью тренируемого концепта. То есть если у Еотовны на большинстве фоток разные причесоны и одежда, то их лучше бы протегать чем подробнее тем лучше?
3. Какую модель брать для обучения, с оглядкой на пункт 1? Ванильный СД-1.5, тот же URPM, что-то миксовое, типа Оранжа?
4. Имеет ли смысл заебываться и тюнить каждое из описаний, прогоняя их через генерацию на выбранной для обучения модели? Я попробовал щас это провернуть с первыми десятью фотками из сета на СД1.5, и у меня жопа сгорела - на то чтобы добиться плюс-минус схожей с оригиналом композиции и получить на выходе хотя бы пикилейтед же, у меня ушло минут сорок перебирания промта. Оно вообще стоит того?
5. Как грамотно совместить в датасете нюдесы и портреты, чтобы иметь возможность генерить и отдельно лицо, и Еотовну во всей красе? Я правильно понимаю, что достаточно будет просто проставить где надо теги "Nude" и "NSFW"?
У меня отобрано около 50 хайрезов с зеркалки, без левых людей и объектов, среди них селфи с разными прическами, цветами волос, в очках и без; фотки в полный рост в разной обстановке, и немного нюдесов в полный рост с разных ракурсов. Всё это добро я уже прогнал через BLIP Captioning в Кохье.
1. Как это всё правильно протегать? С оглядкой на то, что лору я хочу использовать не только на фотореалистик, но и на около-мяняме моделях. Остановиться ли на СД промте вида "photo of a girl with short brown hair, weading white t-shirt, standing in park"? Или лучше использовать данбуру-теги? Или замиксовать?
2. Насколько детально вообще надо тегать исходники? Вот есть у меня фотка с композицией как на пикрилейтеде - надо ли мне подробно расписывать, что это "Full lengh portrait of EOT_name with green short hair, wearing glasses and necklace, in white t-shirt, in green pants, in lime sneakers, standing in park". Из того что я понял тегать надлежит всё, что не должно быть частью тренируемого концепта. То есть если у Еотовны на большинстве фоток разные причесоны и одежда, то их лучше бы протегать чем подробнее тем лучше?
3. Какую модель брать для обучения, с оглядкой на пункт 1? Ванильный СД-1.5, тот же URPM, что-то миксовое, типа Оранжа?
4. Имеет ли смысл заебываться и тюнить каждое из описаний, прогоняя их через генерацию на выбранной для обучения модели? Я попробовал щас это провернуть с первыми десятью фотками из сета на СД1.5, и у меня жопа сгорела - на то чтобы добиться плюс-минус схожей с оригиналом композиции и получить на выходе хотя бы пикилейтед же, у меня ушло минут сорок перебирания промта. Оно вообще стоит того?
5. Как грамотно совместить в датасете нюдесы и портреты, чтобы иметь возможность генерить и отдельно лицо, и Еотовну во всей красе? Я правильно понимаю, что достаточно будет просто проставить где надо теги "Nude" и "NSFW"?
Какие параметры обучения поменять, чтобы лора лучше отрисовывала шарниры и не ломала руки в этих местах?
Сейчас стоит альфа=дим=128 и лр=1e-4
Сейчас стоит альфа=дим=128 и лр=1e-4
Можешь скрином потом показать, как этим управлять? То есть куда параметры вписываются и как. Не хочу часов 10 ставить, а потом понять, что без самостоятельного прописывания всех параметров вручную ничего не запустить, как с оригинальным скриптом, где без гайдового .ps1 ничего не сделать, не зная от и до сам весь скрипт.
Ну, могу форкнуть шапку и заняться ей на неделе, если не будет других желающих. Тред уже неделю как в бамп-лимит ушёл - ОПчик, похоже, совсем пропал.
Из дохлых ссылок вижу https://technothread.space и https://static.nas1.gl.arkprojects.space/stable-diff
В шаблон добавить https://github.com/anon-1337/LoRA-train-GUI
ОП-пики в шаблоне отличаются от тех, что в треде - полагаю, вместо графиков надо использовать картинку из шаблона, которая про кручение весов моделей. Но у меня есть сомнения, имеет ли эта схема хоть какое-то отношение к реальности. Эксперты по CLIP-слоям есть в треде?
Из дохлых ссылок вижу https://technothread.space и https://static.nas1.gl.arkprojects.space/stable-diff
В шаблон добавить https://github.com/anon-1337/LoRA-train-GUI
ОП-пики в шаблоне отличаются от тех, что в треде - полагаю, вместо графиков надо использовать картинку из шаблона, которая про кручение весов моделей. Но у меня есть сомнения, имеет ли эта схема хоть какое-то отношение к реальности. Эксперты по CLIP-слоям есть в треде?
Из личного опыта.
1. Без разницы как тегать, если одна и та же одежда присутствует на нескольких фото - всё, оно будет преследовать тебя и вылезать в самый не подходящий момент, даже если ты распишешь вплоть до каждой пуговицы, полоски и цвета каждой нитки. Но главное тегать, если не тегать - всё ещё хуже.
2. Разная причёска, макияж, цвет волос, маникюр, бритость лобка и потность подмышек будет усреднена. Если фото +/- одного периода времени - можно не тегать, если разного - получишь медианное значение. Длина волос не влезла полностью в кадр а ты не указал длину? Штош, однажды получишь волосы по пояс. Фото лица в похожем ракурсе и размере будут усреднены, т.е. если была дрищём, но отожралась как кабанчик - получишь середину. Нужны разные ракурсы, но не за 10 летний период, максимально близко друг у другу. Улыбка с зубами? Пиши зубы - иначе запекутся и будут вылезать зубы поверх губ, причём довольно рандомно. Собираешь небольшой сет, тренируешь, проверяешь, исправляешь и т.д. Сначала лучше просто небольшой только на лицо.
3. Тренируй на той модели, где будешь использовать, собрать сет самое сложное.
4. Чем длиннее промпт, тем меньше будет похоже на оригинал, либо надо повышать вес лоры, а это дополнительные искажения, нужно искать баланс. Тренировка на 1.5 даёт неплохой результат только на 1.5, на свежих моделях будет что угодно с кривыми глазами, либо если там кривые веса с детальностью кожи - у тебя вылезут все поры и морщинки. Если не нужно прямо 100%% попадание - тренируй где больше нравится и убавляй вес.
5. Просто пиши nude, breast или что там у тебя, но это скользкая дорожка. Лора запомнит кривые сиськи и брухлю. И моли Омниссию, чтоб фоток было достаточно, иначе потом модель составленная по трём фоткам будет тебя преследовать.
Подскажите плз можно ли мержить лоры друг с другом, и если да то как?
Спасибо, не видел, что там такое есть
Последний раз тренил лору больше месяца назад. Делал по гайду Aitrepreneur, и пользовался его конфиг файлом. Сегодня собрал датасет, обновил kohyas gui... А всё по базовому конфигу не тренит, вроде жалуется на недостаток памяти, хотя раньше было норм. Теперь как черепаха на low vram. Вопрос. Где я мог напортачить и как фиксить?
> Так этож для гайда, или не нужон?
Да я про твой вопрос с рентри, там от прона никто в обморок не падает
Это ж унет слои. Все на них после второго еще треда забили, лично я тоже, просто решил зачем каждый из них выдрачивать до идеала, когда можно просто лору сделать. Актуальна инфа или нет хз, надо смотреть соответствующие гайды или спрашивать прошаренных миксеров.
Вариант как создавали силикон29 через аестетик скор кажется куда более интересным в этом плане, хоть какая то автоматизация, выше в треде видел обсужление.
Не был месяц, крыша едет от всего нового, актуальные гайды уже есть? Как сейчас лору делать на 8 гб картах?
сначала гайд по апскейлу прочитай
Проверь ещё раз что пишет в консольке. Проверь батч сайз. Попробуй на дефолтных настройках самого гуя.
Попробуй снизить силу влияния контролнета, снизить cfg, убавить (((скобочек))), включить vae, если оно не включено в модель
Тред общенаправленныей, тренировка дедов, лупоглазых и фуррей приветствуются
Предыдущий тред:
➤ Гайды по обучению
Существующую модель можно обучить симулировать определенный стиль или рисовать конкретного персонажа.
✱ Текстуальная инверсия (Textual inversion) может подойти, если сеть уже умеет рисовать что-то похожее:
https://rentry.org/textard (англ.)
✱ Гиперсеть (Hypernetwork) может подойти, если она этого делать не умеет; позволяет добавить более существенные изменения в существующую модель, но тренируется медленнее:
https://rentry.org/hypernetwork4dumdums (англ.)
✱ Dreambooth – выбор 24 Гб VRAM-бояр. Выдаёт отличные результаты. Генерирует полноразмерные модели:
https://github.com/nitrosocke/dreambooth-training-guide (англ.)
✱ LoRA – "легковесный Dreambooth" – подойдет для любых задач. Отличается малыми требованиями к VRAM (6 Гб+) и быстрым обучением:
https://rentry.org/2chAI_LoRA_Dreambooth_guide
✱ Text-to-image fine-tuning для Nvidia A100/Tesla V100-бояр:
https://keras.io/examples/generative/finetune_stable_diffusion (англ.)
Бонус. ✱ Text-to-image fine-tuning для 24 Гб VRAM:
https://rentry.org/informal-training-guide (англ.)
Не забываем про золотое правило GIGO ("Garbage in, garbage out"): какой датасет, такой и результат.
➤ Гугл колабы
﹡Текстуальная инверсия: https://colab.research.google.com/github/huggingface/notebooks/blob/main/diffusers/sd_textual_inversion_training.ipynb
﹡Dreambooth: https://colab.research.google.com/github/TheLastBen/fast-stable-diffusion/blob/main/fast-DreamBooth.ipynb
﹡LoRA [1] https://colab.research.google.com/github/Linaqruf/kohya-trainer/blob/main/kohya-trainer.ipynb
﹡LoRA [2] https://colab.research.google.com/drive/1bFX0pZczeApeFadrz1AdOb5TDdet2U0Z
➤ Полезное
Гайд по фиксу сломанных моделей: https://rentry.co/clipfix (англ.)
Расширение WebUI для проверки "сломаных" тензоров модели: https://github.com/iiiytn1k/sd-webui-check-tensors
Гайд по блок мерджингу: https://rentry.org/BlockMergeExplained (англ.)
Гайды по апскейлу от анонов:
https://rentry.org/SD_upscale
https://rentry.org/sd__upscale
Подборка мокрописек от анона: https://rentry.org/te3oh
Группы тегов для бур: https://danbooru.donmai.us/wiki_pages/tag_groups (англ.)
Коллекция лор от анонов: https://rentry.org/2chAI_LoRA (заливать лоры можно сюда https://technothread.space/ пароль 2ch)
Гайды, эмбеды, хайпернетворки, лоры с форча:
https://rentry.org/sdgoldmine
https://rentry.org/sdg-link
https://rentry.org/hdgfaq
https://rentry.org/hdglorarepo
https://gitgud.io/gayshit/makesomefuckingporn
Сервер анона с моделями: https://static.nas1.gl.arkprojects.space/stable-diff/
Шапка: https://rentry.org/ex947
Прошлые треды:
№1 https://arhivach.top/thread/859827/
№2 https://arhivach.top/thread/860317/
№3 https://arhivach.top/thread/861387/
№4 https://arhivach.top/thread/863252/
№5 https://arhivach.top/thread/863834/
№6 https://arhivach.top/thread/864377/