24 декабря Архивач восстановлен после серьёзной аварии. К сожалению, значительная часть сохранённых изображений и видео была потеряна. Подробности случившегося. Мы призываем всех неравнодушных помочь нам с восстановлением утраченного контента!
Технотред №2 ГАЙДЫ ПО ОБУЧЕНИЮ Существующую модель можно обучить симулировать определенный стиль и /tech/
>>73027 >Фур-анон, ты? Читал? -> https://arhivach.ng/thread/859827/#72404 Да, я уже тестирую другую репу. У меня там следующие вводные: Add --network_alpha option to specify alpha value to prevent underflows for stable training. Thanks to CCRcmcpe! Details of the issue are described in kohya-ss/sd-webui-additional-networks#49 . The default value is 1, scale 1 / rank (or dimension). Set same value as network_dim for same behavior to old version. LoRA with a large dimension (rank) seems to require a higher learning rate with alpha=1 (e.g. 1e-3 for 128-dim, still investigating).
>>73079 Да, слышал у лоры проблемы с латент апскейлами. По-моему там веса применяются дважды, во время первичной генерации и в начале апскейла, что-то такое, я не разбираюсь. Можешь попробовать нативно подключить
Кстати было бы круто если в лорапомойке был список залитых файлов со ссылками. Так было бы проще заполнять репо
>>73098 >Кстати было бы круто если в лорапомойке был список залитых файлов со ссылками. Так было бы проще заполнять репо Он есть, но только у меня, кек. Там достаточно тупой интерфейс, я специально выбирал, чтобы просто быстро работало и не пердело.
Начал перетренивать старую "поломанную" сетку с новым фиксом на абсолютно тех же настройках с тем же сидом. Посмотрим, так ли велика была потеря, и была ли вообще
>>73096 >latent nearest-exact Когда успел уже? Его ж только добавили Вроде гены на нем нормальные, но я ниже 0.6 денойза не ставлю
>>73112 > Про любой быстрый Лора, либо вроде как эмбед но я их никогда не тренировал >>73109 > если бы можно было тренировать последовательно несколько версий с разными настройками, как с x/y grid только для тренировок Есть вариант запуска сколь угодного количества обучений лор последовательно, если используешь вариант через павершелл. Я так на ночь и ставлю, у меня 7 сеток вчера стренилось
>>73115 А как без стороннего софта выкачать все изображения? Алсо, плохо что без тегов, пройдусь автотеггером, но ты сам понимаешь Беру заказ >>73119 И этот
>>73120 Я удивляюсь как настолько очевидную фичу не завезли везде куда вообще можно
>>73064 > надо отключать фикс лиц;) А он отключен, буквально с первого дня, после пары экспериментов с ним на аниме моделях
>Надеюсь Сибо круто получится А вот хз, в планах вообще было надергать разворотов из блейма и абары/биомеги, там они местами очень кайфовые, не уверен вообще как выйдет, стили таки несколько разные. А с персов только общий стиль, никого конкретного. Но у меня иногда килли с сиськами выходит, лол Сибо натренить легче наверное, чем повторить общий стиль без мешанины.
>>73075 > Круто Надеюсь эту лору не постигнет судьба шохи
>>73144 >Я так понял ты хотел сказать "хуйня" Ну типа того. Не вижу особого смысла тратить на лору время, если есть нормальный датасет и vram. Не знаю, в каком месте она там "может превосходить" dreambooth, но точно не в моем. >ряяяя вообщето это нечестно у них разные настройки Не без этого.
>>73153 Может быть. Я бы и сам гуем пользовался, если бы браузер не жрал враму. Соберись с силами и попробуй как-нибудь еще раз, но на этот раз уже с нетворк димом 512/1024 :)
>>73144 > Ты бля делиться будешь, шоха Завтра уже, я так и не смог подружить шоху с людьми нормально, как и подружить ее со стилем оранжмикса инб4:ты получаешь то на чем тренишь Перегнать шоху в аниме не особо получилось
>>73149 >Кремниевых ребят С ними пока не пробовал, надо отдельный тег добавить наверное
>Еще бы найти чистые сканы.. В фш можно обрезать или клонировать, по пизде пойти не должно. Да еще думаю можно на чанки порезать некоторые и так скормить, или все вместе, пока хз.
>>73160 По-моему за пределы гига не вылезет. Не 5 же >>73166 > Завтра уже И не только ей! Выкладывай всё что есть, будем критиковать > Перегнать шоху в аниме не особо получилось Да она и так прекрасна
>Перегнать шоху в аниме не особо получилось Кстати! Крутая идея пришла. Перегнать весь датасет через какой-нибудь анимечный stylegan. Я когда-то видел один, городские пейзажи жувал на отлично
>>73167 Ну по факту от смены dim поменялся только стиль, с одного художника из датасета на другого. А это 10 мегабайт против 200. Так что думаю, что пользы от гиговой модели не будет.
Кароч сделал я сравнение с фиксом и без И могу сказать что с фиксом моя модель нихуяшеньки ничему не научилась! Действительно как и советуют нужно править learning_rate. Даже сам автор скрипта теперь не знает какие у него рекомендумые настройки! Это пиздец. Веса у слоев разные, все без исключения (логично, учитывая что "поломаная" версия работает, а фиксанутая ничего не меняет). Глазами быстро пробежался – значения не сильно, но отличаются, хотя по идее должны быть совершенно разные, возможно я недоглядел. Некоторые нулевые тензоры стали ненулевыми. Это хорошо. Хотя интуиция мне подсказывала что ненулевых тензоров вообще не должно быть по определению, но я не погромист, раз умные дядьки сказали так должно работать, чтож, значит так должно работать. И пиздец. И что делать теперь. А как тренить. Делать сетки с шагом в 0.1е-4 lr пока не получится хотя бы на уровне "поломанных" нетворков? Пиздец. Сейчас в гайде наворотил хуйни, "ууу блядь, используйте новые настройки, если будете делать по-старому всё сломается", а в скрипте оставил 1е-4. Пиздец.
>>73195 Благодарствую. Переложу тяжелую ношу экспериментирования с твоей вёрджин 4090 на мою чед 1060
Пикрил различие между фиксом и отсутствием нетворка. Для хлебушков поясню что чёрный цвет это отсутствие всякого различия Кохъя! Я твою мать ебал! Занёс тебя в список сразу после автоматика.
>>73580 Обновил павершелл скрипт? Чтобы сымитировать старое поведение, берешь значение network_dim и ставишь его в network_alpha, чтобы были одинаковые. Все будет как раньше, если кохъя не пидорас. А он пидорас. >>73582 Ну я так, с большего. Чтоб блокнот запилить. А курс по ML таки да, хотеть, отличный совет, анон
>>73580 Если сделаешь на правильный, то да. Если тебе не нужен clip skip 2, то второй способ по гайду из шапки (на тухлой версии дополнения автоматика) должен работать.
>>73590 >Чтобы сымитировать старое поведение, берешь значение network_dim и ставишь его в network_alpha, чтобы были одинаковые. Все будет как раньше, если кохъя не пидорас. А он пидорас. У меня почти сразу в nan вчера ушло обучение с такими настройками. На новой версии.
Перешел на этот коммит. >>73594 >ставим network_alpha другой и все работает как раньше Т.е. работает, но работает плохо. Нахер такое надо? Как вот тут - >>71868 →
>>73594 Какой другой ставить? Я че зря вот прямо сейчас ебался с диском и файлом подкачки чтобы пойти нахуй из за нетворк альфы? Альфы даже в нейросетях хикканов унижать чтоли будут?
>>73599 Так а что ты предлагаешь конкретно >>73600 Работает не плохо, а работает также как раньше. Обратная совместимость есть >>73601 Такой же как network_dim >3 минуты обучения Ничего, еще 3 минуты потерпишь >Альфы проиграл)
Бля, вы в шары долбитесь, мужики? Я же несколько раз уже написал И даже в скрипте коммент напротив новой переменной, с описанием того что делать на случай, если хотите вернуть всё как было
>>73627 Откат на версию репозитория 0.3.2 и Удаление строчки --network_alpha=$network_alpha в павершелл скрипте, чтобы старый скрипт кохъи не ругался на несуществующие аргументы
>>73640 Новая версия починила критический баг, а не добавила. И не они а он. Энтузиаст. Сейчас мы разберемся с лёрнинг рейтом и всё станет ещё лучше чем было.
>>73644 Твердо и четко? >Новая версия починила критический баг, а не добавила. Почему тогда раньше все работало без пердолингов с альфой и другим лернинг рейтом? Что-то не вяжется.
>>73617 > Я как раз заглянул в твой ишью, тебе кто-то ответил, что у него все 'норм' при скорости х100. 1е-2 что ли? Спасибо что заметил и сказал Да, я примерно понял математику. Если так как он говорит то да, получается lr'ы нужно поднять в 128 раз. Сейчас поставлю тренится >>73646 >>73656 Занимаюсь, ждите обновлений
Хммм, только что потренировал тестовую лору с --network_alpha=1 LR 1е-3 , scheduler constant, в промпте 6-7 тегов из подписей. Все вышло для одной эпохи вполне терпимо, но с редактируемостью уже проблемы. Лоси не чертил, но поглядывал в консоль, они стабильно держались в диапазоне 1.3-1.5 Еще особенность - тренировал без текстового энкодера.
>>73733 Лосс 1.3-1.5? У меня когда вылезает за 0.2 я паниковать начинаю. > constant Не ставь его с лорой, лора от этого планировщика страдает в выхлопе. Лора быстро обучается, а констант планировщик не даёт ей снизить скорость обучения со временем и всё время ебашит на максимальном значении. Попробуй перетренить на линеар например, и скажи лосс и мне про > редактируемость мне очень интересно Ты пока первый у кого что-то вышло на 0.4.0 > тренировал без текстового энкодера Хм, почему пришел к такому решению? Ты --train_unet_only пасснул?
>>73755 В папке sd-scripts: .\venv\Scripts\activate tensorboard --logdir "путь к папке с логами" Предварительно сетка должна быть обучена с указанным logging_dir Если хочешь чтобы можно было посмотреть с любого устройства в локальной сети добавляешь еще --bind_all
Я все проспал. Киньте скриншот, как там LoRA выглядит в webui. Не хочу обнов, для меня и так все нормально работает через дополнение-скрипт. >>72758 → > keep_tokens N Можно ли просчитать свое токенное слово с помощью webui и получить, например, "3" и туда его вписать, доверяя этому подсчету? Или же он считает на уровне одного слова, который разделен запятой? Как тогда он токены перемешивает, если, например, есть теги состоящие из 3-5 токенов? Какой нибудь looking at viewer.
>>73763ли прямо в промте, смотря на счетчик. shuffle_caption не перемешивает токены, он перемешивает слова или целые словосочетания с сохраненинм последовательности отдельных слов, разделенных запятой. И С помощью расширения Tokenize ив дальнейшем отправляется модифицированный файл описания, который токенизируется. "looking at viewer" будет в той же последовательности, что и до перемешивания, просто в цепочке токенов его токены будут в другом месте. Это позволит нивелировать так называемый "bias"
>>73781 Да шучу я. Тренить нехуй, посоветуйте лучше годный курс по ML где параллельно можно изучить пайтон, как анон тут сказал >>73582 Только я хлебушек. Не прям совсем-совсем, но хлебушек
>>73773 И за чем тогда использовать shuffle_tokens, как здесь многие рекомендуют, если он все перемешает на уровне "look 1girl viewer at ing", когда можно использовать только shuffle_caption, который рандомит лишь последовательность, а не структуру, которую ты создал через запятую?
>>73750 Да нет конечно, лоси 0.13-0.15. Сглючил я, когда пост верстал.
>Не ставь его с лорой, лора от этого планировщика страдает в выхлопе Поставил constant в тестовом режиме, чтобы исключить влияние колебаний скедьюлера на результат. Если уж ищем неизвестный ЛР, то начинать логично с постоянного рейта.
>Хм, почему пришел к такому решению? Ты --train_unet_only пасснул? Да. Этот эксперимент вообще не связан с кохийными новведениями, просто упомянул для точности. Я надеялся поредактировать лору в merge blocks, приварив ее к модели и избирательно возвращая обратно материнские блоки, а текстовый энкодер этому мешает.
>>73793 Ну, короче, я активирую shuffle_caption=1, а в keep_tokens пишут сколько токенов у меня занимает мое токенное слое (первое слово в .txt) и все заебись?
>>73799 Конечно. Я не буду тренить без скалирования. Без него андерфлоу. Всё, принципиально. Починят - заебись, не починят - не буду тренить никогда лору.
МНЕ НЕ НУЖНЫ НУЛЕВЫЕ ТЕНЗОРЫ ЭТО ТРИГГЕРИТ МОЁ ОКР
>>73802 Да, заебумба >>73801 > начинать логично с постоянного рейта Действительно, я dumb > Я надеялся поредактировать лору в merge blocks Программист. > Попробую еще потестировать вечером. Ждём. Сейчас это лучшее что можно сделать
>>73807 У меня пока нет работы, так что нет. Но когда появится... Меня никогда ничего так не мотивировало в плане покупки видеокарты как ебаный стейбол дифьюжен. Если б у меня было дохуя денег, я бы наверное себе 4 А100 купил.
>>73810 Смотри, видимо кохъя чего-то не дофиксил, еще может зависеть от точности вычислений (или сохранения), вчера-позавчера на гитхабе был ишью по поводу опять же андерфлоу, и именно на fp16. Возможно, надо поиграться с save_precision и mixed_precision У людей пропали проблемы с нулевыми тензорами когда они сохраняли во float >>73811 С родителями :3
Вы еще посмотрите на график lr. Если он показывает действительные значения, то так быть не должно. Это cosine скедулер, откуда там появилось ебаное плато? Переместил кохъю в списке на уровень выше.
>>73825 Ну значит возвращаемся на дополнение месячной давности, там все работает. Его, кстати, обновили недавно, угрожали все исправить. Руки еще не дошли потестить.
Я блядь вообще математики не выкупаю, объясните тупому. Вот я сравниваю веса старой сети и веса новой, "пофикшенной". И у их тензоров очень похожие значения. Они не отличаются в тысячи, сотни раз, ну так, на пару тройку цифр. Где-то в 1.2 меньше тензор, где-то в 1.3 больше тензор, никаких непонятных экстремальных значений нигде нет. Но "поломаная" сетка выдаёт достойный результат, полностью меняя изображение подстать датасету, а "пофикшенная" меняет буквально пару пикселей. Как блядь?
>>73850 Это выглядит как крайне высокий lr. Я с таким же сталкивался когда экспериментировал >>73854 Это я тренил. Коммит не скажу, но пре0.4.0 версия до альфы
>>73854 Ну примерно двухнедельной давности. Но это была не lora, а dreambooth. И настройки те же, что на версии за декабрь. Но на январской абстракционизм, на на декабрьской все норм.
>>73857 >Это выглядит как крайне высокий lr. Я с таким же сталкивался когда экспериментировал Стоковый.
>>73858 >Ну примерно двухнедельной давности. Но это была не lora, а dreambooth. >И настройки те же, что на версии за декабрь. Но на январской абстракционизм, на на декабрьской все норм. А, я тебя >>73854 не так понял.
>>73863 Лора добавляет веса только в те теги (токены), которые есть в датасете. Если ты назовешь тег blue eyes как-нибудь типа x_blue_eyes (о таком теге модель ничего не знает), то ты будешь тренировать этот тег/концепт с нуля. Я бы так не делал
Кстати, стоит ли vae для лоры использовать? Есть база по данному вопросу? Я прописал, но не активировал ни разу. Привык, что раньше при обучении лучше было его выгружать.
tl;dr: Какой VAE планируешь использовать при генерациях с этой сетью, с таким VAE и обучаешь
Полное объяснение кому интересно:
При обучении на каждом шагу сравниваются два изображения: 1. Тренировочный образец с искусственно добавленным малым количеством шума 2. Тренировочный образец с искусственно добавленным большим количеством шума, пропущенный через диффузионную модель Перед тем, как изображение из пункта два сравнивается с изображением из пункта один, оно энкодируется в скрытое простанство, там UNet делает свои махинации по убиранию шума, шума становится меньше и VAE декодирует тензоры из скрытого пространства обратно в изображение. Вышеперечисленной кодировкой/декодировкой занимается VAE. Диффузионная модель включает в себя встроенный VAE всегда. VAE - это как бы тоже нейронная сеть (поправьте). Разные VAE делают это по-разному. MSE VAE от SD 1.5 лучше умеет декодировать буквы, на изображении они не такие кривые как без него. VAE от NovelAI умеет делать тонкие контуры, делать достаточно понятными глаза, волосы, но пукает в лужу когда дело доходит до повторяющихся паттернов (очень часто проебывается листва деревьев). Как-то так. Я подключаю VAE всегда.
Когда у нас будут виртуальные вайфу? С текстовой моделью уровня GPT-3, ChAI, с 2д/3д анимацией и взаимодействием в 2д/3д/vr пространстве? Сколько мне еще ждать? 10 лет? 20?
>>73916 На самом деле непосредственно самих нейросетей гораздо больше, потому что модель SD состоит из моделей, которые состоят из разных нейросетей и алгоритмов.
>>73946 есть ещё срырна. но чёто рисовка автора отваливается и ещё сильнее ломает анатомию и что-бы получить более-менее похожую картинку - нужно выдрачивать сфг, степы и вес лоры только для одного сида. +хз что происходит на последних двух пиках.
>>73921 К 2028 потенциал кремния упрется в тех процесс. Если не придумают что-то новое, то ВСЕ. Будем топтаться на месте и оптимизировать старое. Да и для обучения нужно слишком много энергии. 5 миллионов долларов было потрачено на электричество для обучения GPT-3, а для GPT-4 планируют 15. В любую секунду выйдет Гретта Тунберг 2.0, скажет а хуй вам, ведь коровки дохнут, барашкам плохо на лугах пастить, о детях подумаете, за слезки тивтер_шек ответите суки вы ебанные и зарегулируют законодательно все нахуй. Мне кажется к тому времени будет целый зоопарк из оборудования уровня 1998 года, когда всякие 3DFX живы были. Или как в 2013 с мобильными ARM чипами, только они между собой будут не совместимы совершенно. И совершенно не понятно, как простому анону все это дело обучать, ведь пока пилишь одно, уже выходит новое физическое устройство, не говоря уже о ПО, с которым мы уже сейчас сталкиваемся каждую неделю. Ничего устоятся нормально не может.
>>73932 >даст Чел, вайфу нужно не только ебать, но и любить. >>73949 + >>73958 По сути уже уперлись, прогресс ВСЁ. А текущие модели лоботомируют и дадут полнвй доступ только по подписке за 59.99$
>>73985 Ничего не могу сказать про прогресс, но открытый релиз сд был ошибкой stable ai. Больше они ее не допустят. Гой должен сидеть на подписке и жрать, что дают, а не учить свои модели и обходить цензуру. По той же причине никогда не будет локального чата опенаи.
>>73991 >В чем мы не правы? >упрется в тех процесс Во всем, начиная отсюда. Им еще далеко до предела по размеру транзисторов. Даже на одном техпроцессе можно увеличить мощность меняя компоновку и применяя новые типы транзисторов.
>>73996 Не удивлюсь, если увижу проекты по обучению нейросетей через распределенные вычисления. Достаточно сказать, что вы обучаете генератор речи для вайфу и вычислительные мощности ваши.
>>73988 это моё. тренировал не персонажей, а художника, всё в одном. >>73989 последняя, но без хайреза. и это клип скип 2, хотя тренировал на 1, походу вообще эта крутилка не работает
>>74010 у меня версия 0.1, вроде не поломаная >>74014 будет, но если я треню одного перса на датасете в 200пикч лягушка, то результат будет лучше, чем датасет хуйдожника с NN числом персонажей на те-же 200 пикч.розовая хабалка
>>73996 Видимо, именно поэтому после выпуска 1.3 была запилена еще 1.4, затем был релиз 1.5 с инпейнт-моделью, после чего была выпущена 2.0 с разрешением 768, а спустя некоторое время уже и 2.1.
>>74059 >после чего была выпущена 2.0 с разрешением 768, а спустя некоторое время уже и 2.1. Нечего больше добавить про вторую версию? Ничего не забыл? А в третьей уже знаешь, какие интересные фичи завезут?
Рабочий вариант натренировать сеть под определенный стиль с сохранением работоспособности апскейлеров и без необходимости отвалить ведро бабла на картонку с 48гб врам? Эмбеддинги? Или есть какой-то рабочая связка лоры+вебгуя? Картон на 8гб.
>>74077 >Dreambooth – выбор 24 Гб VRAM-бояр >How much vram do you need for dreambooth >>I think minimum is 10GB right now, but there might be repos down to 8GB already. >might be oh well...
А ведь ещё совсем недавно будка прекрасно работала без шума и пыли и обучала локально на 12 гигах, ровно до того момента, как автоматик начал натягивать туда лору.
>>74062 А в чем проблема? Нейронка в открытом доступе, делай форк, отключай ненужное, бэкпорть нужное, обучай на датасете с гелбуры. Много шума непонятно из-за чего.
>>74116 >А в чем проблема На самом-то деле проблема скорее всего в новой версии КЛИПа. На форчонге ее понятно превратили в политическую, но клип обучен только на лайоне, и модели на нем похоже очень плохо дообучаются. По крайней мере, по отзывам мастодонтов. Иначе туда бы уже насовали этого нсвфа по самые помидоры. Ждем финальной WD1.4, там понятнее будет.
>>74102 А, ну насчет предсказаний я не эксперт, на кофейной гуще не гадаю. Я могу лишь то, что уже произошло, проанализировать.
Когда релизнулись первые публичные веса, это жмыхнуло довольно громко. В частности, очень громко вопили художники (отдельные крики слышно до сих пор) и моралфаги, потому что внезапно оно может генерить, хотя и хуевое, но NSFW, а также не очень одетых детей. Чтобы не как-то заглушить крики вокруг своей модели, чуваки которые это пилили попытались прикрыть жопу, убрав из датасета вопящих громче всего художников и добавив фильтр на NSFW.
Я бы сказал, главной ошибкой было то, что релиз первых весов был внезапным и резко поменял статус кво, поэтому появилась куча чуваков, которые обосрались и начали тянуть одеяло обратно.
Параллельно этому, другими чуваками тренились Waifu Diffusion и NAI. Несмотря на то, что эти модели куда более NSFW, всем в целом на них похуй, потому что они так не жмыхали, а наоборот оказались в тени той дискотеки, которая происходила с официальными весами.
Тут мы подходим к вопросу о том, насколько вообще важны релизы официальных весов. ИТТ все используют аниме-модели. Да и тренировать модель может не только лишь одна-единственная компания. Для этого нужны определенные ресурсы, конечно, но тут ситуация далеко не такая, как с DALL-E.
>>74151 Я так и делаю, сижу на автоматике от 31 декабря, слыхал в новых версиях сломали хайрезфикссделали превью, которое замедляет скорость. >>74152 Сколько всего эпох будет?
>>74160 > слыхал в новых версиях сломали хайрезфикс Пиздят, вот пруф >>71056 → Проблемы по началу были, но только у тех, кто пытался генерить по старым промптам, у которых соотношение сторон изображения first pass и highres fix не совпадало. Потом это пофиксили. > сделали превью, которое замедляет скорость. На пару секунд максимум, к тому его же можно отключить
>>74159 >убрав из датасета вопящих громче всего художников Никаких художников они, по факту, не убирали. Они сменили клип и перетренировали его с нуля на лайоне. В Лайоне то ли 28, то ли 16 работ Рутковского. Вот он и исчез. Предыдущий клип был натренирован на закрытом датасете, и там, походу, было овердохуя Рутковского, вот он и был. Феномен Рутковского - натурально аналог текстового эмбеддинга в масштабах всей модели.
Я не защищаю 2.0, если что. Это редкостное говнище. Просто оно не только художников не может промптить, оно не промптит вообще ничего, даже если любые персоналии убрать.
В треде работает лахта кохьи-автоматика, превью у них ничего не замедляет, 0.4.0 тренирует отлично, а новый хайрезфикс не поломал обратную совместимость. Тьфу блядь, шлюхи продажные.
>>74165 Качество модели — это вопрос ресурсов и организованности. Вот, например, чуваки пилят распределенную треню: https://github.com/chavinlo/distributed-diffusion/. Вместо того, чтобы кричать, как все плохо, ты мог бы присоединиться к проекту, как-то им помочь.
>>74181 >А не у Unstable Diffusion ли? Ничего не путаешь? Могу, конечно, и путать. Но про Unstable у меня сложилось впечатление, что это развод лохов на деньги, они могут вообще ничего не тренировать и свалить с баблом на теплый остров на неделю, и я выкинул его из инфополя. Вдшники по крайней мере не только обещают, но и делают. Хотя и местами смешно получается.
Интересно было бы узнать, как наи составляли датасет и вообще тренировали свои модели, и почему они это делать не продолжают. В вд походу просто всё нахуй с бур тянут, без разбора, ну и как видно, такой подход не очень подходит.
>>74211 >Отдельным выводом из этого следует, что можно радикально ускорить апскейл, уменьшив число кусочков, на которое будет дробиться картинка. Т.е. добавив размер полей (в сд_апскейле по-умолчанию стоит 64 пиксела), мы сможем уменьшить число генераций с 9 (при размерах 1536х1152) до 4 (при размерах 1600х1216) и, соответственно, уменьшить в два раза необходимое время. Не пойму, 64 к width и height добавить?
>>74217 Нет, мне хватает того, что я до сих пор пикчу через раз не могу в img2img закинуть, получая плашку error вместо интерфейса инпеинта. Самая боль? Убиваешь плашку в меню разработчика - картинка и интерфейс на месте. Сломать. Руки. Обе. Сложными переломами.
>>74223 У автоматика код — то еще говно. Я в последнее время на https://github.com/huggingface/diffusers сижу, но там GUI нет, только скрипты. Зато куда стабильнее работает, и со временем не разваливается, а только лучше ставновится.
Чутка не понял по поводу лоры На выходе после тренинга у меня получается модель весом в 2 гига в то время как у анончиков лоры весят по 200-300мб и они их используют как гиперсеть Как сделать так же
>>74232 Тоже попробовал их, когда тренировал лоры на репошке Клона Симо. Тоже понравилось. Но части фич автоматика не хватает, они вроде как и прикручиваются в диффузерах, но пердолиться бывает лень.
>>74253 Отлично, есть ли способ запиздячить её в общую память графического процессора, чтоб было больше простора для апскейла или я тупой гуманитарий, который не шарит и это так не работает?
>>74258 VRAM это и есть память графического процессора. Если ты имеешь ввиду засунуть модель в RAM — то это так не работает. Можешь, конечно, генерить на CPU, но скорость будет в пару сотен раз медленнее.
>>74256 Я в основном для Dreambooth использую, в целом хватает. Немного подправил у себя скрипт, чтобы он читал промпты из txt-файлов рядом с картинками, и просто периодически подтягиваю изменения с репозитория.
Кстати, они сегодня походу еще уменьшили потребление VRAM для Dreambooth, но я еще не пробовал последнюю версию.
>>74284 Это другое лол Общая память графического процессора — это надмогз с shared video memory. По сути это виртуальная видео память, а если точнее объем памяти, который может теоретически выделится из ОЗУ на нужды графического процессора (встроенного или дискретного, винде похуй). Но в любом случае CUDA не может использовать эту память.
У меня не запускается LDSR апскейлер, пишет такую простыню: Traceback (most recent call last): File "C:\Program Files\Python310\lib\urllib\request.py", line 1348, in do_open h.request(req.get_method(), req.selector, req.data, headers, File "C:\Program Files\Python310\lib\http\client.py", line 1282, in request self._send_request(method, url, body, headers, encode_chunked) File "C:\Program Files\Python310\lib\http\client.py", line 1328, in _send_request self.endheaders(body, encode_chunked=encode_chunked) File "C:\Program Files\Python310\lib\http\client.py", line 1277, in endheaders self._send_output(message_body, encode_chunked=encode_chunked) File "C:\Program Files\Python310\lib\http\client.py", line 1037, in _send_output self.send(msg) File "C:\Program Files\Python310\lib\http\client.py", line 975, in send self.connect() File "C:\Program Files\Python310\lib\http\client.py", line 1454, in connect self.sock = self._context.wrap_socket(self.sock, File "C:\Program Files\Python310\lib\ssl.py", line 513, in wrap_socket return self.sslsocket_class._create( File "C:\Program Files\Python310\lib\ssl.py", line 1071, in _create self.do_handshake() File "C:\Program Files\Python310\lib\ssl.py", line 1342, in do_handshake self._sslobj.do_handshake() ssl.SSLCertVerificationError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: self signed certificate in certificate chain (_ssl.c:997)
During handling of the above exception, another exception occurred:
Traceback (most recent call last): File "D:\Neural network\stable-diffusion-webui\modules\call_queue.py", line 56, in f res = list(func(args, kwargs)) File "D:\Neural network\stable-diffusion-webui\modules\call_queue.py", line 37, in f res = func(args, kwargs) File "D:\Neural network\stable-diffusion-webui\modules\txt2img.py", line 52, in txt2img processed = process_images(p) File "D:\Neural network\stable-diffusion-webui\modules\processing.py", line 476, in process_images res = process_images_inner(p) File "D:\Neural network\stable-diffusion-webui\modules\processing.py", line 614, in process_images_inner samples_ddim = p.sample(conditioning=c, unconditional_conditioning=uc, seeds=seeds, subseeds=subseeds, subseed_strength=p.subseed_strength, prompts=prompts) File "D:\Neural network\stable-diffusion-webui\modules\processing.py", line 853, in sample image = images.resize_image(0, image, target_width, target_height, upscaler_name=self.hr_upscaler) File "D:\Neural network\stable-diffusion-webui\modules\images.py", line 269, in resize_image res = resize(im, width, height) File "D:\Neural network\stable-diffusion-webui\modules\images.py", line 261, in resize im = upscaler.scaler.upscale(im, scale, upscaler.data_path) File "D:\Neural network\stable-diffusion-webui\modules\upscaler.py", line 64, in upscale img = self.do_upscale(img, selected_model) File "D:\Neural network\stable-diffusion-webui\extensions-builtin\LDSR\scripts\ldsr_model.py", line 54, in do_upscale ldsr = self.load_model(path) File "D:\Neural network\stable-diffusion-webui\extensions-builtin\LDSR\scripts\ldsr_model.py", line 40, in load_model model = load_file_from_url(url=self.model_url, model_dir=self.model_path, File "D:\Neural network\stable-diffusion-webui\venv\lib\site-packages\basicsr\utils\download_util.py", line 98, in load_file_from_url download_url_to_file(url, cached_file, hash_prefix=None, progress=progress) File "D:\Neural network\stable-diffusion-webui\venv\lib\site-packages\torch\hub.py", line 593, in download_url_to_file u = urlopen(req) File "C:\Program Files\Python310\lib\urllib\request.py", line 216, in urlopen return opener.open(url, data, timeout) File "C:\Program Files\Python310\lib\urllib\request.py", line 519, in open response = self._open(req, data) File "C:\Program Files\Python310\lib\urllib\request.py", line 536, in _open result = self._call_chain(self.handle_open, protocol, protocol + File "C:\Program Files\Python310\lib\urllib\request.py", line 496, in _call_chain result = func(*args) File "C:\Program Files\Python310\lib\urllib\request.py", line 1391, in https_open return self.do_open(http.client.HTTPSConnection, req, File "C:\Program Files\Python310\lib\urllib\request.py", line 1351, in do_open raise URLError(err) urllib.error.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: self signed certificate in certificate chain (_ssl.c:997)> Что ему надо, я тупой.
>>74333 Я на пейперспесе, там тоже говно мамонта с 8гб. Но мне норм, запускаю - и пусть себе печется. Колаб нужно мониторить, много эпох там не натренишь.
>>74345 Понял-принял, ссылка благо есть в батнике. И чтоб не спамить, где ещё можно апскейлы поскачивать, чисто для интереса, а то чет тут нет отдельного раздела по ним.
>>74338 М, я думал про паперспейс, но так и не смог понять, какие у них бесплатно доступны видеокарты. И вроде они требуют кредитку для регистрации? Как с этим решил вопрос?
>>74353 У них ахахах Квадро М4000, мне кажется, им их бесплатно со склада отдали, чтобы не утилизировать. Они не пашут вообще, но для неспешного выпекания лор - норм.
И нет, кредитка для бесплатного тира не нужна, нужен только сотовый.
Это Имари. Только к ней нужны еще теги, позже займусь и залью с тегами, ну или сами сгенерируете. Если мало пикч, могу еще нащелкать скринов из адаптации.
>>74435 Я, например, обучаю не слишком анимешные лоры, которые нахуй никому не нужны и не интересны, судя по списку уже загруженного и вообще в целом по активности на доске. Тут тусовка любителей китайских мультиков, вон они пусть и шарят.
>>74435 Да вот только дата сет наберешь, только на утро проснешься, вроде все +\- сносно, но заходишь в тред и понимаешь, что ты настройки не те поставил, все не так и все не то. Поэтому, во всяком случае я так думаю, что сейчас переделаю, все ошибки учел, сейчас все будет лучше на голову, а в итоге только хуже выходит. Я так уже делал одну гиперсеть, которую залил в открытый доступ, а потом понял, что она бесполезная и без нее модели могут тоже самое рисовать. Кринж. Ну и в целом я ебнутый, делаю одно, бросаю, начинаю другое. >>74428 Ориентируюсь как у других. Некоторые забугорные совсем ебанулись, ставят по 60 на 10-30 изображений. Я пробовал и стили, и персонажей и пока мне хватало 8 повторений и 8 эпох.
Гитпульнулся на самые распоследние версии всего что было, перестали отваливаться обученные новой версией скрипта лорки, старые тоже работают, но плачутся в сосноль что в них отсутствует альфа и будет на что-то там заменена. Только что проверил - как минимум одна свежеобученная лора подключилась и работает, и результат вроде даже лучше старых, но надо конечно статистически проверять.
Забывает ли модель при обучении через dreambooth старые вещи, которые касаются новой лишь опосредованно? Если да, то как? Например, модель знает персонажа A, как определить, что при обучении модели персонажем B модель забудет персонажа A? Или она может забыть что-то другое? Можно ли вообще как-то измерять ёмкость модели?
>>74951 Вкратце: если тренишь лицо человека, остальные начинают быть похожими на него. Можешь погуглить dreambooth catastrophic forgetting. Еще можешь саму статью про Dreambooth почитать: https://arxiv.org/pdf/2208.12242.pdf (ищи там "forget").
Dreambooth вообще был создан именно для того, чтобы уменьшить этот эффект, но убрать его полностью этот метод тоже не может.
Слушайте, парни, у которых loss уходит в nan, вы используете xformers? У меня последние ее версии на 3060 в Dreambooth тоже nan'ы вызывают. В частности, это 0.0.16 версии xformers и некоторые 0.0.15.
На последних эпохах начинают проёбываться задники, особенно с хайрезфиксом. Пробовал снижать количество повторений, но это как-то не особо спасает ситуацию. Помогает снижение веса модели, но тогда и перс хуже прорабатывается. Может быть это вызвано тем, что в датасете у многих пикч простой фон и соответственно прописан тег simpled background?
>>75017 >Может быть это вызвано тем, что в датасете у многих пикч простой фон Да.
>и соответственно прописан тег simpled background? А вот это наоборот хорошо. Так ты модели даешь понять, что простой фон не связан с твоим персонажем или другими тегами, и если ты не будешь указывать этот тег при генерации, то будет больше шансов, что фон будет интереснее.
В идеале, тебе бы в датасет добавить побольше картинок с другими фонами. Если таких нет, попробуй хотя бы с другими персонажами картинок насыпать с интересным фоном (тегай тогда их соответственно, что основного персонажа там нет).
Еще можешь попробовать при генерации описать фон сам, типа outdoors sky cloud там.
>>74972 Ебать ты вывалил, я статью и сам нашел бы. Ну, видимо придется читать, раз никто не знает или не хочет говорить. >Dreambooth вообще был создан именно для того, чтобы уменьшить этот эффект А какие вообще есть ещё методы обучения моделей для сд, лол? Кроме очевидной лоры.
>>73144 > Ты бля делиться будешь, шоха Штош, вот. Это лучший вариант, который получился вроде Вызывается по тегу shoha, но желательно что бы еще car присутствовал. Обучалось на AbyssOrangeMix2_nsfw Выхлоп нормального так себе, если надо что-то кроме шохи еще сгенерить, я заебался и больше с ней пердолиться не буду
>>74975 >>74977 >Те, кто тренируют — дрочат параметры трени, а не фапают Этот прав. Я смотрел как оно работает и все еще не достаточно доволен. Но лору выкачу. Завтра выложу на хаггинфейс, надо картиночек наделать. Вот грид с промтом из теггера со старого арта
Пара вопросов про тренировку есть: 1) Нужно ли зеркалить датасет, увеличивая количество пикч вдвое, помню раньше делалось что-то подобно для тренировок? 2) Изменение веса тега в тхт файлах лучше не использовать? 3) BF16 - что это и для чего использовать? Алсо вроде видел какое-то расширение для перегона в этот формат, напомните название? 4) keep_tokens and shuffle_caption. Понял что, если нужно засунуть какой-то новый общий концепт, то лучше защитить первые несколько токенов от решафла во время тренировки, эти токены можно достоверно проверить через токенайзер автоматика? Именно это число вписывать в keep_tokens? 5) Дальше начинается, как все базовые параметры станут понятны, просто дрочь циферок для подбора правильных значений для какого-то конкретного датасета для лучших результатов выхлопа?
>>75288 >Нужно ли зеркалить датасет, увеличивая количество пикч вдвое, помню раньше делалось что-то подобно для тренировок? Вроде как во всех уважающих себя способах тренировки уже есть как опция встроенная. >Изменение веса тега в тхт файлах лучше не использовать? Даже не уверен, что оно там работает. >BF16 - что это и для чего использовать? Типа чуть лучше работает, чем FP16, если поддерживается. Но это не точно. >5) Да.
> зеркалить датасет В sd скрипте это какой параметр, кстати? >>75288 > 4 Я этим задавался выше по треду. Уже протестировал и похоже что нет, как-то по другому надо. Пишу свой токен в негатив, а оно вообще никак картинку не меняет, точно такая же пикча выходит на одном сиде. Но один ли хрен, оно так и так работает.
>>75332 > В sd скрипте это какой параметр, кстати? Не знаю, я этот датасет ещё давно делал во встроенной вкладке train, там можно выбрать создание отзеркаленных пикч
> Я этим задавался выше по треду. Уже протестировал и похоже что нет, как-то по другому надо. Пишу свой токен в негатив, а оно вообще никак картинку не меняет, точно такая же пикча выходит на одном сиде. Но один ли хрен, оно так и так работает. А у тебя случайно не случилось "This one looks brighter!" или обновление от кохуи и автоматика? Где кстати пост, тыкни меня туда
>>75308 > Вроде как во всех уважающих себя способах тренировки уже есть как опция встроенная. Интересно стоит ли её юзать, побродил по датасетам других анонов, в рофле нашёл флипы, но там и пикч было мало, всего 10х2 с флипами, впринципе у меня тоже очередной "рофл", так что думаю оставлю
> Типа чуть лучше работает, чем FP16, если поддерживается. Но это не точно. Каким образом?
Вопрос на миллион, есть ли плагин, который в мердж добавляет только вычитание? Чтоб иметь только веса того, что натренил автор, без весов оригинальной модели, на которой тренилось все.
Блять, быстрее бы отпуск, нет времени этим заниматься. Если мод посчитает нужным это удалить, то я не против, а то чет не то полезло, но как пример сойдет
Оттренил embedding на стримерше. Использовал кропы скриншотов 15 с ее стрима, выделил только лицо, на всякий случай указал в промпте процессинга что у нее пирсинг есть, поэтому итоговый эмбед успешно исключил его. Интересно, как успешно ембед может запомнить положение пирсинга на лице? Так или иначе я побоялся его не указывать в промпте на процессед. Правда лицо почему-то получилось слишком широким, приходится посредством промпта делать (((thin face))) и добавлять также татухи. Может из-за того что я захватил слишком много кадров где она поворачивает свое лицо.
Я заметил, что многие миксы используют часто одинаковые модели для миксов, а потом уже доводят их до ума. Есть список моделей с их особенностями, ради чего их пихают в миксы? Я думаю в шапке это бы понадобилось.
Ребятки. Скоро перекат. Подредактировал шапку немного: добавил краткое описание того, что обсуждается в треде, а также защиту от вахтёра(-ов). +кучу сылок на форчонг с гайдами, лорами и т.д.
Гайд по кручению слоёв моделей до сих пор пустой, если кто захочет взяться пароль 2ch
>>75553 > Есть список моделей с их особенностями Вряд ли такое есть, это скорее просто устоявшиеся "стандарты качества", никто ведь не хочет пихать ноунейм говно в свой микс. Просто рабочие варианты, проверенные на большом количестве миксов
>>75582 Сейчас обкатываю разные варианты, типа не пассать альфу в аргументы раз она по дефолту 1 + сохранять во float а не в fp16 + разные lr 0.4.0 ТРЕНИТ, но у меня ошибка в расширении узкоглазого когда пытаюсь эти нетворки протестировать
>>75430 Есть. Называется extract loras from models, уже находится в кохийном sd_scripts/networks. Если обида на Кохию сильна, такой же есть у клона Симо.
>>75585 Из головы: Наи - базовая аниме. Anything - китаемикс предположительно на ее основе Elysium, Instagram Cafe - ради общей анатомии/рук, добавляет вот этой вот тридешности всяким апельсиномиксам. Раньше вместо Elysium была F222 Прономодели: gape, smirking face, rule34 - для прона.
И получается кстати ну просто охуенно. Возможно плацебо, но имхо лучше чем раньше И это всего лишь 575 шагов, 18 минут на лору Возможно, мать китайца я не ебал. Но однозначно ебал мать автоматика.
>>75684 Просто ставь лр равным 1е-3, а унет и ТЕ оставляй равными основному лр. Как я выяснил есть только два лернинг рейта, унет и ТЕ, а самый первый лр просто отвечает за значения двух предыдущих, в случае если они не указаны. В след. версии скрипта уберу его вообще чтобы не сбивать с толку. А я тупой думал надо твикать сразу три значения.
>>75562 Ты долбоеб, поправь разметку бля, сделай как шаблон в геншинтреде https://rentry.org/ex947/raw >тред общей тематики Тред общей тематики означает, что тут должно быть обсуждение всего, а не какой-то одной темы. И чтобы гридами вайпать, существуют отдельные треды. Бля охуенно было бы если бы запретили тут постить картинки вообще, отвечаю. Так была бы и реклама технотреду, а вахтерских разборок - бы не было.
>>75728 > поправь разметку бля Что именно? > геншинтреде Не полезу в болото, делать мне нехуй. Просто скажи что конкретно > Тред общей тематики означает, что тут должно быть обсуждение всего, а не какой-то одной темы Тред общей тематики в данном конкретном случае означает, что он не отпочковался от наи/дедотреда, а существует вне их юрисдикций. Поэтому посылать кого-то, если тебе не нравятся то что он тренирует, ты не можешь > И чтобы гридами вайпать, существуют отдельные треды Ссылку. Я так понимаю ты был бы не против запретить гриды в треде про обучение? > охуенно было бы если бы запретили тут постить картинки вообще Бред > Ты долбоеб Сам ты долбоёб
>>75728 >Так была бы и реклама технотреду, а вахтерских разборок - бы не было. Их и так нет. Видел, чтобы тут кто-то обсуждал, что надо кого-то выгнать?
> > Типа чуть лучше работает, чем FP16, если поддерживается. Но это не точно. > Каким образом? Больше точность. У fp16 5 бит на экспоненту, у bf16 - 8.
>>75735 >что он не отпочковался от наи Вообще-то он именно что отпочковался от наи треда, лол, но в целом всё верно, правила здесь должны быть такие, чтобы уживались аноны со всех тредов по генерациям картинок, раз уж это общий тред.
>Я так понимаю ты был бы не против запретить гриды в треде про обучение? Бля, я погорячился с формулировкой, имелось в виду постинг картинок, связанных непосредственно с контентом, моделями, датасетами, генерациями и прочим подобным, гриды и сами генерации в частности - оставить в тематических тредах и линковать тут при необходимости. https://2ch.hk/ai/res/62555.html https://2ch.hk/fur/res/270356.html https://2ch.hk/ai/res/72366.html Может быть ещё есть какие-то, но я про них не знаю потому что особо не слежу.
Запретить постить картинки тут никто, понятное дело, не запретит, но делать так я считаю просто хорошим тоном.
Плюсы: - Постоянная самоподдерживающаяся реклама и обсуждение технотреда - Поднятие мертвых тредов и хотя бы частичное возрождение тематики - Отсутствие вообще любых поводов начинать срачи по поводу тематики контента ака это тут почему-то именуется вахтерством
Минусы: - ААРРРЯЯЯ ЗАПРИЩЯЮТ ПОСТИТЬ КАРТИНКИ - Нужно держать как минимум 2 вкладки открытыми. Что минусом по сути не является, так как аноны и сейчас в большинстве своём сидят с двумя вкладками. - В общем-то всё.
>Не полезу в болото, делать мне нехуй. Так ты полезь. В болоте шапка лучше, и разметка там не проебана, в отличие от твоего технотреда.
>>75754 >Их и так нет. Ты хочешь, чтобы они были? Может быть хотя бы стоит принять превентивные меры?
>>75826 >Так ты полезь. В болоте шапка лучше Предлагаешь - делай. Возьми сам и ручками репостни или отметь важные на твой взгляд отличия. Щас бы эту помойку в пример приводить, ей богу. мимо
>>75687 >самый первый лр просто отвечает за значения двух предыдущих, в случае если они не указаны Вот с этим осторожнее, видел давно утекшее обсуждение, что его использует адам (8 bit adam), но пруфов, понятно, не будет.
>>75834 У меня в общем-то основная претензия к шапке именно как к шаблону. Что я не учел, так это то, что в геншинтреде катят своими картинками, а не постоянными, соответственно нам ещё нужно держать картинки в удобном виде. Во-первых бекап нужно выкинуть нахуй или держать в отдельном рентри, если это кому-то нужно. Во-вторых, если копировать шапку прямо из рентри (не из /raw), то стоит держать её в блоке с кодом, чтобы копировать можно было одним кликом.
Есть тут разбирающиеся в питоне? Направьте меня, хочу запилить вместо павершелл скрипта гуй. Библиотеку мне какую-то юзать чи шо. Но чтоб для хлебушков совсем
>>75937 Констант для быстротреняейся лоры не лучший вариант, он не умеет в скорость снижения обучения, используй любой вместо constant и constant_with_warmup, я использую linear и cosine
>>75941 Я повторяю, работает. На 1е-3 учит хорошо. НаНы на очень большом lr (~ >1e-2). Еще загитпуль автоматика если у тебя отрененное на 0.4.0 якобы не работает. Даже если ты используешь расширение от китайца, а не нативную поддержку
>>75961 Что то все разы что я тестил работает лора как то через жопу, на половину тренит и все. Только кокоро отн норм вышла, хз поч. В складе лор, кста хуйня полная по кокоро вышла. Зря ты датасет скостил.
>>75970 Ты хочешь включить вот это >>75826 или что? Ну допустим: Тред общенаправленныей, тренировка дедов, лупоглазых и фурри приветствуются. Тематический контент (датасеты, гриды, генерации) выкладываем в тематических тредах.
Держу на новокупленном SSD на 1tb: - версию автоматика от 1 января, от 16 января, самую новую - версию дримбуха от 23 декабря, от 11 января - версию лоры от 17 декабря и еще одну, хрен знает от куда я её взял, но в ней нет графического интерфейса и самого файла gui.ps1. Сейчас буду еще ставить самую новую Уже начало забиваться на 90% из-за количества моделек
>>75623 >Раньше вместо Elysium была F222 Так Элизиум это ж какая-то мешанина, она сама на f222 скорее всего. И из нее ниче не вычитается. Тогда уж можно более новые миксы подмешивать.
блядь 0.4.0 практически не тренирует 1 - версия от 31 декабря, вроде 2 - 0.4.0 говнище я ебал эту хуету нах, почему нельзя ПРОСТО работать, а не ебаться днями с этим??
>>76067 Ну ебани тогда нтфс сжатие, LZX вариант. Питоноговно хорошо сожмет, модели тоже процентов на 7-10 ужать можно. Мастхев имхо. Файлы, которые нуждаются в редактировании - распакуются обратно сами по себе. >>76087 >torch.cuda.OutOfMemoryError: CUDA out of memory. Невообразимо.
>>76089 > почему нельзя ПРОСТО работать, а не ебаться днями с этим?? Have sex Ну не ебись, отложи в сторонку и вернись когда заработает. Ты ебнутый или что?
>>75630 > Вообще-то годнота, если учесть, что это только эмбеддинг Ну так эмбединг плюс-минус всегда дает примерно одну и ту же внешку на одной модели и настройках. Проблема в том, что обычно эта внешка мимо.
Лора рабочая вышла, но сюда её скидывать мне не нужно, как я понял меня тут недолюбливают. tokiame так и не добавили, хотя у паханов этого треда нормально вышло натренить. А 1060-анон вообще на меня обиду держит из-за одного поста, когда я по его советам кокоро тренировал.
>>75920 Ты автор скрипта? Нужна хоть какая-то хелпа с вот этим >>75391 Куду тоже последнюю накатил, и павершелл 7 поставил и через него пытался открывать, не помогло
Надо бы чтобы авторы добавили в гайд инфу про это. И еще инфу про то, что если ставить два повершела, то система политики ломается и приходится лезть в реестр. Я так для версии 7.3 её не починил. Сначала запускаю встроенный, кажется 5 версии, в нем делаю Set-ExecutionPolicy Unrestricted, а уже потом в 7.3 захожу.
>>76319 это кал, не качай, если выйдет хуевая лора работающая только на модели, на которой обучал, то наи хоть как то выйдет асернити же кал полнейший, обучай на наи
>>76371 По факту есть что ответить? >оранжкал Тебя апельсиноюзеры проткнули что ли? Хули ты так рвешься? Я не на миксе предлагаю обучать, а на голом наи.
>>76381 Никто меня не протыкал. На наи, на сёртэнити, не важно. Главное тренить на чистой модели, а не на миксе из непонятного чего со сломанным клипом после тысячи мерджей
>>76382 > модель специально созданная для файн-тюна > кал Сходи проветрись
>>76400 >миксе Он генерит годноту. >клипом В соседнем треде выяснили, что пофикшенный клип делает хуже. >тренить Я нигде не предлагал обучать на оранже, ты сам проткнулся.
>>76406 > Он генерит годноту. Что мешает обучить лору на чистой модели, а потом использовать на другой? Религия? > Чтобы на огрызке нормальной модели - асернити её использовать? Кто это придумал? У меня все аниме нетворки натренены на асёртэнити, и все без исключения подхватывают стиль любого микса Пикрил одна и та же лора на асёртенити на 4 разных моделях. Она даже с протогеном справляется
>>76445 Нативный гуй отнимет пару килобайт максимум, если отнимет вообще. >>76451 А как же то время, которое видеокарта тратит на отрисовку гуя? Могло бы потратить это время на лору.
>>76491 > А как же то время, которое видеокарта тратит на отрисовку гуя? Могло бы потратить это время на лору. Да не души. Ограничу фпс отрисовки до 1 во время обучения или добавлю опцию чтобы гуй закрыался и открывалась консоль. Меня больше другое волнует - я не умею программировать
>>76223 Спасибо за подсказку, получилось, натренил за 20 минут вот такую херню, можно сказать сработало, даже лучше чем дримбут делал с этим датасетом.
Это что вообще бездонный колодец, жрёт вообще всё что выделяешь? На пикриле всю память и своп съел, но начал работать. У всех тренирующих свопы от 32 гигов?
>>76582 У меня оно само время от времени меняется. Ставил лишь на один 30гб, а теперь вот так на два. А до этого он сам поменял лишь на HDD, охуел от такого автоматического решения, при запуске webui комп зависал на минут 5 без возможности двинуть мышкой даже.
>>76586 >>76618 Стоял своп в рейндже 4-8 гб, увиличил вчера до 16, но этого тоже оказалось мало, мне буквально пришлось вычистить вилкой всё в диске, чтобы эти 32 гига в него влезли, перенесу потом своп на другой раздел диска, пожалуй
>>76614 3080, 24 отзеркаленные пикчи, 10 эпох, сток вроде остальное
$learning_rate = 1e-4 # Скорость обучения $unet_lr = $learning_rate # Скорость обучения U-Net. По умолчанию равен скорости обучения $text_encoder_lr = $learning_rate # Скорость обучения текстового энкодера. По умолчанию равен скорости обучения $scheduler = "cosine_with_restarts" # Планировщик скорости обучения. Возможные значения: linear, cosine, cosine_with_restarts, polynomial, constant (по умолчанию), constant_with_warmup $lr_warmup_ratio = 0.0 # Отношение количества шагов разогрева планировщика к количеству шагов обучения (от 0 до 1). Не имеет силы при планировщике constant $network_dim = 128 # Размер нетворка. Чем больше значение, тем больше точность и размер выходного файла $max_data_loader_n_workers = 8 # Максимальное количество потоков для DataLoader. Чем меньше значение, тем меньше потребление RAM, быстрее старт эпохи и медленнее загрузка данных $save_precision = "fp16" # Использовать ли пользовательскую точность сохранения, и её тип. Возможные значения: no, float, fp16, bf16 $mixed_precision = "fp16"
>>74508 Короче я смог осилить вчера тот колаб и даже че то вышло в итоге, прикиньте. А ВЫ В МЕНЯ НЕ ВЕРИЛИ! Правда результат довольно посредственный вышел и часто говнит генерацию, но я и близко не ожидал какого-нибудь результата с первого раза.
Может кто подсказать где я обосрался? В основном проблема с лицами и анатомией. Тренил на NAI. Вот датасет https://pixeldrain.com/u/AwpA7V9Z . Настройки пикрел.
При использовании того что вылезло под конец тренинга как я понимаю там был 29-й epoch, он без названия почему то был, видимо финальная версия? результаты на NAI отвратительные (первая пикча), но оранжмикс внезапно выдал что-то адекватное. В основном говнит лица и анатомию. Дополнительные примеры в архиве.
>>76717 >>76586 >>76618 То-есть для тренировки таким способом нужно очень много памяти? Серьёзный минус. А ещё не очевидный, добавили бы в гайд. Гпу большую часть времени просто простаивала во время тренировки.
Алсо есть тут гигачеды с 128 рам на борту? С таким количеством должно быть куда быстрее по идее.
>>76758 У меня 64, но в 99% случаев это нахрен не нужно, а в оставшихся 1% это решаемый вопрос. Если Dreambooth умещается в 6 гигов, лора тоже должна так уметь.
>>76779 Я пробовал дримбут, он точно так много памяти не потреблял, там врам только нужен вроде от 10, а на обычный рам похер. Сколько у тебя он занимает в враме и раме во время тренировки?
>>76818 Если поверишь мне на слово, то там нет отличий. Есть между fp16 и bf16 не в пользу последних. Это я почти с месяц назад тестировал, гридов нет больше.
>>76672 Слишком не типичный концепт для nai, крайне сложно ему зацепится и понять, где там тян, а где фон\стол\цветная мишура из твоих пикч, а так же еще еблю он не любит. Я бы не использовал пикчи, где есть 2girl или 1boy, где руки вылазят из границ экрана (и у тебя для них даже не задан тег pow). Отзеркалил бы все. Добавил бы пикч с full body и при этом nude, может даже в фотошопе им цвета поменял для большего разнообразия. Убрал бы ту какую-то каменную девку, которая на камне сидит. У меня самого проблема с глазами. Сейчас пробую отзеркалить, до этого помогало.
>>77087 Это по-свински, Человек годами работал над собой, делал тонны рисунков, чтобы какой-то безрукий мудак запихнул его труд в копировальную машину коллажей и обесценил всю его жизнь высерая сотни кривых подобий его стиля, который обыватель с трудом отличит от оригинала
>>77127 Кул. Не будет лишним забекапить код. Если сломается что-то, ты сможешь восстановить. Ну или, наоборот, так проще экспериментировать, не боясь сломать что-то. Ручные бекапы - это git на минималках.
>>77257 Даже в эту унылую депрессивную атмосферу она способна принести лучик света
Чому играясь с весом эмбединга легко поймать момент, когда влияние на стиль отсутствует а персонаж охотно переодевается и принимает любые позы, а в случае с лорой элементы "канона" пытаются проскакивать вплоть до потери ключевых деталей?
>>72987 (OP) Бля, пацаны, есть ли какойнить новостной ресурс, где собираются все новости по поводу всех разработок в нейронках? На хагинфейсе неудобно и там новостей нет, только спейсы. На ютубе мониторить тоже неудобно. В частности интересует область генерации изображений. 1. Что планируют сделать с кривым рисованием рук, перекрываемых объектов. 2. Анимации? Или видосы? 3. Запоминание персонажа по 1 картинке со всеми деталями? Чтобы можно было сгенерировать девочку и потом ее в разные позы в визуальной новелле ставить, например.
обалдеть. я вкатываюсь в нейронки чтобы наконцептить БУКВАЛЬНО такого ранне-нихее-аниме-мегаструктурного контента для своего соло поделия. ты можешь, насколько тебе не лень, объяснить, как прийти к подобному результату новичку с нуля?
>>77350 Анон с форчана долгое время вел https://rentry.org/sdupdates3 и https://rentry.org/sdgoldmine В последнее время обновляет редко, но недавно писал (в первой ссылке), что собирается заняться активнее. Будем посмотреть. Тем не менее, там уже просто тонна инфы.
>3. Запоминание персонажа по 1 картинке со всеми деталями? Гугли DreamArtist.
>>77897 >Гугли DreamArtist. Да не, оно понятно, что можно и сейчас, будет похоже, но какие-то элементы проебутся, а это допустимо разве что в совсем нищих индииграх или особых случаях. Хотелось бы, чтобы модель прямо хорошо запоминала персонажа, тогда это уже можно будет коммерчески использовать. За две другие ссылки спасибо, посмотрю.
>>78166 Много хочешь из одной картинки. Это для людей даже не самая простая задача. Как именно этот персонаж будет выражать такую эмоцию? Как именно он встанет в определенную позу? Попробуй по одной картинке догадаться.
>>77350 Заплати художнику, например, вместо того чтобы воровать работы. >>78166 >тогда это уже можно будет коммерчески использовать никогда нельзя нейроподелки использовать коммерчески, на них нет авторского права
Пока свой гайд не состряпали вкину сюда. Нашёл гайд по блок мерджу на форчонге: https://rentry.org/BlockMergeExplained Начал читать, вроде прямо на пальцах начинается объяснение, алсо дополнение от автора на пике
Заебался что-то. Но буду пробовать снова. 1 - малое количество пикч, а именно 24 шт, не считая отзеркаливания 2 - 94 шт. 3 - тоже самое, что и 2, но на новой версии скрипта Везде 512x512, ACertainty, без vae, cosine_with_restarts. 1 и 2 на learning_rate 1e-4, 3 - на 1e-3 Сам x\y делал на новой версии webui и дополнения
>>78507 Разница есть, удовольствие от призания твоего скила и усилий от других, когда все знают что это сделал не ты, а нейросеть, нет, скорее презрение к криворукому вору, нет и радости творения и полученного результата, зачем это все тогда? >>78514 Я, как человек с добродетелью справедливости, не могу смотреть как на моих глазах происходит несправедливость и воровство. Вы же паразиты, вы ничего нового не создаёте, только воруете чужой труд
>>78243 >Заплати художнику У меня денег на еду не будет скоро, а ты говоришь, чтоб я художнику платил, который зарабатывает раза в 2 больше в среднем чем я в мухосрани.
>>78534 И ты конечно сейчас самостоятельно нагенеришь спрайтов и напишешь опиздохуительный сценарий вночки с помощью опять-таки сетки, чтоб продать лохам и быдлу за сотни нефти в вк плее, чтоб озолотиться, такой план?
>>78544 Конечно. Но не озолочусь, а реализую свои творческие начинания + если это будет приносить хоть какие-то деньги, хотя бы 20-30к в месяц, можно будет заниматься этим, а не разгребать говны, работая на дядю за те же деньги, под постоянным напряжением и еблей мозга. Когда у тебя есть по факту все, что нужно, ты собираешь из этого свой проект. Мечта любого творческого человека.
>>78557 У анона будет полная свобода творческой деятельности, независящая от его изначальных финансовых возможностей. Чтобы начать что-то делать, ты либо должен уже дохуя охуенным быть, либо иметь большой стартовый капитал, а это тоже сложно, учитвая, что средняя зп в мухосране 30к, а средний художник требует 100к, что пиздец ваще.
Раз уж об этом зашло опять, то почему никто не вспоминает, что было году так в 2010? Стал доступным блендер, юнити, всякие движки бесплатные, видухи стали тянуть рендер. Начали пилить 3d порн из моделек, порнхаб был забит этим. Было противно искать рисованный r34 по аниме, а находить кучу убогих 3d рендеров моделек. Сейчас использовать 3d модели для рисоваки - это база, это норма. Посмотрите на ютубе как рисуют какую нибдуь пизду из уэнсдей. Для окружения они используют блендер и бесплатные модели, прорисовывают лишь отдельные детали и саму тянку. >>78566 На это забей. Откопируй вручную из \sd-scripts\bitsandbytes_windows в \sd-scripts\venv\Lib\site-packages\bitsandbytes и в \cuda_setup файл main.py Все с заменой
>>78534 Даже не начинай, бедность - не оправдание воровства >>78572 Чтобы научится рисовать не нужно никаких финансовых возможностей, ты просто ленивый уебан > а средний художник требует 100к, что пиздец ваще охуительные истории, кто этот средний художник и за что такие расценки? >>78569 Ты не реализуешь никакое творчество, когда за тебя всё делает нейросеть, ты блядь никакой не творческий человек раз чтобы задумываться о творчестве тебе понадобилась бесплатный костыль, который всё делает за тебя. >>78575 Но нейросеть всё делает за тебя, буквально , а где нет твоего вклада, нет и творчества, жать на кнопку и выбирать из полученных вариантов это нихуя не творчество.
>>78597 >Даже не начинай, бедность - не оправдание воровства Воровство тут только в твоей голове, малолетний долбоеб. Ты сперва изучи, как оно работает. >Чтобы научится рисовать не нужно никаких финансовых возможностей, ты просто ленивый уебан Да, только я вот год учился в юности и чот один хуй еле еле анатомию задрочил. А еще очень много нужно, кроме рисования. А я вообще программист. >охуительные истории, кто этот средний художник и за что такие расценки? Да пиздуй на любую биржу. >Ты не реализуешь никакое творчество, когда за тебя всё делает нейросеть, ты блядь никакой не творческий человек раз чтобы задумываться о творчестве тебе понадобилась бесплатный костыль, который всё делает за тебя. Ты меня не знаешь, малолетний долбоеб, но в каком-то своем воспаленном мозгу выдумал уже обо мне целую историю. Иди нахуй, даун ебаный. Тебе сказано - нейросети помогут много кому раскрыть свой творческий потенциал и передать другим то что они чувствуют. Причем без каких-либо изначальных финансовых вложений и без задрачивания ненужной прослойки в виде рук и мозга. Ты когда-нибудь задумывался, например, что такое твои руки вообще? Почему ты видишь сны, но рисуешь руками? Руки это интерфейс, который не создан для рисования, даун ты ебаный, это костыль. А рисовать можно и из головы. Тебе по прежнему нужно будет дохуя чего знать, например композицию, "чувство прекрасного", да дохуя чего, если ты хоть немного знаком с творчеством, ты поймешь о чем я.
Блядь. С горем пополам сделал интерфейс. Застопорился на главном: как выполнить последовательность команд в консоли прямо из питона? С аргументами. Питонисты хелп
>>78634 >Картинки-оригиналы используется для получения прибыли? Да. >>78640 >Воровство тут только в твоей голове, малолетний долбоеб. Ты сперва изучи, как оно работает. Воровства нет, вот только без охуительного датасета из работ взятых без разрешения авторов нихуя бы не работало, охуенно. И поэтому в этом ITT треде все воруют и скармливают чужий работы в копировальную коллаж машину. >Тебе сказано - нейросети помогут много кому раскрыть свой творческий потенциал и передать другим то что они чувствуют. Причем без каких-либо изначальных финансовых вложений и без задрачивания ненужной прослойки в виде рук и мозга. О,заученные тейки NPC, кк оправдания собственной никчёмности и воровства. Обесценивание настоящих рисунков с целью приравнять их к высерам нейросети а себя к 'творцам' при том нихуя не умея. Нет. Ты - ленивый долбоёб, по твоим же словам работающий за копейки, не помогут тебе нейросети никак, ты - не художник и никогджа им не станешь, ты - жалкая имитация и паразит.
И так, час генерил и теперь вопрос, как определить идеальный мердж? Потому что приемлемые значения лежат в диапазоне 30-70%, а как определять золотое сечение я хз, я тупой. Если только не хреначить по 100 артов на мердж и потом сидеть часами сравнивать чекаво.
>>78717 Если они все похожие, то дрочить можно до совершенства бесконечно. Тогда можно просто среднее выбрать. Если потом не понравится - попробуешь другое соотношение, и уже будет понятнее, на что обращать внимание.
>>78690 >На каждую команду тебе будет нужен отдельный вызов subprocess.run(). Ну не мне, я не тот анон.
По пикрилам оно не пиздит? А то я уже поел всратых скриптов от него, но в целом результат удовлетворительный дебажить через языковой чат то еще удовольствие
Когда заменяю новый дримбутх на старый из лорагайда случается это и нихуя не работает. Нужно теперь какие-то новые действия предпринимать, в гайде не всё?
>>78774 Ну, запускать полурабочий код, который ты не совсем понимаешь, и который был написан нейронкой, натрененной на тексте из интернета - по крайней мере, это не скучно. Примерно как в русскую рулетку играть.
>>77825 > как прийти к подобному результату новичку с нуля? 1. Ставишь все по лорагайду 2. Без задней мысли собираешь датасет 3. Тренируешь 4. Профит
Ну а если серьезно, то я и сам считай новичок. Прочитай все два технотреда, местами есть разрозненная нужная инфа. Вся суть в датасете. От того насколько он хорош и как протеган, в основном и будет зависеть твой результат. Аноны говорили что ты получаешь именно то на чем тренируешь~, что в общем-то очень дохуя логично. Тебе нужно протегать на пикчах все что ты хочешь видеть и все что не хочешь, но присутствующее, типа industrial pipes есть и wires тоже есть, тегаешь их. Кроме этого, как я понял, желательно еще дифферинцировать материал, например из тех же industrial pipes и wires, если ты хочешь только трубки в определенном стиле, то кроме теггинга, надо еще подкинуть пикч только с industrial pipes и только с wires отдельно и соответственно их протегать, что бы нейронка "поняла" че куда что бы обучить нейронку - думай как нейронка. Еще от самой модели, на которой тренишь зависит результат, лучше когда она знает то что ты хочешь получить, чем по факту обучать на тег с нуля.
Оранжмикс например смутно догадывается про существование нихуя, про другие модели уже не помню. У меня еще вылезла такая проблема что, тег megastructure на бурах существует, однако им тегали не только нихуя, и из-за этого, выдает не то что я хочу, негативы на сао помогают, но всеравно не то например. Еб твою мать, кто протегал Айнкрад из сао как мегаструктуру? Алсо да, помогай лоре тегами не только из датасета.
Ну и собери хотя бы начальный датасет и ебись с лернинг рейтом, вармапом и шедулерами в 10 вариантах, что бы посмотреть, пощупать и уже понимать от чего тебе отталкиваться. Обязательно строй гриды по весу лоры и по эпохам с разными тегами, что бы понять как работает. Ну в общем начни, а там уже видно будет наверное.
Датасет для этой лоры нихуя я слил граббером с данбуру и чутка подкорректировал пикчи, обрезал где надо. Сейчас лениво собираю новый, листая блейм.
Хз насколько тебе эта информация поможет, объясняю я совсем хуево как и все аноны в треде, если чето не так написал, то меня поправят
>>78532 >Разница есть, удовольствие от призания твоего скила и усилий от других, когда все знают что это сделал не ты, а нейросеть Ой, не знаю, мне все равно. Лайков +- столько же. >скорее презрение к криворукому вору, нет и радости творения и полученного результата, зачем это все тогда? У меня есть радость от хорошей генерации, не знаю, что с тобой не так.
>>78970 Я пока еще не создавал файлы описаний, но учту, спасибо за напоминание. Сначала датасет только из понравившихся разворотов соберу и посмотрю что получится, потом туда буду подмешивать остальное.
За неделю мб долистаю биомегу с абарой включительно
до этого пробовал колаб с textual inversion, пытаясь натренить сетку на здания из классического фоллаута. но за несколько попыток получил лишь лютую чепуху
да и размер эмбеддинга в пару килобайт вряд ли может содержать достаточно информации, чтобы адекватно воссодать все архитектурные формы из игры
>>78987 Там много фреймов, которые можно тегать перспективой, трубами, кабелями, руинами и т.д. Архитектуру и виды можно в отдельную лору запихнуть как вариант. Надеюсь у тебя получится круто.
>>79021 А сейчас есть смысл textual inversion использовать? Я его пробовал месяца три назад, он тогда требовал столько же VRAM, сколько и оптимизированный Dreambooth, но тренился дольше и результаты были значительно хуже.
кстати, попробовал дримбудку через колаб. тренируется в колабе минут 6, результат куда лучше не знаю, зачем вообще текстуал инвершн нужен. тренируется часами, а результат смех один
>>79213 >>79213 > эмбеддинга в пару килобайт вряд ли может Может. Только вот лишь с приходом дримбуха и лоры новые концепты пошли как из пушки, а до этого такого не было. Эмбеддинг слишком сложен в освоении, я только понял, как работает гиперсеть, а тут все внезапно пошли в лору, а про эмбеддинг забыли еще до него. Так что, считай что эта технология либо сильно устарела и\или никто так и не нашел для нее достойного применения. Некоторые считают, что эмбеддинг никто и ни разу не смог одолеть до хоть как-то результата вменяемого. Но все же пару штук рабочих я видел.
Ух пизда. Как-то разобрался. Ебал в рот писать гуй вручную... Есть пара косяков желательно если создал вкладку её не закрывать, там какой-то баг гуляет, пока лень разбираться НО ОНО РАБОТАЕТ. Можно тренить кучу лор последовательно. Можно создать одну вкладку и копировать все значения в любую другую, чтобы не заполнять одни и те же строки. Но защиты от дурака как в скрипте (почти) нету, это слишком долго делать. Но если всё ввести правильно, всё работает
Единственное я был бы ОЧЕНЬ благодарен если бы кто-то помог реализовать в приложухе консоль в любом виде. Чтобы видеть прогресс. Потому что пока всё пишется в stdout. И если не запускать аппсуху через консоль понять что она работает можно только через нагрузку на гпу. Я закоментил вкладку с консолью, но всё же хотелось бы её реализовать
Завтра узнаю как компилировать питонные проекты в один экзешник и скину потестить
>>79412 > Завтра узнаю как компилировать питонные проекты в один экзешник и скину потестить pyinstaller -F filename.py > Единственное я был бы ОЧЕНЬ благодарен если бы кто-то помог реализовать в приложухе консоль в любом виде. Чтобы видеть прогресс. У тебя при запуске консолька будет отдельным окном открываться
>просто поставил галку для установки экстеншна дрмибуза >старый автоматик: в плагине type error >новый автоматик: я все сломал >новый автоматик после удаления всего содержимого кроме гита и моделей и хардресета: я все сломал >старый автоматик в той же папке: я все сломал >новый автоматик в соседней папке: я все сломал Да ебаный же автопидорас! Пойду отдельно дримтуз ставить, пошел он нахуй со своими экстеншнами.
>>79454 > pyinstaller -F filename.py Не подцепляет файл шрифта из папки Assets. А если его убрать будут кракозябры. Но спасибо > У тебя при запуске консолька будет отдельным окном открываться Да, как вариант сойдет, но круто было бы если можно сделать кошерно
Анон, поясни по хардкору за различие принципов обучения. В гайд бы это добавить, но... давай я попробую объяснить, что я понял, а ты поправишь/добавишь.
Textual Inversion aka Embedding
Человек: нейросеть, вот персонаж, раз пик, два пик, десять пик. Как бы ты его в общем описала восемью словами (токенами)? Нейросеть: 1девочка:1.5, длинные_волосы:1.2, голубые_глаза:0.95, хорошая_шея:0.5, серебряные_серёжки:1.4, луна:0.5, сковородка:0.2, плесневелые_помидоры:0.3, полтора_кило_гвоздей:0.1 Человек: Какие ещё нахрен гвозди? Нейросеть: Я художник, я так вижу!
Плюсы: + Маленький размер (несколько килобайт) + Переносимость между родственными моделями + Можно прямо по ходу генерации менять вес ключевого слова, активирующего TI
Минусы: - Не очень хорошо схватывает суть концепта - Занимает место в токенайзере по длине токен-вектора (в примере - 8)
DreamBooth
Человек: Нейросеть, тебе при обучении кое-что недорассказали. Смотри, есть такая штука - %concept_name%. Это разновидность %base_concept_name%. Сейчас я тебе покажу, как оно выглядит... И давай посмотрим, чем %concept_name% отличается от %base_concept_name%.
Плюсы: + полноценная самодостаточная модель + возможность хорошо "схватить" персонажа/стиль/etc (*здесь и далее - при умении и везении) + возможность впихнуть в одну модель нескольких персонажей/артефактов/etc
Минусы: - деградация базового концепта и иногда всей модели (реально страшная штука и мешает дообучать) - большой размер (2-4-7 ГБ) - плохая переносимость между базовыми моделями (разве что через Merge with Add Difference, и то не факт)
По идее, следующий шаг - это как DreamBooth, но каждая картинка размечается не одним токеном (названием нового концепта), а полным описанием с использованием нового токена, а дальше как в DreamBooth. Есть ли это и как оно называется?
Hypernetwork Человек: Нейросеть, а как надо после стандартной генерации преобразовать результат, чтобы картинки были похожи вот на это? Нейросеть: Это надо добавить ещё пару слоёв нейронов, записывай веса. 0xDEADBEEF 0xB16B00B5 ...
Плюсы: + относительно небольшой размер (десятки мегабайт) + переносимость между родственными моделями + ??? + PROFIT!!11
Минусы: - ???
LoRA
Неведомая штука.
Минусы: - нужно очень внимательно размечать датасет
Ахтунг, я не то чтобы спец и могу сиильно накосячить, поправляйте!
>>79465 > Не подцепляет файл шрифта из папки Assets. А если его убрать будут кракозябры. Но спасибо with dpg.font_registry(): if getattr(sys, 'frozen', False): default_font = dpg.add_font(file=os.path.join(sys._MEIPASS, "fonts/freesans.otf"), size=20) else: default_font = dpg.add_font(file="fonts/freesans.otf", size=20)
При сборке .exe явно указать --add-data="SRC;DEST": pyinstaller --add-data="fonts/freesans.otf;fonts" -F filename.py
> но круто было бы если можно сделать кошерно Технически можно перехватывать вывод stdout из subprocess, но с некоторым пердолингом
>>79536 Спасибо за код, так примерно и сделал https://stackoverflow.com/questions/7674790/bundling-data-files-with-pyinstaller-onefile/13790741#13790741 > Технически можно перехватывать вывод stdout из subprocess, но с некоторым пердолингом Я этим пердолингом сейчас занимаюсь. Я ХОЧУ СПАТЬ БЛЯТЬ. Я пытаюсь вывести выхлоп павершелла в консоль в реалтайме, но когда я так делаю (кучу методов перепробовал) у меня основной скрипт лоры виснет на строке "prepare images". И хоть ты убейся. А если выводить после конца работы stdout, то всё нормально, только ты нихрена не видишь пока скрипт свою работу не выолнит
>>79606 На это тоже хотелось бы получить пояснение. Вроде при изменении картинка меняется, но непонятно как это сказывается на качестве, может оно имеет значение только при хайрезе простынь HD формата или что.
>>79480 У гиперов тоже надо очень внимательно размечать датасет и обучение тоже нужно пиздец как тюнить - результаты хрупкие и труднопредсказуемые. Плюс: при правильном обучении очень хорошо схватывает и накатывает стили, для стилей это самый лучший инструмент, что бы там лораебы не думали.
>>79689 Я предполагаю, это потому что для стиля даже в одной картинке есть куча примеров, как он изменяет различные детали. А для персонажа в одной картинке есть только один его пример.
>>79698 Сколько у тебя рам? Точно ничего не путаешь, сам интерпретатор в три клика ставится и ничего во время установки не жрет. Обновлял на днях микроверсию, вообще без проблем заработала, как раз в три клика
>>79552 > Я пытаюсь вывести выхлоп павершелла в консоль в реалтайме, но когда я так делаю (кучу методов перепробовал) у меня основной скрипт лоры виснет
ты в курсе дедлока в subprocess, если выдается много аутпута? нужно вместо wait использовать communicate
Анонче, первый раз испытал лору, результат не порадовал совсем. Хотел получить реального человека, до этого тренировал модель на колабе и хайпернетворк, первый вариант получился самым приемлемым. Лору тренировал на модели хассанбленд1512 с помощью скрипта от kohya, почему то от d8ahazard не заработало. Тренировал 200 эпох, но уже после 160-й пошло по пизде, до 120-й тоже совсем непохоже получается. Соответственно 140-я самая нормальная, но и она не дотягивает даже до самых слабых результатов, что я тренировал раньше другими способами. Не хочется забрасывать совсем, что еще можно сделать, какие настройки покрутить для реальных лиц?
>>79862 В лучших традициях сего заведения, не приходя в чужой монастырь со своим уставом, намерен иметь честь осмелиться заявить, что в таком случае ШАПКА - ГОВНО!
>>79875 Попробуй версию по старее, до 0.4.0 как минимум. Новая делает как-то не так, но все равно в целом справляется обычно. >>79932 Пробуй поменьше. 5-20 где-то.
Пытаюсь развить концепцию сруни, пруни или как там его. Дано: [[sexy (curvy) | girl body] anime girl | (beautiful face (detailed eyes, detailed face))] Не будем о том, как оно помогает позитив промту, но при этом действительно весит 1 токен и в целом читается. Для позитива этот вес мало что значит. Другое дело для негатива, было бы неблохо запихать много понятной инфы в один токен.
Пробую негатив (пик1): [[ugly (fat) | body] mutation | (bad face (bad eyes, bad hair))] Пик2: без негатива. Пик3: то же, разбитое запятыми. Вроде неплохой результат для одного токена? Чего дальше: можно распихать всю здоровую пасту для негативов подобным образом, но я совсем хз насчет структуры.
>>80173 В негативе так и так будет здоровое полотно, но с запятыми оно сожрет доступные токены на первых двух строчках если позитив в пределах 75 токенов, остальное просто не подхватится. А способ с [ | ] перебором уменьшит силу каждого выражения, но задействует всё. При этом самое важное можно всё еще дать через запятые, а остальное влезет в десяток токенов.
Почему у меня dreambooth автоматически проставляет cpu only ссылаясь на то, что у меня меньше 10 гб видеопамяти, несмотря на то, что я, по совету гайда скачал старую версию с заменой файлов?
>>80523 > Ты уже знаком был до питона с ООП? Ну так чутка совсем. В C# ковырялся с ним пытался понять зачем этим классы нужны, но так и не нашёл применения. И тут тоже самое, код тупейший конечно, мне кажется если бы я понимал ооп и как его применять, у меня кода было бы в 5 раз меньше, и написал бы этот гуй за полдня > Писал на каком то языке? Я "много" языков знаю, но везде одинаковая картина примерно была, это прочитать про if/else, узнать как объявлять функции а потом благополучно забить
>>80567 > Я "много" языков знаю, но везде одинаковая картина примерно была, это прочитать про if/else, узнать как объявлять функции а потом благополучно забить Жиза
>>80531 Я сейчас треню датасет из ~2300 Пепе. Пикрилейтеды - после 20 эпох на lr 5e-7. Выглядит недотренено, так что я еще на 20 эпох поставил недавно.
>Это примерно сколько шагов для Unet? Размер одной эпохи равен размеру датасета. Если у тебя 1000 пикч, то 20 эпох это 1000 * 20 = 20000 шагов. Да, и я треню text encoder тоже, не только unet.
>>80658 Еще неплохо генерировать промежуточные результаты по мере тренировки модели. Ну или хотя бы сохранять промежуточные модели, и вручную генерировать на них. Проверяешь, насколько хорошо модель запомнила датасет - можно скопипастить один из промптов из него, а также стоит посмотреть на "редактируемость" - насколько хорошо генерируются новые ситуации, которых в датасете нет.
>>80658 > А, и разумеется, для каждой пикчи должен быть отдельный промпт. Не проблема, я картинки скриптом с бур подтягиваю.
> Размер одной эпохи равен размеру датасета. Если у тебя 1000 пикч, то 20 эпох это 1000 * 20 = 20000 шагов. 20 000? Нормально. Главное тут с lr не проебаться.
> Да, и я треню text encoder тоже, не только unet. В случае бур, CLIP тренить нужно немного. В случае аниме-моделей CLIP и так знает все теги.
Алсо, спрашивал одного анона, он наоборот говорит, что нейронку кормить тысячами пикч не нужно. Достаточно 50 картинок на концепт. Пробовал эти концепты, вообще не почувствовал, что что-то изменилось.
>>80700 >Достаточно 50 картинок на концепт. Смотря какой концепт. Для одного персонажа мб и ок. Но если что-то более абстрактное вроде ситуации, то маловато. Ну и результат у меня на маленьких датасетах получается либо статичный и плохо редактируется, либо недотрененный. Хотя 50 это еще куда ни шло.
>>80740 Это цикличная штука. Запустил, проверил, поправил, запустил снова. Ну и по ходу еще смотришь, иногда рано останавливаешь и правишь. Общее количество времени на весь процесс зависит от скорости железа и твоего опыта.
>>80760 > Это цикличная штука. Запустил, проверил, поправил, запустил снова. Ну это да.
Но вообще в моем случае сложно оценивать. Модель и так неплохо понимает нужный мне объект. Но хотелось бы еще лучше, если это возможно. Впервую очередь хотелось бы, чтобы модель переняла бы стиль художников, которые рисуют нужный мне объект.
> Общее количество времени на весь процесс зависит от скорости железа и твоего опыта.
>>80314 Штош, поехали багрепорт? Поставь в настройки лернин рейтов разрядность больше, а то ниже 0.001 не ставится, 3 знака после запятой какие-то константные.
А еще когда крутишь эти поля кнопками + и -, то значения крутятся по 0.1, надо по меньшему разряду.
А еще желательно сделать что бы когда кликаешь в поля лернин рейтов, то строка в них не выделялась полностью.
А еще значение клип скипа и слайдер клип скипа одного цвета, цифру практически не видно.
>>80831 > Поставь в настройки лернин рейтов разрядность больше, а то ниже 0.001 не ставится, 3 знака после запятой какие-то константные. Интересно, хорошо, поправлю. Можешь пока попробовать писать значения типа 1-e4, тоже работать по идее > А еще когда крутишь эти поля кнопками + и -, то значения крутятся по 0.1, надо по меньшему разряду. Исправлю > А еще желательно сделать что бы когда кликаешь в поля лернин рейтов, то строка в них не выделялась полностью. Гляну если это позволяет сделать библиотека, если да то исправлю > А еще значение клип скипа и слайдер клип скипа одного цвета, цифру практически не видно. Да, стоит поменять
К слову есть немного обновленная версия: https://github.com/anon-1337/LoRA-train-GUI/releases/tag/v0.15 Из перечисленного тобой ничего не изменено, но на случай если ошибки из-за пробелов в пути или еще какая хрень, в этой версии этого быть не должно
>>80857 Вдогонку, не можешь сделать чекбокс для отключения передачи параметра альфы? А то у меня старая версия, на которой все работает без нанов. Или там в новых версиях скрипта у кои не только это из интерфейса поменялось?
>>80829 примерно так собирались первые датасеты для всяких вайфу/хентай/левд/фурри диффужинов. Поэтому у них модели со спидозной анатомией, где хоть как промпт используй, получается монструозное говнище. Эти тэги, по хорошему, надо чистить от всевозможной параши, того же absurdres, которыйникак не отвечает за качество, а только за размер полотна, tagme и прочего неинформативного говнеца, а арты фильтровать, чтоб совсем днище не попало в треньку.
>>80876 Хорошо, сделаю. Если значение пустое, то не передавать аргумент вообще сделаю. Из нового в 0.4.0 кроме этого если и есть что-то, то не такое важное
>>80884 Жаль создатели каловых yiffy-e18 и Furry_epoch4 тебя не слышат, такое чувство, что они тупо сгрузили весь дамп сайта на обучение, так как что-то годное на них сгенерить крайне трудно, их косоебит от 3d до карандаша/от HD до всратой каляки детей через раз.
>>80879 Пожалуйста, можешь сохранить другим флагом метаданные. Danbooru в отдельном поле держит те же general tags, можешь выцепить оттуда без кучи метатегов.
>>80891 >Жаль создатели каловых yiffy-e18 и Furry_epoch4 тебя не слышат, такое чувство, что они тупо сгрузили весь дамп сайта на обучение Скорее всего.
>>80886 Алсо, было бы очень хорошо, если бы настройки вкладки можно было бы записать и прочитать в файл/из файла. Ну файл настроек короче. Или каким-либо другим образом организовать их перенос между версиями и сохранение. Это засейвит много человекочасов.
>>80196 >лимит токенов У меня была идея насчет токенизации для буровских тегов, чтобы на один тег был один токен. Но дальше идеи это никуда не ушло, потому что у меня даже близко нет ресурсов, чтобы натренить модель хотя бы до уровня WD. А зафайнтюнить существующую модель вряд ли получится, потому что они привязаны к обычному токенизатору. Скорее всего, придется с нуля тренить.
>>81097 Легче забыть про него, там админ петушара столько анальных ограничений нагородил что пиздец. Чего стоит недавние ограничение просмотра дальше n страниц и лимит на использование р18 тегов, а еще раньше ограничение запросов по времени. Когда-нибудь у него случится заслуженный рак жопы за всю эту херню.
И когда-нибудь я выкачаю оттуда все что надобавлял в избранное
>>81215 Сдрисни нахуй обратно в загон, и свои охуительные позиции по важным вопросам выражай одноклассникам. Как ты сюда попал то бля? Тред 2 дня тонет, но ты пришел срать сюда, а не в найфу, да еще и посты мониторишь. Шиза
>>81121 не забанен, граббер из шапки. https://github.com/Bionus/imgbrd-grabber >>81148 ладно, давно не заходил, не знал что таким уебанством стало. жаль конечно т.к. был самый лучший сайт в плане контента. и хуйдожник которого хотел спиздить есть только на пиксеве и на санкаку, придётся пиздить с пиксева и тренить без тегов.
Что поменять в настройках тренировки, если лора обучилась слишком хорошо и её вес не удается уменьшить, чтобы действовали веса из основной модели? Вот сделал я себе персонажа, все кайфово, но если я хочу, чтобы он был, например, в спальной комнате или на открытом воздухе, то это отрисовывается крайне слабо, либо что-то из дата-сета корявое. Если уменьшаю вес до 0.5, тогда и персонаж теряется. Взять более раннюю эпоху в этом плане эффективнее, но не всегда, ибо в ней все так же персонаж прорисовывается куда хуже.
1 пик - 20 повторений на пикчу 2 пик - 12 повторений на пикчу 1e-4, cosine_with_restarts
>>80879 >вайфу/хентай/левд/фурри Мне вот интересно, F222 протегана с бур или БЛИПом. Инстаграм, как я понимаю, протеган с бур, потому что тохоебы.
>>81526 Вопрос года. Ничего ты в настройках не поменяешь, все так и останется. Это видимо датасет такой, нередактируемый. Есть еще два стула: тренировать с регами и из натрененной лоры избирательно выкидывать блоки (сейчас легко реализуемо через нативные лоры у автоматика+ расширение https://github.com/ashen-sensored/sd-webui-runtime-block-merge , позволяющее править блоки прямо во время инференса) в слепой надежде вышибить фон куском. Стулья натурально как в притче, со всеми стулофичами.
Третий стул - он ровный самый: добавить в датасет отфотошопленных/пропущенных через имгтуимг картиночек с персом на разных охуенных фонах/ в разной гамме. Вот его рекомендую от души. Но мы же здесь пердоли-аутисты, мы не ищем легких путей.
0.3.1 версия мокрописи короче рабочая, уже вторая лора вышла рабочей подряд. Использую настройки 1060 анона, и его скрипт версии 1.06. На одного персика мне спокойно хватает 50 пиков.
ГАЙДЫ ПО ОБУЧЕНИЮ
Существующую модель можно обучить симулировать определенный стиль или рисовать конкретного персонажа.
Текстуальная инверсия (Textual inversion) может подойти, если сеть уже умеет рисовать что-то похожее:
https://rentry.org/textard (англ.)
Гиперсеть (Hypernetwork) может подойти, если она этого делать не умеет; позволяет добавить более существенные изменения в существующую модель, но тренируется медленнее:
https://rentry.org/hypernetwork4dumdums (англ.)
Dreambooth – выбор 24 Гб VRAM-бояр. Выдаёт отличные результаты. Генерирует полноразмерные модели:
https://github.com/nitrosocke/dreambooth-training-guide (англ.)
LoRA – "легковесный Dreambooth" – подойдет для любых задач. Отличается малыми требованиями к VRAM (6 Гб+) и быстрым обучением:
https://rentry.org/2chAI_LoRA_Dreambooth_guide
Text-to-image fine-tuning для Nvidia A100/Tesla V100-бояр:
https://keras.io/examples/generative/finetune_stable_diffusion/ (англ.)
Бонус. Text-to-image fine-tuning для 24 Гб VRAM:
https://rentry.org/informal-training-guide (англ.)
- Гугл колабы -
Текстуальная инверсия: https://colab.research.google.com/github/huggingface/notebooks/blob/main/diffusers/sd_textual_inversion_training.ipynb
Dreambooth: https://colab.research.google.com/github/TheLastBen/fast-stable-diffusion/blob/main/fast-DreamBooth.ipynb
- Полезное -
Гайд по фиксу сломанных моделей: https://rentry.co/clipfix (англ.)
Гайд по кручению весов слоев моделей: https://rentry.org/mp2dt
Гайд по апскейлу: https://rentry.org/SD_upscale
Расширение для WebUI для проверки "сломаных" тензеров модели: https://github.com/iiiytn1k/sd-webui-check-tensors
Подборка мокрописек от анона: https://rentry.org/te3oh
Группы тегов для бур: https://danbooru.donmai.us/wiki_pages/tag_groups (англ.)
Огромное количество ссылок на гайды с форча: https://rentry.org/sdg-link (англ.)
Коллекция лор от анонов: https://rentry.org/2chAI_LoRA (заливать лоры можно сюда https://technothread.space/ пароль 2ch)