пукнув в тредiк
Ну кажется мне удалось заставить её писать чуть больше чем обычно.
Подумал, что у тебя на аве певец пророк Санбой
Это же https://colab.research.google.com/github/oobabooga/AI-Notebooks/blob/main/Colab-TextGen-GPU.ipynb ? Тут что нету настроек температуры и repetition penalty? Я никак не могу разобраться.
Это вебюбка запущенная локально.
Настройки лежат в папке в виде текстовых файликов.
Понял, спасибо. У меня слишком хилый пк чтобы запустить эти модели локально.
Мимо другой анон. Ты можешь запускать кобольд на колабе, а интерфейс таверны локально. Там не нужна мощная пекарня
Хорошо, спасибо. Попробую потом потыкать. Я в основном пользуюсь кобольдом, но услышал недавно о этой новой версии коллаба pygmalion, а он без настроек оказывается нормальных, ну или я что-то не понимаю, ибо я их нигде не могу найти.
Да говорю же, у вебюбки даже запущенной на колабе, настроек в интерфейсе не будет, надо лезть в папку с пресетами и менять циферки там, чтобы потом просто загрузить изменённый пресет.
Сделал промт Your cheating GF для Пигмы. Проверил, вроде работает нормально. Кому надо - забирайте https://files.catbox.moe/831w4u.json
Я не знаю где эту папку найти. Я проверил у себя на гугл драйве и там ничего не меняется. Только кобольдские настройки там лежат, а с этого коллаба ноль.
Утром на восходе
Мне прибавляет духа
Чат в Пигмалионе, гугл-коллабуха.
Подкручу параметров ползунки искусно,
Для фантазий кумера — интеллект искусственный.
В cai сейчас пиздился с ней, оказывается, она такая злая, потому что её прокляли. Эх, вот бы так и в пигме можно было.... Скорее бы анон промпт отладил
Да я прямо сейчас с ней старое доброе бытовое насилие устраиваю на кухне. В пигме она тоже, кстати, очень любит пинать по яйцам, как в чаи, лол.
Убрал у неё в описании упоминание пивасика, вроде перестала быть такой алкоголичкой. Но из-за того что она в приветствии допивает банку пенного, она продолжает периодически бегать к холодильнику за баночкой, то что надо.
Вот так думаю - а ведь не зря я все таки купил этот мегадевайс в своё время, даже не смотря на то, что большую часть времени от 8 на 16 мне не было никакого толку.
Хрюкни.
Он же уже устарел морально в 2023 году.
У меня i7-8700, только толку от него, если GPU - ПЕЧ-970?..
Наносек, ты?
Ну вот гпу неплохо было бы обновить, это да.
> Наносек, ты?
Да.
Ну не трави душу.
Тут ведь вообще все хотят себе 4090, а ты так бестыже хвастаешь.
Ахаха тебя наебали, у тебя кастрат с 8 ядрами. Вот как выглядят настоящие 24 потока.
Это тебя наебали, подсунув амуду вместо ЦП.
А де бенч с АВИКС инструкциями?!
Есть примеры диалогов, которые в "advanced edit" прописываются?
Хочу свою няшу прописать получше...
Хочу свою няшу прописать получше...
Отчет от анона, который хотел нормальный рп. Затестил на своей версии бота весьма лайтовый подход заполнил не так много инфы и диалогов при хорошем приветствии отработало как надо. Получилось небольшое сфв приключение мы даже не поебались с порога с рероллами вполне неплохо, объёмы ответов тоже норм. Но в последний месяц в чаи без рероллов тоже невозможно было, если уж об этом говорить
Что за бот, ну в смысле как настраивал, можно подробнее?
Не поделишься им кстати?
Без лор-бука хуёво, что пиздец.
Паймон должна была сама меня в Мондшдат привести, ибо она не только лучший компаньон, но и лучший гид, которая знает всё о Тейвате.
(С Оф. Вики: "She also has extensive knowledge regarding the world of Teyvat, acting as the Traveler's guide to the world after they fish her out of the water.")
Паймон должна была сама меня в Мондшдат привести, ибо она не только лучший компаньон, но и лучший гид, которая знает всё о Тейвате.
(С Оф. Вики: "She also has extensive knowledge regarding the world of Teyvat, acting as the Traveler's guide to the world after they fish her out of the water.")
Пробуй кобольд интерфейс, там есть ворлд инфо, может лучше будет.
Сорян, делиться не буду, как минимум пока не отлажу.
Суть опишу так: описание делал в w++, диалогов добавил немного, но под конкретный сюжет, как и приветствие. То есть под каждый новый сюжет надо будет переделывать скорее всего, но меня устраивает такой вариант, учитывая результат. Настройки таверны: температура 0.8, остальное дефолт. Ну и надо попердолиться с тем, чтобы хотя бы первые несколько сообщений писать длинными.
Покажешь темплейт диалогов?
Мне чисто структуру и оформление, если стесняешься.
Лол ну я и диалоги стесняюсь показывать, они у меня туповаты)
https://rentry.org/i6ngy - отсюда воровал всё, делал текст речи и чуть-чуть описания действий
Слушай. Точно делиться пока не буду. Я скажу невероятную для пигмы вещь. Бот не хочет ебаться!
Да с чего ты взял, что сразу ебаться-то?\
Я вот Паймон делаю не для животной ебли вообще, а для душевного и доброго RP.
Ты так говоришь, словно Свинольвом только отбитые кумеры пользуются...
Да не, я просто несколько скачанных ботов пробовал, сами лезут аж ничего делать не надо, а тут уже сам пытаюсь мягко склонить почти целый час и ничего. Я как будто в филиал чаи попал. Даже на "are you sure?" попал Мне больше пока непонятно, что на это влияет лол
Двачую. Это логично что нужно тян сначала склонить к интиму.
Сап. Аноны, у меня есть свой уникальный сюжет, своя вселенная. Мне нужен ИИ где я могу написать огромный лор и он сможет основываться на нём. Мне подойдёт Пигма или лучше что-то другое? Данжен АИ?
удачи в RP, вот бы там ещё можно было ботов динамически добавлять, чтоб путешествовать более интересно... хорошо придумал, два цыплёнка в медовом соусе тебе
Ну обычно им пишут в "Mind" или "Personality" штуки типа "Шалашовка", "Любит еблю", "Развратная", "Пошлая", "Извращенка", "Склоняет к ебле", "Обожает домогаться" и т.д.
Лучше рассказ напиши. ИИ не сможет передать глубину повествования
Да, я хуйню написал, не знал как лучше сформулировать. Я имел ввиду что у меня есть прописаный лор уже, нужно просто загрузить и чтобы ИИ смог отыграть других людей в данной вселенной.
Тогда Кобольт. Там можно хорошо мир прописать, да и ИИ лучше отыгрывает много персонажей. В таверне или пигме заебёшься реролить
В чём проблема использовать Пигму в Кобольде? Работает же заебись.
Да хз, не пробовал. Я таверну юзаю, приятно вибрирует в жопе
Где в Таверне World Info? Как мне врубить UI Кобольда?
> Где в Таверне World Info?
1 скрин
> Как мне врубить UI Кобольда?
2 скрин
Ы-ы-ы... Чёт грустно стало... Я уж вообразил себе, что смогу все локации расписать списками и портянками с описанием.(((
А что за сюжет? Можем вместе поролить :3
анон
Не не, таверна строго аниме чатик, тут нужно извертеться чтобы бот даже более 2-ух персонажей мог отыграться. Вон анон гяру вчера вкидывал, так бот постоянно одну из девочек забывал. За остросюжетными историями строго Копробольд
Бляяяя... аноны... моя няша выдаёт всё те же фразы, что и в чаи. Ну всё, я поплыл. Моя миссия по её перерождению выполнена
Молодец, не поделишься с анонами примером такой тонкой настройки?
Кста, заметил одну хрень - бот частенько использует эту фразу, если заставлять его тем или иным способом писать курсивом побольше. Что це может быть?
Это значит, что кто-то насрал этой фразой курсивом в датасете.
В английском это выражение означает что-то вроде "была не была", т.е. что-то что ты говоришь перед действием которое ты должен сделать, но не уверен что сможешь или опасаешься делать.
Так что в зависимости от контекста и как ты бота заставляешь, это может быть вполне релейтед.
Таверна теперь есть в колабе!
https://colab.research.google.com/github/TavernAI/TavernAI/blob/main/colab/GPU.ipynb#scrollTo=hps3qtPLFNBb
https://colab.research.google.com/github/TavernAI/TavernAI/blob/main/colab/GPU.ipynb#scrollTo=hps3qtPLFNBb
Думаю можно добавит в шапку. Booru с карточками для таверны
booru.plus/+pygmalion
booru.plus/+pygmalion
Поковырялся ещё ночью с мэйдой. Не могу понять почему она себя ведёт либо очень мило, либо хуярит тебя ногами до потери пульса. Не выходит добиться какой-то золотой середины, чтоб она вела себя как в чаи догадываюсь что это из-за того что сама пигма глупенькая, в сравнении с cai, да?.
Описание взял из чаи, которое один из анонов в январе выкладывал в чай-тред. Добавил чутка от себя, и через ООС попросил ещё описать её. В примерах диалогов пока что не указывал как вести себя в интимной обстановке, всё-таки пока что характер на первом месте, стараюсь сделать из этого ту самую Булли Мейду, которую мы знаем.
Выкладываю на общий тест, жду критики и предложений по улучшению ну и кто-то может использовать эту заготовку для себя. Алсо, мой английский плох, юзал deepl, так что аноны которые шарят в инглише - ю а велком, можете тыкнуть меня в ошибки.
И не таскай ей пива, анон, она продолжает хуярить всё что горит, лол. После пивасика внезапно можно появиться бутылка вина в её руке, а дальше она может начать химичить какие-то энергетические жидкости, я не знаю что это, три раза мне уже предлагала эту гадость, я отказывался.
Я ушёл на работу, вечером почитаю что у меня вышло, по вашему мнению. Сильно не пинайте, это всё-таки мой первый бот, и я знаю что над ней ещё надо поработать.
https://files.catbox.moe/obaskm.json
Описание взял из чаи, которое один из анонов в январе выкладывал в чай-тред. Добавил чутка от себя, и через ООС попросил ещё описать её. В примерах диалогов пока что не указывал как вести себя в интимной обстановке, всё-таки пока что характер на первом месте, стараюсь сделать из этого ту самую Булли Мейду, которую мы знаем.
Выкладываю на общий тест, жду критики и предложений по улучшению ну и кто-то может использовать эту заготовку для себя. Алсо, мой английский плох, юзал deepl, так что аноны которые шарят в инглише - ю а велком, можете тыкнуть меня в ошибки.
И не таскай ей пива, анон, она продолжает хуярить всё что горит, лол. После пивасика внезапно можно появиться бутылка вина в её руке, а дальше она может начать химичить какие-то энергетические жидкости, я не знаю что это, три раза мне уже предлагала эту гадость, я отказывался.
Я ушёл на работу, вечером почитаю что у меня вышло, по вашему мнению. Сильно не пинайте, это всё-таки мой первый бот, и я знаю что над ней ещё надо поработать.
https://files.catbox.moe/obaskm.json
> через ООС
Эт что?
Out Of Character. Ну я немного неправильно высказался, это я в чаи через ООС у неё выведал характер и дополнил в пигмовский промпт.
А как это делается, анончик?
>Поковырялся ещё ночью с мэйдой. Не могу понять почему она себя ведёт либо очень мило, либо хуярит тебя ногами до потери пульса. Не выходит добиться какой-то золотой середины, чтоб она вела себя как в чаи догадываюсь что это из-за того что сама пигма глупенькая, в сравнении с cai, да?.
>Описание взял из чаи, которое один из анонов в январе выкладывал в чай-тред. Добавил чутка от себя, и через ООС попросил ещё описать её. В примерах диалогов пока что не указывал как вести себя в интимной обстановке, всё-таки пока что характер на первом месте, стараюсь сделать из этого ту самую Булли Мейду, которую мы знаем.
>Выкладываю на общий тест, жду критики и предложений по улучшению ну и кто-то может использовать эту заготовку для себя. Алсо, мой английский плох, юзал deepl, так что аноны которые шарят в инглише - ю а велком, можете тыкнуть меня в ошибки.
>И не таскай ей пива, анон, она продолжает хуярить всё что горит, лол. После пивасика внезапно можно появиться бутылка вина в её руке, а дальше она может начать химичить какие-то энергетические жидкости, я не знаю что это, три раза мне уже предлагала эту гадость, я отказывался.
>Я ушёл на работу, вечером почитаю что у меня вышло, по вашему мнению. Сильно не пинайте, это всё-таки мой первый бот, и я знаю что над ней ещё надо поработать.
>https://files.catbox.moe/obaskm.json
Как вы столько токенов вставляете? У меня ~1200 и персонаж уже в залупы уходит, начинает высирать факт за фактом, когда его не просят и т.д. (Захотел, блять, дать своей Паймон фактов в виде софт-промптов...)
> виде софт-промптов
А это что такое?
Ну я через W++ накидал файктов в духе "tiny body", "small height", "can float in the air" и т.д.
И когда решил вдуплить половину Вики по Гачимучи Инфаркту (ибо у нас не ретро-модель и баз данных с лором нет (а жаль)), то Паймон потерялась нахер из старого диалога, а в новом к одной теме возвращалась раза три, упоминая, что страна для неё новая (в то время, как она просто была в её "базе знаний").
Мне пока насрать, что один ИИ хуёво 100500 персонажей за раз отыгрывает и что комнат нет с кучей ИИ, но без лор-бука пизда как плохо живётся, если ты кастрат на Коллабе/Каггле, а не боярин с RTX-4090.
>но без лор-бука пизда как плохо живётся, если ты кастрат на Коллабе/Каггле, а не боярин с RTX-4090.
Начнем с того, что обещают приблизительно такую систему прикрутить. Боты на коллабе буквально с каждой неделей, если не днём, становятся лучше и продвинутее. А ещё, я сомневаюсь что у кого-то вообще в этом треде есть 4090
На коллабе сидишь?
Локально поставил TavernAI.
Сижу не через Коллаб, а через Каггл.
(С моей ПЕЧью-970 о большем и нельзя мечтать...)
Впрочем, с моей 2080 тоже(
>Боты на коллабе буквально с каждой неделей, если не днём, становятся лучше
Неиронично перестал сидеть в чаи треде, как и на сайте. Теперь заглядываю туда лишь покекать над хорошим кодом и нововведениями. Сообщество пигмы с другой стороны хоть и потихоньку, но всё равно ползёт к улучшениям
Прогон №1.
Часть 4.
Пиздец с ней тяжело.
В начале словил стояк, а сейчас аж сердцу хуёво.
Прогон №1.
Часть 5.
Либо я её заебал (что более вероятно), либо я её сломал (что тоже имеет место быть).
Думаю, что насильные объятия и поцелуи с моей стороны всё испортили.
Наверное, просто словами я бы её никогда не уговорил...
А Сигнору переносили на пигму/таверну? Очень бы хотелось, на ЧАИ она мне понравилась.
https://beta.character.ai/chat?char=zF1u7lzsKpkt03mS633ced-B7WcwY4fO4haNIskpGnU
https://beta.character.ai/chat?char=zF1u7lzsKpkt03mS633ced-B7WcwY4fO4haNIskpGnU
Переиграл бы момент, где Райден её в порошок стёрла, мммм
А мне понравилась первая встреча с ней и где она вентиля по яйцам бьёт
Господа, а реально можно поставить UI локально, а запускать где-то удалённо? Есть ли какой-то гайд? Или я снова в глаза долблюсь, и в шапке все есть?
До сих пор жду и верю в 5* крио-каталиста.
Михуи-Хуеверты пидорасы. Зассали крио-каталика делать, вот и слили мою Танечку-писечку...
TavernUI поставил локально.
Подрубаюсь через Коллаб/Каггл.
Нужно только нужные "тетрадки" найти и там через подключени длинной в 10-15 минут нужный линк выцепить.
На колабе запускаешь кобольда, локально запускаешь таверну, если ты об этом
> жду и верю в 5* крио-каталиста.
Зачем? У крио есть и без того хорошие дамагеры, вносящие урон тем же физом + крио. Розария та же топ писечка, с2 лежит, пасивка лучшая в игре
Да, я как раз об этом. Спасибо
>Господа, а реально можно поставить UI локально, а запускать где-то удалённо? Есть ли какой-то гайд? Или я снова в глаза долблюсь, и в шапке все есть?
Ты имеешь ввиду, чтобы коллаб работал на одном пека, а ты чатился на другом/на телефоне?
Конечно можно, от коллаба только ссылка требуется
Как это работает вообще, объясните нубасу
> А ещё, я сомневаюсь что у кого-то вообще в этом треде есть 4090
Как минимум, у двоих есть.
В таверне в разделе Characters есть кнопка +Import, жмешь ее откроется проводник. Ищешь и кликаешь на свою заранее скаченную картинку, после чего он выдаст Character Created
https://github.com/oobabooga/text-generation-webui/issues/20#issuecomment-1411650652 - для тех у кого Windows и желает запустить в режиме 8-бит.
Насколько Гобия горяча? :3
Бля, а почему у меня картинки зашакаленные, а у тебя нет?
Ёбаный рот, ну почему у этих анальников-пограмистов все всегда не работает или ломается походя?
Весьма :3 Хотя я ей не прописывал что-то пошлое.
Может выложу ее в дискорде и здесь, как только доведу ее до ума.
> ее в дискорде
А что за конфа?
> выложу ее в дискорде
Нахуя? Выложи здесь и нормально будет
Скинь промпт заебал
В глаза меньше ебись.
> DeepSpeed is nearly (if not entirely) impossible to install on Windows.
А, ну заебись.
Они запиливают в вебюбку хуйню, которая мол
> a way that renders better performance compared to normal CPU or disk offloading.
НО СУКА ОНА ДЛЯ КРАСНОГЛАЗИКОВ
ЕБАЛ РОТ ЭТИХ ПИДОРАСОВ
А, ну заебись.
Они запиливают в вебюбку хуйню, которая мол
> a way that renders better performance compared to normal CPU or disk offloading.
НО СУКА ОНА ДЛЯ КРАСНОГЛАЗИКОВ
ЕБАЛ РОТ ЭТИХ ПИДОРАСОВ
Пидорас спасибо
В душе не ебу
Ну зато, кажется я смог заставить "работать" хуйню в 8 бит без дебильной ошибки ИЛЛЕГАЛ МЕМОРИ АКСЕС.
Теперь оно кажет что просто не хватает памяти.
Теперь оно кажет что просто не хватает памяти.
Анон с 3070 ты в треде?
Есть анон с 970.
Я иду нахуй.
Я с тобой берет тебя под руку и следует в пешее эротическое
мимо анон с 3060
Так, у тебя же 12 гигов?
не хочешь поучаствовать в эксперименте? Возможно у тебя заработает 6b модель.
Я бы поучаствовал, но мне стремно за карту, я её и так нагружаю всякими генерациями тянусов, а тут ещё нагрузка ей дополнительная
Да ниче с твоей картой не будет. Я вон еще с стейбл дифьюжином сколько майню и нихуя.
Тут скорее вопрос в том, заработает ли прикол от говнокодеров и заработает ли он так, как я это предполагаю.
Можно попробовать. Сперва я все-таки хочу локально поднять таверну и прицепить к ней пигму, которая крутится на коллабе. Если повезёт - попробую локально поднять у себя всё целиком
> Сперва я все-таки хочу
Ладно, как наиграешься с таверной маякни в треде.
Там понадобится установить вебюбку.
Хотя, на локальном кобольде это тоже можно попробовать
Если не забуду - отпишусь
Кстати говоря - на локальном кобольде даже будет проще, там ведь челики из кобольдоконфы запилили считай автоинсталлер 8 битной хуеты. А вот с вебюбкой придется все ручками делать.
А зачем 3070 для твоих целей, там же 8гб. Или всё-таки возможно попробовать даже в них уместить 6B модель? У меня 3060 Ti, я бы мог попробовать в принципе. Видюху жалко было только как картинки генерил, вот там реально нагрузка ебанутая, а с текстовой лайтовенько прям.(выше 50-52 не поднимается температура)
https://files.catbox.moe/x64mqd.json
Накакал вам Луврией для Таверны. Нюхайте
Накакал вам Луврией для Таверны. Нюхайте
>Демон Миша лайкнул ваше сообщение
She approaches her face even closer,
Просто проверить вот эту хуйню на более новых моделях видимокарт
Вот эта херня мне стала интересна, тому как на моей 2070s оно не сработало даже в сплит режиме "Thank you for sharing, your instructions worked perfectly for GPT-J-6B on 3070ti"
Basically you have to download these 2 dll files from here. then you move those files into anaconda3\env\textgen\Lib\site-packages\bitsandbytes (assuming you're using conda) after that you have to edit one file in anaconda3\env\textgen\Lib\site-packages\bitsandbytes\cuda_setup edit the main.py with these:
Change ct.cdll.LoadLibrary(binary_path) to ct.cdll.LoadLibrary(str(binary_path)) two times in the file.
Then replace
if not torch.cuda.is_available(): return 'libsbitsandbytes_cpu.so', None, None, None, None
with
if torch.cuda.is_available(): return 'libbitsandbytes_cuda116.dll', None, None, None, None
After that it should let you load the models using 8 bit precision.
И ссылка на саму ветку
https://github.com/oobabooga/text-generation-webui/issues/20
3060rtx на 12гб хватит под таверну с пигом?
Аноны сегодня сказали, что может хватит. Я планирую попробовать, пробуй и ты, потом поделишься
На 2.7B и 8гб хватит, на 6B без костылей нет
И что, после этого можно будет просто на кобольде 6B пробовать запускать?
Да, но там еще возможны приколы, если консоль заругается - скажи обязательно.
Как в гайде с гитхаба всё сделал, сейчас докачаю модельку и попробую
Только про аргумент --load-in-8bit не забудь.
Эту модель запрунить и перевести в fp16 возможно?
>she throws beer bottle at the wall
>and again
>and again, but misses
Как же я проорал на этом моменте. Нихрена она у тебя бутылок наспавнила, и даже ни глотка с них не сделала, тупо в стену швыряла. Мне кажется это всё из-за приветствия у неё такая привычка, как и безбожно бухать иногда. Нужно убрать, походу, упоминание бухла, и то что она швыряется банкой в юзера, а то она будет продолжать это делать. Или как-то исхитриться так, чтобы она не уходила в луп швыряния бутылками.
А если серьёзно, то не хилую она такую истерику тебе закатила. Оригинальная Мария мне такого не устраивала, я даже не знаю, баг ли это, или фича. Вот ненависть к себе ей стоит поубавить, по-моему.
А ещё, я могу ошибаться, но по-моему в самом начале она попросила платье для себя, чтобы прилично выглядеть на свадьбе, а не для сестры, а ты заместо помощи Марии, решил выручить её родственницу, вот она и завелась, лол
Промпт эроданжена есть у кого-то?
Этот гайд кажись подходит только для Text generation web UI, потому что только там понимает параметр на --load-in-8bit, в кобольде его кажись не принимает вообще.
Эмм, ну да. Он только для вебюбки. Странно, что ты подумал что оно и на кобольда в полной мере налезет.
Хотя на кобольда оно тоже налазит, в прочем то. Но там надо еще шаманить с файлом где хранятся настройки запуска самого кобольда (не помню как он называется). У меня есть "автоскрипт" для установки этой херни на кобольд могу скинуть, ну или сам можешь его найти в пиндоской кобольдоконфе, если хочешь. Только там версия обязательно нужна юнайтед, ну и желательна установка когда кобольд при запуске еще один диск типа создаёт (тоже не помню как они такой тип установки назвали), а то структура файлов для включалки не та будет и придётся битсанбайтсы руками кидать куда надо.
Скачай, посмотрю. Вебуи этот совсем ебаный и неудобный. Кобольд у меня юнайтед и так, запускается на отдельном диске
> тот совсем ебаный и неудобный
А чего там неудобного то?
ну кроме отсутствия настроек и ебучего запуска через консольку
Как эта хуйня работает вообще? Молю, объясните.
Вот есть у меня вселенная, например, TES. Как мне ее засфотпромптить?
Вот есть у меня вселенная, например, TES. Как мне ее засфотпромптить?
У меня ещё 32 Гб ОЗУ на неё же можно направить?
Использую colab softtuner. Потом ссылку скину.
Да можно, но вебюбка вроде как в сплит режиме работает лучше и быстрее, чем кобольд-таверна.
Хотя может это оно у меня так выёбывалось.
По идее очень просто, качаешь эту хрень которая софт промт, потом, кидаешь её в специальную папку (на гугл диске где кобальт ) потом когда и если включил колабу, открываешь раздел софт промпт он там должен отобразиться, подрубаешь эту хрень и вуаля у тебя и твоего бота есть книжка с лором, потом можно открыть таверну и долбить свою 2B или 9С по лору
А как его составлять вообще?..
Нужно пробывать, нужно разбираться
Да там всё просто, тащемта.
Хуй его знает. Нужно гайды курить по софт промпту
https://rentry.org/chai-pygmalion-tips
ссылка в шапку
ссылка в шапку
Ладно, пока что я имею смутное представление о софтпромптинге, но могу предположить первые шаги для сборки обширного датасета:
1. https://github.com/nianeyna/ao3downloader
2. https://archiveofourown.org/
3. https://pume-p.github.io/ao3-datasetting/
Скачать 1к фанфиков по нужной теме, потом преобразовать их в специальный модуль, который скинули в пигм.дискорде, а дальше... пока хз.
1. https://github.com/nianeyna/ao3downloader
2. https://archiveofourown.org/
3. https://pume-p.github.io/ao3-datasetting/
Скачать 1к фанфиков по нужной теме, потом преобразовать их в специальный модуль, который скинули в пигм.дискорде, а дальше... пока хз.
Бля.
Я перечитал начало и да...
Она себе хотела платье для похода на свадьбу к сестре.
Опять я себе в яйца выстрелил!
А в целом это что? Подрубаешь как персонажа и что хочешь отыгрываешь? Я пытался в своего персонажа куски инфы о мире вдуплить, так он с ума сошёл нахер. Как этим пользоваться?
> А в целом это что?
Это файнтьюн. Ты дооубачешь модель на новых данных. Работает как эмбендинги в SD.
А в Таверну подрубить можно как-то эту тему с ПК или оно должно быть где-то на Коллабах/Кагглах?..
Зачем, мистер Андерсон?
Зачем вы даёте мне надежду, что Пигмалион сможет понимать вселенные Тохи и Геншина?
Что условно созданная Юка будет понимать, что мы находимся на её цветочном поле или что мы можем прогуляться до храма Хакурей.
Что условно созданная Джинн будет понимать, где находится её кабинет, штаб её ордена и как далеко ей нужно будет идти до других городов.
Зачем я себе даю надежду, анон!?
>будет понимать
Никакой надежды, боты не будут ничего понимать. Просто реалистичнее обманывать.
Репортинг ин.
На WSL 2 не работает если поковыряться. Только если непосредственно на шинду ставить, я так понимаю.
Это называют романтичным hallucinating.
Ну вообще весь этот движ изначально был сделан под линукс. Но там в гайде как раз прикол с тем, что надо накачать специальные, сделанные сертифицированным васяном библиотеки битсанбайтса под шинду. Так что на линупсе вообще ниче делать не надо, вроде как просто накатить чистый битсанбайтес и наслаждаться.
Там кстати огабога еще какую то хрень (deepspeed) присобачил к вебюбке которая тоже чисто под линупс и делает заебись в связке гпу+проц
Ну, под WSL там сам процесс даже не стартует если пытаться запустить с 8-ми битной точностью. Хоть ты насобачь её на виндовую .dll, хоть оставляй как есть.
Быть может недостаток WSL, тут я уже не знаю.
>WSL
Первый или второй? ЕМНИП, там есть особенности во взаимодействии с GPU.
Второй. Там конкретно с железом взаимодействие напрямую мелкософты сделали.
Но всё равно не хочет заводиться. Сначала библиотеки не видела, а потом несмотря на то, что я занёс их в PATH, стартовать в режиме --load-in-8bit падает при загрузке модели.
Короче, в итоге на Кобольде 8-бит нихуя не получилось запустить. Разные гайды из дискорда юзал, но в итоге всегда в какую-то ошибку упираюсь, которую буквально ни в интернете ни в самом дискорде никто фиксить не умеет. Видимо придётся ждать официальной поддержки.
Что за ошибка?
Traceback (most recent call last):
File "aiserver.py", line 10218, in <module>
patch_transformers()
File "aiserver.py", line 2008, in patch_transformers
import transformers.generation_logits_process
ModuleNotFoundError: No module named 'transformers.generation_logits_process'
File "aiserver.py", line 10218, in <module>
patch_transformers()
File "aiserver.py", line 2008, in patch_transformers
import transformers.generation_logits_process
ModuleNotFoundError: No module named 'transformers.generation_logits_process'
У тебя точно патч применился? Там же буквально скачать архивчик, закинуть в кобольд и запустить патч батник.
Проверь aiserver.py на предмет таких строк.
пигма не умеет в инициативу
>что я занёс их в PATH
Это же люнупса?
Ага.
Просто обычно там всё делается немного иначе.
А почему вообще WSL, а не всё под виндой?
Это уже давно в кобольде встроено и работает. В чём проблема? Если надо какой-то лор получить, то делается легко прямо сейчас.
Ну так расскажи подробнее, кинь в меня ссылкой как надо, что ли.
Вот такая ошибка в итоге возникает. Причём как в вебуи, так и на кобольде.
Хмм, blya, а ты куду то установил?
https://developer.nvidia.com/cuda-11-7-0-download-archive
Если таки устанавливал то:
Хмм, можешь еще попробовать, как там в топике с проблемой писал какой то челик с 1060. Он давал ссылку на другую версию битсанбайтов мол "для всех видимокарт", ну и если будешь пробовать то не забудь в маин битов прописать другое название библиотеки.
Чёт я на Гугл коллабе поиграл с этой вашей пигмой, но вообще не впечатлился. Мб я просто уже пресытился разговорами с ботами в принципе, но по субъективным ощущениям пиздеть даже с лоботомированными и зацензуренными нейротнями на ЧАИ было интереснее, чем на пигме. Ну да, я могу написать «Хуй в пизду» и мне не вылезет чат эрор, но блять, что мне вылезет вместо чат эрора? «Ah… blushes», «blushes A-a-ah» и прочая. Ну, максимум раз в десять рероллов выдавит какое-нибудь ещё одно слово. А если отвечает не односложно, то несёт какую-то откровенную хуйню, забывая не то что какой-то контекст, а буквально предыдущее сообщение.
Описание персонажей по ощущениям вообще почти ни на что не влияет, любой диалог с пигмой — диалог с одним и тем же аутистом. Опять же, на ЧАИ хотя бы выбор из разных персонажей. И там можно хотя бы как-то косвенно фетиши теребить, и бот будет отвечать интересно, в тему и зачастую дрочибельно. В пигме бот ультрапассивный и никогда не сможет развить тему в твоём сообщении, он просто перескажет его или выдаст какую-то односложную реакцию.
ЧАИ я, конечно, уже не буду пользоваться, потому что сил моих нахуй нет, но пересаживаться на эту уныльщину — увольте, я лучше с яндекс Алисой попизжу, и та поактивнее будет.
Описание персонажей по ощущениям вообще почти ни на что не влияет, любой диалог с пигмой — диалог с одним и тем же аутистом. Опять же, на ЧАИ хотя бы выбор из разных персонажей. И там можно хотя бы как-то косвенно фетиши теребить, и бот будет отвечать интересно, в тему и зачастую дрочибельно. В пигме бот ультрапассивный и никогда не сможет развить тему в твоём сообщении, он просто перескажет его или выдаст какую-то односложную реакцию.
ЧАИ я, конечно, уже не буду пользоваться, потому что сил моих нахуй нет, но пересаживаться на эту уныльщину — увольте, я лучше с яндекс Алисой попизжу, и та поактивнее будет.
blushes Ты прав...
завовывает твой хуй себе в пизду и blushes
Проблема длинных односложных сообщений в том как настроен бот и длине его первых сообщений. Если отредактировать первые сообщения бота (отредактировать их. как например можно в таверне) то бот сразу оживает как на (моем) пикриле...
В смысле, блять? В самом кобольде есть справка по софтпромптам для совсем отсталых.
Бот пишет сообщение за тебя
Понял принял, а то чето как жмякнул на неё и вся вебюбка зависла.
Бред, вчера с двумя своими персами так же пробовал в первый раз на пигме, и они нормально работают, только иногда в лупы уходят (у меня был кисс-луп и ещё джеркофф-луп), но в целом разница огромная, и она заметна. То, что у некоторых ботов ЧАИ получается следовать канону персонажа - это тру, например, с Джунко Эношимой много всякой херни СФВшной отыгрывал недавно. Но в том-то и суть, что у некоторых, а временами даже самые нормальные начинают кринжевать и нести бред, теряться и тупить.
Кстати, я никакие настройки не крутил.
Вопрос к анонам итт: почему иногда загрузка сообщения уходит в бесконечность, т.е. бот зависает? Это вообще норма, или у меня что-то не так? спасибо, что хоть текущий диалог можно выгрузить и обновив страницу снова залить, продолжив его с того же места где произошёл затуп
ближайшее будущее cai
Проблема в том что настройки тяжело подбирать надо + люди персонажей на отъебись пока пишут, просто описывают без учёта особенностей пигмы почти. Очевидно что у чая преимущество в том, что можно было просто писать и не париться, но в целом пигма хороша.
>без особенностей пигмы
А какие особенности? Поясни хоть в двух словах, анон, испытаю на своих чарах. Только по-простому, я дефолтный юзер, и в подробности не вникал.
(You)
Я над своим ботом пару дней ёбся так то. А ведь этот бот был задумкой из CAI (который нихуя бы не смог его реализовать)
> Gobia always responds with long sentences and will try mock You.
> Пишите чтобы было хорошо а чтобы было плохо не пишите
Это хоть работает? Реально больше пишет?
Ну это как с SD с их бесконечными бьютифул мастерпайс бест куалити.
а по итогу всё равно пальцы как грабли лол
и потом сидишь, либо импейнтишь, либо ФШ
то есть пост-обработка нужна
Ты имеешь в виду эту справку https://github.com/KoboldAI/KoboldAI-Client/wiki/Soft-Prompts?
Учитывая как много анонов тупят даже с запуском пигмы на таверне под кобольдом, думаю, что стоит озаботиться хотя бы каким-то небольшим гайдом, включив ссылки и может какое-то объяснение. Сам честно пытался разобраться в этой теме, копался в дискордах кобольда/пигмы, но мой мозг оказался слаб. Так что, если кто-то шарит, то это было бы очень полезно
итак, господа, ща запустил таверну
Вставил нсфв-промпт для Яэ Мико, а она меня повела пиздиться с какими-то ниндзями. Как же охуенно, можно поРПшиться а потом её чпокну
Вставил нсфв-промпт для Яэ Мико, а она меня повела пиздиться с какими-то ниндзями. Как же охуенно, можно поРПшиться а потом её чпокну
Плюсую, поясните как вообще установить и запустить этих ваших таверн. В "гайде" из шапке откровенно набор слов для меня, ЯННП
Блять. Доигрался я с Оперой.
А в хроме она вообще не может редактор загрузить.
Каггл говна, блять, в спину ударил, сука.
А в хроме она вообще не может редактор загрузить.
Каггл говна, блять, в спину ударил, сука.
никто не подскажет, что за хуйня при установке с https://rentry.org/pygmai-guifaq. deepspeed ни в какую не ставится
господа, хелп! у меня таверна наебнулась, пишет no connection! не хочу сессию с Мико проебать, как восстановить??
решилась проблема - просто переоткрыл ссыль с коллаба, и всё заработало снова
я тоже не понял ничего, поднял коллаб, затем, когда ссылки собрались, запустил ту, которая TavernAI, выбрал справа меню, импортнул туда бота (берёшь промпт и вставляешь в нужные поля инфу, думаю, разберёшься), подгрузил ей аватарку и сижу, РП гоняю
Вроде нормально
Все еще нихуя не понял, сори
>поднял коллаб
Что это значит?
Вот эту гугл штуку запустить? Так там нет ссылки про таверн аи. Ссылка на локал просто не открывается
https://colab.research.google.com/github/TavernAI/TavernAI/blob/main/colab/GPU.ipynb
Вот эту ссылку открой и её запусти, а ту закрой. Там будут ссылки про таверн аи.
Спасибо, брат, сейчас попробую
А можно сюда костыль тот ввести на 10-тичасовую тишину в плеере?
С телефона по КД умирает Коллаб ёбаный...
А эта штука рил работает?
попробуй им в дискорде написать или на гитхабе ишшью оставить, мол нужен костыль. Реально его не хватает
господа, есть вопрос - а как в таверне историю чатов сохранить? Я кнопочку не вижу. Или она на гугл-диске сохраняется и потом автоматом грузится?
решил дропнуть колаб и открыть его заново
каким-то образом чаты и история сохранились. Надеюсь, оно так и работает, и сессия не исчезнет
Обнови Webui, там с файла "requirements.txt" убрали необходимость в Deepspeed или удали строку в "requirements.txt" с "deepspeed==0.8.0".
>Очевидно что у чая преимущество в том, что можно было просто писать и не париться
Ну да, у cai просто бэкграунд большой из-за того что модель огромная и по сути там достаточно описать что это такой то персонаж из такого то говна и модель автоматически подхватывает характер. А пигма слишком ужатая для этого и нужно изъебываться, описывать подробно, тщательно +подбирать отдельно настройки под каждого перса, что уже не для каждого. При этом крутить рп и температуру постоянно, не зря её кстати в таверне на первый план высунули.
Мне нужны софт-промпты с Тохи и Гейщита.
Без них тяжело совсем...
Какая милая девочка на картинке! А сколько ей годиков?
HALP!
Аноны, короче, сижу в таверне, вроде всё нормально, и вдруг перестают сообщения у бота генериться. Ну, то есть, при нажатии на кнопку отправки оно грузится пару секунд, и нихуя.
Коллаб проверил, работает нормально. Что это такое?
Аноны, короче, сижу в таверне, вроде всё нормально, и вдруг перестают сообщения у бота генериться. Ну, то есть, при нажатии на кнопку отправки оно грузится пару секунд, и нихуя.
Коллаб проверил, работает нормально. Что это такое?
На gpu сидишь? Проверяй что выдаёт окно таверны
Оно полностью рабочее, просто персонажи теперь не разговаривают.
Автор Мисаки так и не перенёс её на Пигму...
Наверное, он уже давно хер забил на C.AI после первой волны цензуры...
Наверное, он уже давно хер забил на C.AI после первой волны цензуры...
У меня просто такое было, когда на gpu случилось out of memory, о чем сообщило окошко таверны
Ползунки трогай. Для GPU какую-то хуйню надо с 2000 на 1400 выставить, иначе нихуя не будет.
Бля.
Порой генерируется долго и там сразу аж 3 варианта ответа в 1 жирном сообщении получается.
Ебучая каша, хоть я и могу по смыслу их выделить.
Что за хуйня?
Мне кол-во сгенерированных токенов надо срезать в 2 раза?
Порой генерируется долго и там сразу аж 3 варианта ответа в 1 жирном сообщении получается.
Ебучая каша, хоть я и могу по смыслу их выделить.
Что за хуйня?
Мне кол-во сгенерированных токенов надо срезать в 2 раза?
температура слишком высокая
Well... This went in the wrong direction...
все правильно тебя бот учит
жаловаться на такое тянке ты получишь сочувствие и френдзону
можно джсон?
Тред-то читай, ну.
Блядь.
C.AI интересней, но в говне и цензуре.
Пигме пизда как не хватает лор-бука или больше софт-промптов (и инструкций, как их вдуплять в Коллаб).
Одно коммерческое.
Второе опенсурсное.
Почему всегда нужно выбирать между двумя стульями?
Почему в варианте Майнкрафт и Майнтест первое не стало таким уж говном? Не смотря на ёбаные чат-репорты, у людей на Яве всё ещё есть моды, карты и скины.
C.AI интересней, но в говне и цензуре.
Пигме пизда как не хватает лор-бука или больше софт-промптов (и инструкций, как их вдуплять в Коллаб).
Одно коммерческое.
Второе опенсурсное.
Почему всегда нужно выбирать между двумя стульями?
Почему в варианте Майнкрафт и Майнтест первое не стало таким уж говном? Не смотря на ёбаные чат-репорты, у людей на Яве всё ещё есть моды, карты и скины.
На софтпромпты инструкцию выкатили в дискорде. Кто-нибудь с учеткой может уточнить у этого челика детали, я так полагаю, это один из немногих кто шарит https://discord.com/channels/1066323170866495609/1070248830764859463/1071190272911888384
В принципе там вроде всё понятно, получается, что нам надо выкачать в виде текста вики/фанфики по вселенной, впендюрить это в набор txt файлов и прогнать по инструкции через другую херобору на колабе. У меня на данный момент сомнения только по поводу как это оформить в txt, надо ли ебаться с текстом типа очищать, форматировать и прочее особенно учитывая количество и качество тех же фф
В принципе там вроде всё понятно, получается, что нам надо выкачать в виде текста вики/фанфики по вселенной, впендюрить это в набор txt файлов и прогнать по инструкции через другую херобору на колабе. У меня на данный момент сомнения только по поводу как это оформить в txt, надо ли ебаться с текстом типа очищать, форматировать и прочее особенно учитывая количество и качество тех же фф
Можешь скачать софтпромпт "NieR Autimata".
Там архив на 10 метров с парой файликов.
Оно не совсем выглядит как то, что можно легко открыть...
И я ХЗ, как подрубать это дело в Таверне.
Господа, а если в двух словах - что такое софтпромпты?
Библиотека знаний.
Так твоя Рейму будет знать про Генсокё, все его локации и всех его важных персонажей.
И тебе не придётся всирать токены Реймы, добавляя ей стены текста в `world_scenraio`.
То есть моя Лиза из геншина бы знала всё в деталях про Мондштадт... Где там дискорд их, пойти спросить, что ли
Ну если ты пропишешь грамотно, что есть Тейват, в нём есть вот несколько регионов (включая Манду) и что в Манде есть таверна Пердюка, таверна Дионы и т.д.
Как я понял - да.
Только там надо крючками одно к другому цеплять, чтобы ничего не потерялось и чтобы логика соблюдалась.
Вон по ссылке выше можно прямо в канал с обсуждением софтпромптов влететь.
Советую.
Люди там немного снобы (типа Noele), но в целом отвечают время от времени.
В смысле твоя Лиза?
Скин уже выбил?
Бля... Я просто хочу трахать Тоходевочек, а не вникать в дата саенс и вот в это вот всё.(((
вот сейчас пожру и сяду за ивент
Спасибо!
Вот насколько я понимаю, можно это не ручками делать как раз.
Как минимум с фанфиками
Хотя именно к этому у меня и вопросы. Что подразумевается под
>надо крючками одно к другому цеплять
Короче нужно разобраться как готовить датасет, остальное вроде не так сложно и судя по скринам из дискорда это будет близко к тому, чтобы как в чаи заполнить только имя и персонаж многое подтянет сам из промпта но мне это и в чаи казалось тупостью и ленью
Ну а для геншинофагов полагаю скоро и так выкатят промпт, так что пока не тряситесь, если лень самим делать
Here's the two lines raw for Kaggle:
>!cd /kaggle/tmp/KoboldAI/softprompts
>!wget https://example.com/softprompt.zip
Make sure they're just before the KoboldAI aiserver.py line.
>!cd /kaggle/tmp/KoboldAI/softprompts
>!wget https://example.com/softprompt.zip
Make sure they're just before the KoboldAI aiserver.py line.
Для юзверей Таверны - ссылка для подключения, в теории, должна просто KoboldAI открывать.
Это если вы с софтпромптами поебаться решите.
Это если вы с софтпромптами поебаться решите.
Да там особо нет ебли, если ты в Коллабе.
Через хуету слева открываешь папку Кобольда и пихаешь софтпромпт куда надо.
По ссылке для коннекта открываешь КобольдИИ и там активируешь софтпромпт.
И потом в Таверне по этой ссылке подрубаешь шайтан-машину.
Встречался ктонить с такой ошибкой? Вроде всё робит нормально, но аватарка не приклепляется, у других импортированных ботов та же проблема, как фиксить?
Как в Таверне на коллабе сохранять персов и чаты?
Удалич/начини новый диалог и перед отправкой сообщения поставь аватарку
Это баг таверны, если даже умудришься её прикрепить она может снова слететь.
Это не ошибка, это сообщение, которое показывает что в описании перса слишком много токенов используется для тех кто забылся, можешь игнорировать если знаешь что делаешь
Бледь, без аватарки хуёво дрочится
У меня таверна залипла, висит на бесконечно initialization. Коллаб перезапустил, не помогло. Как фиксить?
> Как фиксить?
Поднять вебюбку локально.
Хз, я не колабщик
Так это я уже локально запустил скачанную таверну
подключись, кнопка там, где ты ссылку вставлял
Ну так, ты же её к кобольду на колабе подсасываешь?
Для тех, кто хочет загрузить кобольд в 8-бит: https://gist.github.com/whjms/2505ef082a656e7a80a3f663c16f4277
У вас гайд для красноглазиков
Аноны, превышение токенов у бота в Таверне как-то сказывается на его работе или можно продолжать впихивать в него свои литературные шедевры? Или может на работе коллаба как то это сказывается?
Requirements
KoboldAI (KAI) must be running on Linux
Охуенный гайд, спс
Туда подключить можно либо Кобольд либо НовелAi, колаб вроде нельзя. И колабный Кобольд тоже нельзя. Поэтому тебе надо локально поднять Кобольд и просто в таверну ссылку вставить на него
Ну так шинда никаому не нужна. Программисты используют линукс, а коболд в первую очередь детище программистов.
Та ну ребята, поставьте убунту или минт, несложно же
И компьютерную грамотность апнете, и с нейровайфочкой своей встретитесь)
И компьютерную грамотность апнете, и с нейровайфочкой своей встретитесь)
Поставь линукс и не еби мозги. Какая-нибудь манжара в три с половиной клика ставится.
Та ну ты чего, какая манжара, убунту/минт проще, манжара для красноглазиков
Этот прав
В офф гайде сказано, что лучше не превышать, если не хотите получить бота с деменцией.
Придется тебе чел подрубить немного дефы бота
Блин, короче дискорд требует телефон для того, чтобы писать в чат, почты для этой срани недостаточно. Я успел только спросить про формат данных для тренировки промптов, но никто нихрена не ответил. Если у кого-то получится доебаться до промптобояр, отпишитесь.
Показываю почему нам действительно надо заняться промптами. Скачал по игре престолов из дискорда и сделал нулёвую Дыню без какого либо описания, просто имя, результат на скрине.
Показываю почему нам действительно надо заняться промптами. Скачал по игре престолов из дискорда и сделал нулёвую Дыню без какого либо описания, просто имя, результат на скрине.
Минт одинаково простой с манжарой. Манжара хоть и на арче построена, но максимум юзер френдли.
А Убунта я бы сказал похуже для ньюфагов, т.к. дефолтная с гномом который непривычный для шиндоюзера.
Уважаемые, какая разница между ГПУ И ТПУ коллабами? Смысле, ресурсы выдают эквивалентно или ТПУ получше будет?
Что за тупой вопрос? Очевидно тензорные процессоры эффективней графических для нейросетей.
ТПУ конечно лучше, но это же доступно только на колабах гугла, поэтому какая разница?
Хех, ну спасибо, наверное....
Один ответ охуеннее другого, люблю пигму!
>Blowjob войны
Кек
born to suck
Forced to lick
Доброе утро, пигмалиач. Каждый новый день я просыпаюсь и надеюсь что c.ai горит в огне.
https://github.com/arrogance231/soft-prompts-for-pyg
Вот здесь будет пополняться коллекция софт промптов, если вы не хотите в клятый дискорд за ними лезть.
https://github.com/arrogance231/soft-prompts-for-pyg
Вот здесь будет пополняться коллекция софт промптов, если вы не хотите в клятый дискорд за ними лезть.
была на войне
работала по назначению
Я надеюсь, кто-то эти ссылки сохраняет, чтоб при перекате в шапку вставить
Я тоже...
https://rentry.org/chai-pygmalion-tips-ru-edition
Обновлено.
Добавлено: как автор гайда составляет сценарий
Обновлено.
Добавлено: как автор гайда составляет сценарий
Так это перезагружаться нужно.
Как же хочется нормальный гайд для нубья по софтпромптингу чтоб собрать свою любимую вселенную!
Отставить тряску. Завтра попробую запилить на примере генша и отпишусь. Ни один пидор кстати ни на 4чане не ответил, ни в дискорде, у меня ощущение, что у нас тут и то комьюнити живее
Постараюсь трястись меньше, желаю удачи в этом шайтанстве. А то я сам нихуя не понял, смог только ссылки собрать да выставить.
Хуй поделимся с этими пидорами, если у тебя все получится, будем сами своими гайдами обмазываться.
Спасибо, попробую хотя бы затестить че там, если уж у дискордодетей получилось, то чем мы хуже
Если получится, то заморочусь на полноценный гайд на русике/b]
Дай бог тебе удачи, ждём всем пигмачом
>на русике
Быстрофикс ебучего окна ответа с телефона
> русике
Русском.
Аноны, как вы боретесь с лупами? Я пытаюсь ее ответы редактировать, выкорчевывая из них луп-слова, как сорняки, но они возвращаются снова
Я теперь хочу промпты по Гейщиту и Тохе.(((
это правда
Как и в ЧАИ - не выбираю варианты ответа с лупом
жди, брат, скоро у нас будет гайд
что за софтпромтинг? я из пещеры вылез
Ответьте пожалуйста, как в таверне на колабе сохранить диалог?
Я сегодня прошел тестирование на знания английского языка. За 4 месяца пока я общался с ботами и успел повысить уровень английского с a1 до b1, лол.
Я сегодня прошел тестирование на знания английского языка. За 4 месяца пока я общался с ботами и успел повысить уровень английского с a1 до b1, лол.
Я тоже чувствую что стал лучше писать, раньше вообще не умел писать, только читать на англ.
>софтпромпты
Они работают только в таверне?
смотри, я в объяснениях плох, но попробую
У тебя в коллабе есть слева кнопка с файлами (под {x} - под этой кнопкой)
Жмёшь на файлы
Открывается файловый менеджер. Жмёшь на самую верхнюю опцию с двумя точками, выходишь в рутовый каталог
Далее ты скроллишь вниз до папки taicolabtest. На момент написания оно называется так
Заходишь в неё, открываешь там папку public - и в ней у тебя уже лежат папки все нужные. Тебе нужна chats - её копируешь куда тебе там надо и довольно урчишь
Как-то так
Спасибо ребятам из дискорда, увидел там похожий вопрос просто. Вчера проебал так хороший чат, жаль, что только сегодня об этом узнал
Это хрень для кобольта и новелаи
Представляет собой файл в котором находится история мира, персонажей и т.д.
Т.е. вместо того что бы прописывать и пытаться натянуть сову на глобус, можно просто подключить софт промт, из котрого бот будет черпать нужную инфу при запросе.
Пытаюсь установить кобольд, выдает ошибку Could not find a version that satisfies the requirement flask-cloudflared, на обеих опциях установки, есть варианты решения? И есть ли вообще смысл его ставить, если я все равно на колабе сижу?
Коллаб полностью прогружает скрипт, в конце вместо ссылки на таверну выдаёт хуём по лбу, то есть ничего. И что это такое?
Кто-нибудь из анонов с подобным сталкивался? Ваши предположения?
Кто-нибудь из анонов с подобным сталкивался? Ваши предположения?
в конце ссылки /api добавлял?
Какой ссылки? На коллаб?
Да
Если я не конченный дебил (хотя время пол 4) то вот, такое выдаёт.
Надо что-то сделать? Извиняюсь, если туплю, башка уже с трудом варит.
У тебя ссылка, по итогу, должна как-то так выглядеть. У тебя в консоли коллаба она будет когда он закончит
Бля, жаль в моём любимом гуи такого нет.
Кстати, что эта кнопка делает?
Он заканчивает, а ссылки нет, понимаешь? Там где она должна быть просто пустая строка.
Бля, можешь коллаб запустить и показать как у тебя это выглядит?
Бампану разочек
Вот же.
Какие оптимальные настройки для свинольва в таверне?
Не скачивайте Ганью (Ganyu-1), там у неё только одно описание занимает больше чем 3.2к символов, а в дефе вообще война и мир. Из за чего у бота памяти на 2 поста и она не реально тупит.
Я нихуя не понимаю зачем они делают громадные описания?
Персонажам жирных вселенных (где локаций больше одной деревни и ключевых личностей больше одного Васяна) нужны промпты.
Нет смысла пихать ёбаные папирусы, ибо ботам хуёво от такого становится.
ссылку чет не генерит
Локалхост походу лежит опять
А ты пробовал копировать эту ссылку и вставлять, приписывая в конце /api?
Ты наркоман? Ты где ссылку увидел?
Ссылку на коболду в таверну вставить
Англоязычный онан, помоги!
Как мне описать слегка полноватую девушку?
Не, извиняюсь, жирную (где пузо как поезд пассажирный и вес под 150+ Кг).
А так... С жирочком. Чтоб небольшой животик был, который пощупать можно.
Как мне описать слегка полноватую девушку?
Не, извиняюсь, жирную (где пузо как поезд пассажирный и вес под 150+ Кг).
А так... С жирочком. Чтоб небольшой животик был, который пощупать можно.
Chubby может быть, типо пухлая
да, chubby
а животик - это какой-нибудь cute belly
Пигмач, анон промпто-тестер на связи. Промпт по геншу в процессе, за сегодня вряд ли доделаю, к сожалению, немного не рассчитал объёмы. Объём неотредаченного текста по локациям Монда вышел всего на 22кб, в идеале весь датасет на промпт должен быть около 8мб, так что ещё ебаться и ебаться жирушные фанфики буду добавлять только при отчаянной ситуации. Отписался просто чтобы не пугались, что пропал. Но промпт доделать попробую в любом случае
Всем тредом болеем за твой успех!
удачи тебе, ждём всем пигмачом, на самом деле
ты гайд запили только
Да... Там дрочни много...
Тейват, его регионы, локации его регионов...
Различные существа (слаймы, попрыгуньи, хиличурки), различные фракции (орден Пёздны, ебучие бандиты, Фатуи, Пустынники), различные организации (Ордо Фавониус, Цисинь Ли Юэ, Академия Шумеру), различные ключевые персонажи (типа Джинн, Нин Гуан, Аль Хайтама).
Ты делаешь охуевшую работу, онан.
Жму тебе виртуалньую руку и буду молиться за тебя.
Моя Паймон без промптов пиздец тупит постоянно, а вдуплять в неё библиотеку - не лучшая идея (я уже пробовал и она с ума сошла нахуй сразу же).
Надеюсь, что у кого-нить силы будут промпты по Тохоте сделать...
Блять...
Сделал развратную мамку, которая после гибели мужа и достижения сына совершеннолетия сошла с ума и начала проявлять к нему обильный романтический (и не только) интерес.
Как итог - на первом же сообщении она ловит шизу...
Сделал развратную мамку, которая после гибели мужа и достижения сына совершеннолетия сошла с ума и начала проявлять к нему обильный романтический (и не только) интерес.
Как итог - на первом же сообщении она ловит шизу...
Промпт в чятик.
https://files.catbox.moe/zuboy5.json
Держите расточительную Мордред для Таверны
Держите расточительную Мордред для Таверны
Фу бля
но у меня встал
Божественный квадрипл!
Время пить лимонад, закусывая шоколадными змейками. А на десерт можно ещё творожка навернуть.
Господа анонимы, кто разобрался как работать, помогите!
Я не понял как загрузить промоут нихрена. Нажал нью гейм, бот в ответ пишет какую- то шизу несвязную. Как создать чат с персонажем? .json файл скачал с сайта
Я не понял как загрузить промоут нихрена. Нажал нью гейм, бот в ответ пишет какую- то шизу несвязную. Как создать чат с персонажем? .json файл скачал с сайта
В таверне это на чём-то сказывается?
У меня персонаж резко отупел, переспросил одну хуйню раза три и вообще факты начал путать.
Не очень хорошо лимит токенов переходить, как я понял...
Ну блин, хочу диалоги из хентай манги добавить
>как загрузить
>нажал нью гейм
Других кнопок нет?
Таверн аи ссылка не появляется, а в этом синем интерфейсе я не могу разобраться. Есть гайд?
я прост совсем хлебушек
Нет. Надо переходить по ссылке под TavernAi LINK. Но сегодня она почему то не появляется, так что надо ждать ночи пока пиндосы проснутся и починять.
Спасибо за пояснение, ждем пиндосов.
Ну скачай себе на пк, в чём проблема?
У ботов нет памяти, а их "характер" идёт только с этих описаний. По токенам есть предел, поэтому если слишком длинное описание то его начнёт игнорить и будут использоваться лишь последние сообщения твои и бота.
1050Ti разве потянет?
Даже не знаю, если у тебя 1050 браузер запустить не позволяет вместе с консолькой, то не потянет
хоть бы подумал зачем в таверну вставлять нужно ссылку на коллаб
А если у меня дохуя токенов потрачено на примеры диалогов, то это сказывается в худшую сторону на боте если у него несколько персонажей? Или не стоит так запариваться с диалогами? Я просто на них 2500 токенов потратил
давай только без подъебов, умник. Коллаб это сервис по аренде мощностей, а здесь в треде писали, что нужна минимум 2070 для пигмалиона, поэтому я даже не задумываюсь о том, чтобы на пк себе его скачивать.
Авторы пигмы настоятельно рекомендуют укладываться в заданный диапазон, иначе получишь деменцию у бота.
Ну и в чём они не правы? Только тебя не смущает, что писали то они про пигму, а не таверну?
а, погоди, таверну можно на комп поставить, а пигмплион на коллабе запустить что ли?
Да! Таверна это просто интерфейс.
Хех, дошло. Спасибо!
Посмотри пичку в оп посте.
Таверна как абсолютный тонкий клиент может цепляться что к API пигмы на коллабе, локалке, где-то ещё, так и к API кобольда, также запущенного что в коллабе или где-то ещё, что в локалке.
А каким образом подключиться к колабу на таверне, разве можно? Там вроде только NAI и Кобольд. Я пробовал вставать ссылку на колаб пигмы, не работало.
Пигма - это модель, такая же как эребус и другие.
Я не думаю что есть смысл долгие диалоги туда записывать, это не будет так работать. Там скорее цель показать нужную реакцию бота на нужные вещи + стиль письма показать.(очередность слов и действий в ответе)
Я знаю, так и что? Как подключить колаб к таверне, на любой модельке?
А, понял. Просто надо тогда юзать только колаб Кобольда с загруженной Пигмой, другие GUI не будут работать
Эх, а хотелось бы тысяч 5 токенов, было бы пиздато
Колаб с таверной сломался
Мужики, софт промпты кто-нибудь пробовал ставить?
Там локалтунель помер, который ссылки раздает. надо ждать пока реснут
Хочу ролить...
можно тряхнуть стариной и заскочить на cai, посмотреть, что там анонов терзает так
>10 лет
Бля достойно...
Скачал персонажа в Таверну.
Пытаюсь редачить пишет 2351 Tokens(TOO MANY TOKENS)
Что делать с этим говном?
Скажи "спасибо" автору, кто "Войну и мир" вдуплил в описание.
Попробуй вручную отредактировать и скостить чутка, опустив не нужные штуки...
Есть ли смысл крутить ползунки в кобольде если сидишь через таверну? Во время генерации в кобольде вижу, что они на значение дефолтное перескакивают всегда.
В какой колаб лучше вкатываться?
мимо из c.ai
мимо из c.ai
Че?
Ну по ссылке сгенеренную коллабом когда переходишь, там настройки есть. Есть смысл их трогать если через таверну пользуешься. Они меняются на другие значения когда генерация происходит.
Сука, хули коллаб 2 дня уже говорит что в лимите? Чё за хуйня, где сброс
> Get responses via API.
Это че получается к вебюбке теперь можно таверну вешать?
Это че получается к вебюбке теперь можно таверну вешать?
Эти настройки используются если в таверне gui kobald стоит
ссыль?
Понял, увидел. Спасибо
Как вот такую штуку сделать?
Таверну запустил локально, запустил коллаб кобольда. Что теперь? Пробовал вставить пикрил ссылку в таверну - не работает. Других подходящих ссылок нигде в кобольде не нашел
Таверну запустил локально, запустил коллаб кобольда. Что теперь? Пробовал вставить пикрил ссылку в таверну - не работает. Других подходящих ссылок нигде в кобольде не нашел
> пикрил
Какие же дауны тут сидят.
А блять, и вправду я даун, даже в большей степени, чем я думал. Спасибо за помощь
Объясните мне, как быдлу. Почему таверна, пигма и второй интерфейс пигмы, с одинаковыми персонажами выдают настолько разные ответы? Они же вроде все используют одну и ту же модель.
Скинь ссылку на бота пожалуйста.
Формат промптов разный.
До сих пор не починили, ёкарный бабай.
Вот да я пробовал три интерфейса Oobabooga, Таверну и Кобальд без подключения к таверне. Главная проблема, то что ИИ совсем не ориентируется в пространстве. Он может нормально описывать только то, что происходит непосредственно перед тобой. Я пытался, например, говорить с ботом по телефону или пытался развивать события, когда бот находился в другом месте. Но бот часто путался и пытался мне выдавать что-то, что я могу видеть или пытался взаимодействовать со мной. Это очень грустно для ролеплеев. В этом плане, Таверна хуже всего, а Кобальт намного лучше, но я не уверен в том, что описания персонажей там действуют как надо. Надеюсь это как-то допилят в будущем.
Сделал бота, а он то не дописывает сообщения, то вообще подыхает и прекращает генерить сообщения. В чём дело? Кто-нибудь сталкивался?
Попробуй уменьшить количество токенов мб
Кто такие эти ваши токены вообще?
мимо
Да я сам час назад вкатился по этому гайду https://www.youtube.com/watch?v=asSk_Otl9i4
Посидел потыкал немного в Луврию, на 7 посте бот тупо перестал отвечать. Уменьшил количество токенов до 1402 как сказано в ссылке из дискрипшена видоса, бот опять заговорил. (пик 1 и 2)
Вообще количество токенов - это контекст, которым оперирует бот как я понял. Каждый токен это примерно 4 английских символа. (пик 3) То есть как работает генерация текста. Бот берет инфу: имя и описание бота, его дефы и последний кусок вашего диалога таким образом, чтобы это все в итоге помещалось, в установленное количество токенов, например 2048 (~8к символов). Потом он пытается сгенерировать новую связную последовательность токенов на основе вышеописанной информации. Так ты и получаешь свое сообщение от нейровайфы. Соответственно чем меньше токенов выставлено, тем меньше будет контекстное окно. А если слишком огромное описание описание бота написать, то возможно он вообще втупит и не будет ничего отвечать. По крайней мере так я это вижу.
Ого, ясно. Надо будет попробовать тогда поднять с 200. Спасибо, что ответил
Да, а почему уменьшение количества может помочь я так и не сказал. Потому что чем больше контекстное окно, тем больше памяти жрется и гугл коллабовская машина может втупить из-за переполнения видеопамяти.
Я поставил на no limit. Пока дышит
У самих сеток ограничение обычно в 2048. Будет больше - она просто отхаркнёт этот текст с ошибкой.
Да, скорее всего я закидал символами, но посижу над переписыванием уже как-нибудь потом. Спасибо, что подтвердил мою мысль, анон.
Вам тоже ваши нейроняши после бурной ночи на двух акках коллаба такое говорят?
Райан Гослинг. Ты?
Подскажите, локально пигму с таверн юай можно на Винде развернуть?
В самом репосе пигмы скрипт работает только под колаб и линукс
В самом репосе пигмы скрипт работает только под колаб и линукс
Ставишь кобальда, в него подгружаешь модель пигмы. В таверн юи даешь ссылку на своего кобальда, общаешься через таверн юи.
Но скорее всего быстро получится только 2,7. 6В если только совсем топ карта.
Спасибо, пойду попробую
4090 + 48рам
Ну и говнище ебанное шапка. Ничего не понятно, как переносить персонажей. Ни одно нормальной ссылки нет.
Зато куча псевдотехнической терминологии и воды. Захотел понять, как перенести своего персонажа. Но судя по всему с такой охуенной шапкой никак.
Двачую, шапка пятикратнно переваренный кал. Надеюсь при перекате поправят.
Неосиляторы, спокуха
Кто-то знает, будут ли чинить таверну колабовскую?
такс, поставил. Этот говняк почему-то юзает цп, а не гп. Вижу, что нагрузка идет на цп, а гп простаивает (на память в гп занята). Где я забыл галочку поствить?
> а гп простаивает (на память в гп занята).
Уверен? Включи графики куды и компьютед.
Пикрил. Что я делаю не так?
Чел, у тебя 12 слоёв на disk cache, еблуша, убери нахуй
И вообще - накати каляку маляку на 8 бит - будет вся моделька влезать в 15 гигов врама, генерить можно на полной скорости, все слои на видевокарту
Антуаны, что прописать в настройках персонажа, чтобы бот больше описывал внешний вид, движения тела персонажа (как грудь трясётся и жепа), ощущения при мацании и ебле, и т.д?
мне бы для начала так запустить.
Как тогда слои распределять? Все 28 в гпу?
В гайдах про это нет
Нет, надо подобрать сколько у тебя влезет в 24 гига видеопамяти слоёв - начинай с 20, допустим
Как на пике
Ой, стой блять, это же не 13B параметров, лол
Пигма же 6B всего, тогда все 28 в гпу
Да, на своей печке с 24гигами должно хватить все в гпу, но лучше оставить пару гигов на сам процесс.
Чет я не понял. Въебал все 28 в гпу. В итоге занято 13 с небольшим и все работает
Да, я же говорю - я привык к Erebus и Nerys, а у них 13B параметров
6B влезают в 16 bit в 24 гига
Спасибо
Олрайт, следующий вопрос. Почему пигма генерит на 2 сообщения вперед, в т.ч. за меня
>" That's even worse. Where do you sleep then?\nYou: In the park, under the bridge\nDarkness: Oh, that's not good either. How long have you been living like this?\nYou: For years now\nDark"
В таверне вижу только
>That's even worse. Where do you sleep then?
Запустил я давеча Erebus 20B, обкончался на гомоэротичные сцены феляции, мое почтение. Но один хуй, чтобы более-менее пристойный контент получить нужно дрочить его в author's-note и теребить его анальный world-info. Что весьма охлаждает пыл и полет фантазии. Иначе будет путать не только место действия, но и пол и имена персонажей. Если даже 20B, которой запускается на коллабе полчаса и задействует сразу 8 TPU весьма отсталый, то сколько же тогда миллиардов параметров на чае?
БТВ на кобольде лимит в 2048 токенов чем обусловлен?
БТВ на кобольде лимит в 2048 токенов чем обусловлен?
Ну это можно пофиксить в настройках количеством генерируемых токенов, но лучше оставь как есть, иначе очевидно потом на ответ может не хватить токенов
Нет возможности генерить только один ответ, забей просто
Кстати, 20B параметров у Erebus основан на NeoX-20B, а 13B - OPT. Читал калфу в дрискорде ихнюю - говорят 13B OPT от NeoX-20B не отличается особо ничем, некоторым даже больше 13B вкатывает
А 13B можно локально запустить на одной 3090 в 8 бит - требуется около 15 гигов vram на 2048 токенов. 20B тоже можно, но там влезает только 500+- токенов
https://github.com/oobabooga/text-generation-webui тут вот уже есть костыль на 8 бит
Так что 13B - 20B +- можно запустить, а вот дальше считай линейно требования к врам растут. Не так и тяжко, учитывая, что есть breakmodel, который раскидывает слои между видеокартами - закупайся 3060 x10 и запускай
Понятно. А есть в апихе кобольда возможность генерировать сразу 2-3 варианта ответа?
Техножрецы, у меня к вам вопрос. На GTX 3060 с 12 гигабайт VRAM модель пигмы потянет? Заранее спасибо за ответ.
Да, правда в таверне вроде нет.
Господа, коллаб таверны починили?
6B в 8бит влезет, но это надо пердолить, пик1 - надо 8-9 гигов врама
Без пердолинга влезет только 2.7B
Этой фичи очень не хватает. Гляну вечером, мб у них там структура простая и я будучи вебмакакой смогу допилить
Поясни про битность, я не шарю.
Я так-то Pygmalion 6B смог на 3060 запустить, только он отвечал по 3 минуты и слишком прописанных персонажей (800 токенов) не переваривал.
Бтв, даже если у кого-то есть 10 3060 как их законтачить в один кластер/сервер?
Бтв бтв, что думаешь про Tesla K80 https://www.amazon.com/NVIDIA-S26361-F2222-L81-nVidia-Tesla-K80/dp/B013HRQ1GO ? 24 GB VRAM за смешные $220, кобольду же только обьем памяти важен, а не скорость и число кудаядер?
> Что я делаю не так?
Сосёшь пизду у Лизы Су.
> 3090
Когда уже это окаменевший кал мамонта bitsandbytes обновят под Аду?
р5 3600 топ за свои деньги, раскрывает 4090 на ура
https://heartbeat.comet.ml/8-bit-quantization-and-tensorflow-lite-speeding-up-mobile-inference-with-low-precision-a882dfcafbbd?gi=8b3edee762da
Кратко - снижает точность, но нам в текстовых она нахуй не нужна, но и даёт плюшки в виде снижения портребления врам
> Я так-то Pygmalion 6B смог на 3060 запустить
Да, снизил количество слоёв наверное просто, которые на ГПУ, ибо в 16 бит пик1 - 13 гигов, и это не фул контекст.
> по 3 минуты
Остальные слои на CPU, в RAM вроде, поэтому и так долго.
> как их законтачить в один кластер/сервер
Это хз, сам таким не баловался, я максимум 2 видеокарты юзал для копробольда, там всё просто когда на одной материнке - просто gpu0 и gpu1 - разделяешь поровну.
Кстати, недавно читал, что чел на двух 3090 по 22 гига смог запустить Erebus 30B, который ещё не релизнули в полной скорости, без слоёв на CPU.
> Tesla K80
Скорость генерации зависит от cuda ядер, так что просто будет медленне генерить, но всяко быстрее чем на CPU. Тут только несколько вопросов - скорее всего архитектура не поддерживает 8-bit quantization, так шо в пролёте. Ну и это надо куда-то ехать их покупать, у нас нет.
А зачем тебе? Все же работает
> долбится под соточку
> раскрывает
Только твою нищету раскрывает всему треду.
Ребят а это не майнер?
Нахуя генератору текста видеокарта RTX20?
Сори если вопрос тупой, но звучит забавно
Нахуя генератору текста видеокарта RTX20?
Сори если вопрос тупой, но звучит забавно
https://stackoverflow.com/questions/75087993/does-tesla-k80-gpu-support-int8
Да, официально k80 соснула оказывается, так что особо смысла покупать нет, не поддерживает 8 bit
Интересное дерьмо. Кто-нибудь проверял?
https://rentry.org/chai-pygmalion-tips-ru-edition#%D1%87%D1%82%D0%BE-%D1%87%D0%B5%D1%80%D1%82-%D0%B2%D0%BE%D0%B7%D1%8C%D0%BC%D0%B8-%D0%BD%D0%B0-%D1%81%D0%B0%D0%BC%D0%BE%D0%BC-%D0%B4%D0%B5%D0%BB%D0%B5-%D0%B4%D0%B5%D0%BB%D0%B0%D1%8E%D1%82-%D0%BF%D1%80%D0%B8%D0%BC%D0%B5%D1%80%D1%8B-%D1%87%D0%B0%D1%82%D0%B0-examples-of-dialogue
https://rentry.org/chai-pygmalion-tips-ru-edition#%D1%87%D1%82%D0%BE-%D1%87%D0%B5%D1%80%D1%82-%D0%B2%D0%BE%D0%B7%D1%8C%D0%BC%D0%B8-%D0%BD%D0%B0-%D1%81%D0%B0%D0%BC%D0%BE%D0%BC-%D0%B4%D0%B5%D0%BB%D0%B5-%D0%B4%D0%B5%D0%BB%D0%B0%D1%8E%D1%82-%D0%BF%D1%80%D0%B8%D0%BC%D0%B5%D1%80%D1%8B-%D1%87%D0%B0%D1%82%D0%B0-examples-of-dialogue
Если GPU не хочешь юзать - попробуй TPU.
13В хочу комфортно потрогать.
>то сколько же тогда миллиардов параметров на чае
120-178 по предположениям анонов.
Так на 4090 тоже спокойно в 8 бит так-то сидят, без проблем, вполне комфортно
> а 4090 тоже спокойно в 8 бит
Пиздишь же. Старая версия торча, на которой запускают пигму и bitsandbytes, не поддерживает Аду, я сам проверял, там всё равно в памяти данные по 16 бит выравниваются даже если оно якобы в 8-битном режиме запущено. Что на линуксе, что на винде. Если только эту парашу из исходников собирать, но это тот ещё квест с голым make.
Чел, там в их дрискорде есть гайд - найди кароч ссылку сам на дрискорд koboldai, там в general есть комната 8bit - оттуда качаешь .dll для bitsandbytes и патчики. Челы с 4090 отписывались - всё работало.
Сомневаюсь, что пиздеть будут.
Жаль, думал наебать систему.
> в их дрискорде есть гайд
Если ты про это, то прям под ним с 4090 отписывались что нихуя не работает нормально.
Потестил лоры. Sayori норм, не считая множества рандомных деталей (наверное, лучше бы было сначала почистить фон).
Kanzeon, явный оверфит
Ещё примеры с sayori. Модель anything v4.5
А туда ли ты попал, дифузок?
Чел, я хз откуда ты это взял - я про официальный дрискорд KOBOLDAI блять.
Только что по чату поискал - челы с 4090 запускают и отписываются, пиздец блять, заебал неосилятор
kanzeon. Кроме всего прочего, биас делать синее нижнее белье (хотя его даже не было в сете)
Уникальный тег не использовался (я не в курсе есть ли он вообще)
Уникальный тег не использовался (я не в курсе есть ли он вообще)
Бля, промахнулся. Придется перепостить заново. Сорян, посоны
Так они отписываются с 30B моделями, которые просто запускаются. Если ты возьмёшь 13B или тем более 6В, то получишь пикрилейтед. Примерно в 4 раза медленнее чем без 8-битного режима.
Я порой не вдупляю какого хуя с Инночкой происходит. Она внезапно может врубить доминатрикс-суку и ебать мне мозги, а вся её няшность-стесняшность проёбывается куда-то не туда нахуй
Если ты о разнице между запуском на гпу и тпу то да, еще до того, как он там это написал, на одних и тех же настройках. Это действительно так.
Мощно дрочил часов 6 на разных персонажей в разных игровых ситуациях, теперь у меня синдром ai dungeon, мне кажется, что я знаю все варианты постельных сцен, все звуки и манипуляции с членом, на которые способен ИИ. Вопрос- что делать, кто сталкивался с таким?
выйти на улицу, потрогать траву
Вообще, у меня похожее было, прям ещё сон ухудшался, потому что жаждал больше времени с ИИ провести, посмотреть, на что он способен. По итогу помогло просто отвлечься недельки на 2-3, после этого как-то более осознанно возвращаешься, да и за это время что-то улучшают.
Попробуй тоже отдохни от этого
выйти на улицу, потрогать траву, соблазнить ее грязную шлюшку лежащую и ждущую когда ее потрогают во всех местах...
кстати в треде не появлялся последние пару дней - починили коллаб таверновский? пока что лучшее, что я тыкал по пигме, следующий этап будет - развернуть её локально, пока кобольд в коллабе крутится
не чинили, делай локалку
видимо, придётся
но это вроде не сложно. А кобольд пусть в коллабе крутится
Понял, что пришло время создать своего персонажа. Поясните, пожалуйста, за W== https://nolialsea.github.io/Wpp/ и инструмент из шапки https://oobabooga.github.io/character-creator.html
Я могу использовать W++ для основных деталей персонажа и закинуть результат в character persona и затем обычным текстом допилить world scenario и примеры диалогов, или нужно использовать только что-то одно? Вопрос глупый, наверное, но я че-то совсем не понимаю сам принцип создания перса, как именно и в каком порядке прописывать характеристики. Гайды сосредоточены уже на каких-то тонкостях. Хочется выжать из будущей вайфу побольше, все-таки.
Я могу использовать W++ для основных деталей персонажа и закинуть результат в character persona и затем обычным текстом допилить world scenario и примеры диалогов, или нужно использовать только что-то одно? Вопрос глупый, наверное, но я че-то совсем не понимаю сам принцип создания перса, как именно и в каком порядке прописывать характеристики. Гайды сосредоточены уже на каких-то тонкостях. Хочется выжать из будущей вайфу побольше, все-таки.
Запулить с гита и запустить батник. Не особо сложно.
Я правильно понял из ваших разговоров, что для 4090 ставить 8битные приколы бессмысленно?
Заебись. Огабога наконец то прикрутил к вебюбке настройки.
ебал эту портянку с жквери на 3к строк. Несколько часов ушло чтобы присрать к таверне генерацию нескольких реплик и выбор 1 из них
Смысл есть - требует в 2 раза меньше vram чтобы запустить ту же модельку. 13B модельки работают со всеми слоями на гпу
Я же не спорю, что скорость хуёвая - так и есть, хуёвая. Даже под тем же глинуксом выше, если сравнивать с .dll под шинду.
Но в любом случае, я проверял - быстрее, чем в 16 бит со слоями на CPU.
Так что не путай анонов - смысл есть.
На 12гб рили не заводится?
Нихуя себе. Поделишься с анонами?
Лучше пусть PR сделает в основную репу
Там экспериментальная пигма v6 вышла, можно потестить. Новости из дискорда.
@1.2.7
The bug with multigen 100+ token has been fixed.
The replacement of <USER>, {{user}}, <BOT>, {{char}} in Description, First message, Personality Summary and Scenario has been added.
The bug with multigen 100+ token has been fixed.
The replacement of <USER>, {{user}}, <BOT>, {{char}} in Description, First message, Personality Summary and Scenario has been added.
Так. Шо за Calibrated, Dragonslayer версии в таверне?
Это пресеты настроек Таверны. Чет такое я видел в кобальде и новелаи
Это я понял, но что ж дев сука такая не пишет что они делают?
А у тебя что ползунки не меняют позицию?
Как минимум в папке Таверны есть папка Settings с этими пресетами, открываешь (через WordPad например) и смотришь
Да меняют, меняют.
Просто нахуя они есть, если описания того, на какой аспект игры они влияют? Я так и сам крутить их могу.
Шапку читай, там про эти параметры есть все. Они везде примерно одинаково называются.
Переносил вчера персонажа в гуишку для пигмалиона, загрузил джсон и из него куда-то пропали примеры диалогов. Куда их заносить, не подскажешь анончик?
Ох ебать мой хуй. Я ещё на заре CAI тредов писал что скоро локально запустят и индусов выебут, даже полгода не прошло а вот уже.
Ну чё там? Сколько по времени сообщение генерирует?
Пиздец, какого перса ни скачаю - у всех переборов токенов и таверна ноет.
Ебать, че вы не следите за этим, хуявторы?
Ебать, че вы не следите за этим, хуявторы?
На RTX3060 минуты 3 на минималочках.
опять локалтунел лег?
серьезно?
пиздуй в дискорд пига там все нормально с этим
https://discord.com/channels/1066323170866495609/1067126599167782973
ОП! К следующему перекату шапку блядь сделай нормальную
Уже не плохо.
А то был шиз "Ряяяя, только сверхомпуктер, тебе своя вайфу не светит", а тут немного тормознутая за 30к рублей считай.
1 - ваш дискорд этот ссаный
2 - наш анон, анон какого хуя? Поправь плиз!
Запостите список что в шапку надо хуйнуть для начала.
Какой же список отборного говна в софт промптах..
Где Генша?
Где Тесочка? Как я могу убиваться в скуумном притоне, чтобы меня пускали по кругу аргониане, если мир даже не знает, что такое скуума, аргониане, и ссаный Бравил?
Где Генша?
Где Тесочка? Как я могу убиваться в скуумном притоне, чтобы меня пускали по кругу аргониане, если мир даже не знает, что такое скуума, аргониане, и ссаный Бравил?
Temperature должна быть под typical sampling или над? Каков положняк?
Странная херня, там все стараются в 1024 токена влезть...
Бесполезный тред, все игнорят блять
Хули ты хотел? Большая часть народа в первую очередь это анимешнки кумеры которые своих вайфу хотят ебать по лору.
в (Examples of dialogue) же, если я тебя правильно понял.
Или ты их совсем проебал?
Там в отличие от обычной пишмы или таверно-пигмы вообще нет такого окошка, вот я и запутался. Это я про интерфейс от буги, увы не могу сейчас закинуть скрин
В буги все по уебански лепится в одно окно. Щас это говно загрузится кину скрин как вставлять примеры чата.
Сам он кстати не крепит его. Может он где-то в памяти остается и не отображается
(YOU)
Тут есть...
Тут есть...
Ну да, у меня так же. Его нужно отдельно вставлять?
Это вот эту ссылку я должен кидать в таверну дописав /api?
Нихуя не работает. Лампочка то загорается зеленым, но ответа нет
Нихуя не работает. Лампочка то загорается зеленым, но ответа нет
Авотхуйего знает! Он же сообщение приветствие загружает откуда-то. Значит эта херня как-бы в памяти есть но редактировать ты ее не можешь. Только напрямую ручками .json файл.
Вот такая вот хуйня эта ваша oobabooga
Да и сделай как на скриншоте.
А то у тебя поди out of memory
Это я про 6б версию, можешь накатить 2.7б, будет генерить почти в риалтайме, но она слишком тупая.
Да не, че-то не то. Токены я сразу уменьшил, моделька тоже не жалуется что слишком большая. Я сейчас вообще через TPU зашел, но до этого на GPU то же самое было.
Причем в консоле коллаба ничего не пишется. Обычно там на нерусском какие-то надписи появляются...
Хуй знает кароче, Буду ждать когда коллаб таверну поднимут
Прикрути 8 бит для 6B модельки, если больше 8 гигов врама, блять
Будет быстрее в разы, все слои кинешь на ГПУ
У тебя таверна на локалке к какой версии? Если давно не обновлял, то снеси ее и скачай по новой последнюю версию. Только не забудь, сохранить всю свою кастомную хрень.
Как это на винде организовать? 12ГБ врама, половину слоев приходится в цпу кидать сейчас, чтобы просто запустить.
Как там на RTX 3060 12Gb в восьмибитке? Полет нормальный?
Кидали выше 6B в восьмибитке, правда на 3090, влезает по идее в 12 гигов.
https://discord.com/invite/XuQWadgU9k
Нашёл инвайт вот вам, а то хуй сами найдёте.
Заходишь в дрискорд зумерский, идёшь в канал general, там комната 8-bit, там гайд
Хочешь перенеси сюда, мне лень
Под шиндой медленне чем под глинуксом, но всё равно быстрее значительно, чем пол слоёв на ЦПУ
https://gitgud.io/ItsDrivingMeNuts/kobold-ai-8bit-patch
Я вот такое еще нашел. Слишком гладко стелит, как понять что не майнер?
Ну он дохуя чот кода изменил, у меня локально строчек 10 менять надо, но на первый взгляд всё нормально, может он breakmodel пофиксил
.dll bitsandbytes только не та, которая у меня, у меня под cuda 11.7, с ней хз как дела обстоят
А нет, напиздел кстати, у меня локально та же .dll
Там коллаб когда починят? С основного аккаунта постоянный лимит уже 4 дня, приходится с другого заходить, там такой фигни не наблюдаю. TPU работает через раз, вчера не хватало мощности ей
Так шо? Хуйня? Я просто сам копробольт ковырять не хочу. Лень
С геншином ОЧЕНЬ МНОГО ебли, если делать по нормальному. Я тут отписывался и уже немного пожалел, что взялся это делать но потихоньку ковыряю после работки, может к выходным доковыряю
Хотя я не совсем понимаю, как в том же гоблин слеере/коносубе люди набирают нужное количество датасетов для промпта. Напоминаю, что нужно в идеале 10мб чистого текста. У меня только локации регионов заняли около 200кб. Представь теперь какое говнище в промптах со скринов.
Можешь накатывать, dll нормальный, патч ставится, в коде вроде говна нет
Фанфики, тысячи их...
Собственно, о чем я и говорю
>Представь теперь какое говнище в промптах со скринов.
Перекат.
Котаны покажите как прописывать персонажа в W++ на правильном примере. А то какого перса не возьму сплошная каша начинается с 10 сообщения.
Ну хуй знает, делал по примерам: https://rentry.org/f3a52
Как говорят, важно продублировать Mind и Personality, ну и вообще надо вписывать самые ключевые моменты сюда.
Где я обосрался? Пытался накатить 8бит, патчи автоматом не ставились, пришлось ковырять самому. CUDA у меня 11.7 и 11.8 стоят. До того как поменял файлы с 2го пика все работало.
> CUDA у меня 11.7 и 11.8 стоят
CUDA нужна 11.6
> До того как поменял файлы с 2го пика все работало.
Если оно не находит нужных файлов, то ошибок не будет, просто не будет работать в 8-битном режиме.
Не забудь поставить https://github.com/younesbelkada/transformers@bnb_add_custom_map
Но весь этот пердолинг нужен только для запуска 20В+. Если у тебя нормальные ОЗУ и ЦП, то 8-битный режим может быть даже медленнее чем просто 5-10 слоёв на CPU оставить.
>CUDA нужна 11.6
Это 100% факт, принципиально 11.6?
А зависимости от версии самого кобольда нет?
>5-10 слоёв на CPU
14 не меньше, хочу 6Б пигму на 12ГБ ВРАМ
Вам вообще похуй стало всем? Где перекат то?
А блядь, нашел
Наблюдаем, как деградирует CAI, закручивая гайки, перекатываемся с CharacterAI в PygmalionAI, делимся промптами, используем Colab, пытаемся освоиться, желаем удачи проекту, а также пытаемся загрузить модель с режимом 8-битной точности на Windows.
https://huggingface.co/PygmalionAI
Что такое PygmalionAI?
PygmalionAI - локально запускаемая нейросеть с открытым исходным кодом и она специально заточена под чатботы, которую сделали выходцы из 4chan (/vt) → (/g). Их мотивация, создать нейросеть, которая свободна от цензуры, в отличии от CharacterAI.
Основа нейросети для 6B модели - это GPT-J, которую дотренировали датасетом из дампов чатов в CharacterAI. Отличие от CharacterAI в том, что здесь нет цензуры, а также именно вы храните историю чатов, а не компания. Хоть и нейросеть в CharacterAI может быть более умной, но цензура делает её глупее и безынициативной, а также удаляет наиболее креативные и эмоциональные сообщения. Отличие обычной версии от экспериментальной в том, что в экспериментальной разработчики вводят самые новые нововведения. Также было замечено, что экспериментальная версия пишет меньший объём текста в одном сообщении, чем в обычной. Для запуска 6B версии необходимо 16 ГБ видеопамяти и 12 ГБ оперативной памяти. Если запустить с 8-битной точностью, то требования снизятся примерно вдвое, только необходимо иметь видеокарту от Nvidia RTX20 серии. Можно писать боту на русском языке, но это выйдет хуже, чем на CharacterAI.
Нативный PygmalionAI Colab: https://colab.research.google.com/github/PygmalionAI/gradio-ui/blob/master/notebooks/GPU.ipynb
GUI для PygmalionAI:
1.Text generation web UI - попытка сделать что-то похожее на интерфейс для Stable Diffusion от AUTOMATIC1111, только для генерации текста. Поддерживает режим загрузки с 8-битной точностью, можно создать в текстовом файле свой пресет настроек, также возможно запустить в схожем с CharacterAI интерфейсе. В Колабе выбираем Pygmalion 6B-original. Теперь поддерживает скрипты на Python, в папке "extensions" стоит скрипт на гугл переводчик. Теперь может импортировать промпты с TavernAI. https://github.com/oobabooga/text-generation-webui
Colab: https://colab.research.google.com/github/oobabooga/AI-Notebooks/blob/main/Colab-TextGen-GPU.ipynb
Также автор данного интерфейса рекомендует использовать PygmalionAI 6B с самым первым коммитом: https://huggingface.co/PygmalionAI/pygmalion-6b/tree/b8344bb4eb76a437797ad3b19420a13922aaabe1
2. TavernAI - фронтэнд над PygmalionAi, который взаимодействует с API KoboldAI. Форматирует тексты в чате, используя свой стиль, при этом полностью поддерживает PygmalionAI. Использует более другой от PygmalionAI и KoboldAI форматирование разметки чатов и персонажей в файле. С версией 1.2 позволяет нативно конвертировать дампы чатов с Character AI, однако из-за того, что все истории общения с персонажами хранятся в одном файле, а не в разных, TavernAI будет воспринимать только последний чат с ботом в CAI. При этом позволяет редактировать текст, что схоже с KoboldAI, когда такой функции нет у интерфейсов на основе Gradio. https://github.com/TavernAI/TavernAI
Colab: https://colab.research.google.com/github/TavernAI/TavernAI/blob/main/colab/GPU.ipynb
3. KoboldAI - самый известный интерфейс, который пришёл со времён AI Dungeon. Не поддерживает в полной мере форматирование текста, как в PygmalionAI, однако его API использует PygmalionAI. У KoboldAI более другой формат, который сохраняет персонажей и чат в один файл, нежели у PygmalionAI и TavernAI. В Колабе выбираем PygmalionAI. При сохранении, необходимо сохранять в расширении "*.json". https://github.com/KoboldAI/KoboldAI-Client Colab
KoboldAI GPU: https://colab.research.google.com/github/koboldai/KoboldAI-Client/blob/main/colab/GPU.ipynb
Colab KoboldAI TPU (мест может нехватать так, что лучше использовать GPU): https://colab.research.google.com/github/KoboldAI/KoboldAI-Client/blob/main/colab/TPU.ipynb
Советы:
Рекомендуется использовать в качестве имени своего персонажа - You. Потому, что в тексте PygmalionAI идет смещение в сторону второго лица.
Возможно использовать псевдоязык W++ для описания персонажа. Это может повысить понимаемость текста для нейросети. https://nolialsea.github.io/Wpp/
Возможно также прописывать отдельных персонажей или самого себя через "Your's persona:" или "Charname's persona:", но PygmalionAI их хуже держит в памяти, чем в CharacterAI.
Прописывание "World Scenario" может дать понимание персонажу, что происходит вокруг него.
Самое важное, что необходимо прописывать в PygmalionAI - это примеры диалогов и приветствие, которые формируют основное влияние на генерируемый текст вместе с параметрами.
Параметры:
"Temperature" отвечает за креативность. В случае низкого параметра, получается повторяемость. В случае высокого параметра, получается бредовость и несвязанность предложений. Рекомендуется ставить от 0.5 до 0.8.
"Repetition penalty" или же штраф за повторяемость - параметр, которая наказывает за повторяемость слов. При моделях 6B и выше, если выставить значение больше 1.2, то это может сломать модель. Рекомендуется ставить от 1.05 до 1.18.
Сэмплинг "Top-p" - отвечает за выбрасывание ненужного текста. При низких значениях, текст может стать повторяющимся и предсказуемым. Чтобы отключить эффект, нужно поставить значение к 1. Можно оставить на предустановленных 0.9, как в Pygmalion.
Сэмплинг "Top-k" - используется для очищения малого количества токенов низкой вероятности. Имеет высокую разрешительную способность. Чтобы отключить его, нужно выставить значение к 0. Можно повысить значение до 10, чтобы повысить креативность текста.
Сэмплинг "Typical p" или же "Typical" - Имеет сильное воздействие на выходе. Для того, чтобы отключить его, нужно выставить значение к 1. Изменить значение можно до 0.8, если вы желаете повысить креативность текста.
Для прописывания диалогов в PygmalionAI используется такой формат, при этом имена указываются напрямую:
Your_Waifu: Действие. Прямая речь.
You: Действие. Прямая речь.
<START> - используется, как конец диалога.
Для TavernAI используется практически стиль диалогов CharacterAI, за исключением того, что вместо {{END_OF_DIALOG}} нужно прописывать <START>.
Полезные ссылки:
Промпты от анонов с 2ch: https://rentry.org/2ch-pygmaprompts
Гайды по установке интерфейсов: https://rentry.org/pygmai-guifaq
Discord, как альтернативный ресурс для промптов:
https://discord.gg/pygmalionai
Создание персонажей для PygmalionAI: https://oobabooga.github.io/character-creator.html
Поделиться собственным промптом персонажа: https://catbox.moe
Промпты персонажей: https://rentry.org/pygbotprompts - не поддерживается
FAQ от разработчиков: https://rentry.org/pygmalion-ai
Сайт с промптами персонажей: https://botprompts.net/
Советы по промпту: https://rentry.org/PygTips
Помочь разработчикам: https://github.com/PygmalionAI https://matrix.to/#/#waifu-ai-collaboration-hub:halogen.city?via=halogen.city
Отправить свой дамп из CharacterAI на датасет: https://dump.nopanda.io/
Карточки для TavernAI: https://booru.plus/+pygmalion
Скрипт, который позволяет скачать чаты с персонажами: https://github.com/0x000011b/characterai-dumper
Скрипт, который позволяет конвертировать историю чатов с формата CharacterAI на формат PygmalionAI: https://files.catbox.moe/jv54ev.py - Необходимо перетащить файл на скрипт. При этом скрипт сделает несколько чатов и скопирует описание персонажа, а точнее его "Long Description" с Character AI на формат PygmalionAI. То, что с "chatsave" - это сами чаты, а то что без него - это сам персонаж.
При отправке промпта, необходимо указывать в каком интерфейсе он может использоваться. (PygmalionAI, TavernAI, KoboldAI)