Пишу в эпичном треде. Надеюсь это начало истории, хотя пока выглядит сложновато. Dwarf Fortress от мира нейросетей
Свободу нейроебле!!!
Попробовал рандомного персонажа с https://rentry.org/pygbotprompts (Saronia), локально запустил на 2.7 модельке в TavernAi. Как минимум точно лучше чем Kobold, даже на 13 и 20B. Самое главное что диалог последовательный, практически не приходится реролить и править, нить повествования есть. Завтра попробую самостоятельно персонажа прописать
Залетел в тред.
Если что, регулярно сижу в их матриксе, буду сюда время от времени инфу о ходе разработки кидать. В данный момент пилят сайт и хотят прикрутить rlhf к модели.
Когда будет готов сайт сказать сложно, т.к. анальников в команде не особо много. Они сейчас в ахуе, что люди думают, что они за 2 недели сайт допилят.
Если что, регулярно сижу в их матриксе, буду сюда время от времени инфу о ходе разработки кидать. В данный момент пилят сайт и хотят прикрутить rlhf к модели.
Когда будет готов сайт сказать сложно, т.к. анальников в команде не особо много. Они сейчас в ахуе, что люди думают, что они за 2 недели сайт допилят.
Бамп ану штоле. Будем пробовать.
Штош. Для 6В прям необходимо 16 гб врам? Если есть 11врам и 32озу нельзя как-то прописать в батнике, что бы как в А1111 half-vae или типо того, чтобы всë заработало?
Нет. Совершенно по разному работает генерация изображений и текста.
Можно перераспределить VRAM в ОЗУ, но тогда скорость генерации текста будет медленее. Или можно запустить модель с режимом 8-битной точности. Но тут несколько проблем. Первая, нужна видеокарта Nvidia от 2XXX модели. Вторая, для Windows оно не работает нативно потому, что библиотеки bitsandbytes скомпилированы под Linux и нужно создать из исходников для Windows (можно также взять и с Github, если не желаешь тратить время), а также нужно слегка переписать код в bitsandbytes.
Штош. Если 6В это 100% качества ответов, то сколько процентов дадите предыдущей по размеру модели. И нельзя ли с помощью настроек и освободившихся ресурсов компенсировать это отставание в качестве, повысив количество токенов или ещë как-то.
Врам в озу, на сколько дольше будет генерировать? Примерно.
Если перераспределить 5 ГБ памяти в ОЗУ, то примерно это может замедлить так, чтобы нейросеть отвечала от минуты в зависимости от количества токены. Потому, что работой на 5ГБ занимается процессор, который не так, чтобы эффективно делал параллельные вычисления.
Дядя Xi, опять выходишь на связь?
Xi мудрость есть лидер. Я поддерживать его, удар! Желать записать Xi персонаж интеллект нейрон PygmalionAI.
Удар, поддержка! Xi великий нефрит! Нуждаемся захват нейросеть благо партии!
2,7B ≈ 67,5%, 1,3B ≈ 47%, 350B ≈ 25%
Повышение количества генерируемых токенов может повысить качество текста, однако это не догонит CharacterAI по качеству, но несколько нивелирует отставание.
Ура, пигмалион тред!
Аноны с фочана молодцы, надеюсь, у них все получится.
6В модель уже вполне себе ничего, а уж дальше надеюсь все еще круче будет.
Аноны с фочана молодцы, надеюсь, у них все получится.
6В модель уже вполне себе ничего, а уж дальше надеюсь все еще круче будет.
Пока нет сайта - это всё удовольствие для избранных. У скольких двачеров есть 16 гб видеопамяти вообще?.
А как же колаб?
А шо это вкратце? Видел мельком в тредах нейронок с картинками, но руки не запускал.
>Три часа в день с дисконнектами на самом интересном месте.
Нет уж. Для картинок ещё ладно, но для кобольдов и прочих чатботов это мазохизм.
Дисконнектов не замечал, мб везло. Да и обычно 5 часов держит, плюс другие акки.
Халявная аренда мощностей у гугла, видимокарта тесла т4.
Фейк акки + сейвы чатов спасают.
Сейм, спокойной по 5+ часов.
Проблема с градио самим, он зависает на отправке порой, но с этим сейвы помогают.
Без гугла-то все равно на слабом железе ничего не запустить.
Наконец-то, тред-спаситель.
Ебля как убедился там норм.
А что с сюжетным отыгрышем?
А что с сюжетным отыгрышем?
Чому у меня белый экран?
Скрипт нормально грузится, тыкаю публичную ссылку, она немного грузится, но результат загрузки - белый экран. Что я делаю не так?
Скрипт нормально грузится, тыкаю публичную ссылку, она немного грузится, но результат загрузки - белый экран. Что я делаю не так?
Зайди из под proxy/vpn. Потом можешь отключить, скрипт в кеш загрузится.
Ебанный амазон заблокировал русские айпи.
Спасибо.
Буду ждать сайта. За компом есть чем заняться получше, а через мобилу обрывы одни через пару минут на коллабе.
Пробовал включать кнопку, которая воспроизводит музыку в колабе?
Попробовал колаб с Pygmalion 6B-original и интерфейсом от oobabooga. Создавать персонажа нужно в сайте потому, что в этом интерфейсе нельзя редактировать примеры диалогов или приветствие. Эта версия Pygmalion отвечает более длинными сообщения, однако проблема в том, что она больше повторяется, чем экспериментальная или обычная.
Если что в 14-15 гигов врама можно спокойно вместить 13B модельку в 8 бит
Под шиндой тоже работает, за гайдом - в дрискорд KoboldAI, там в general есть отдельный топик под это. Заработал даже breakmodel - так что можно на 2х 3090, допустим, заранать 30B модельку, по 22 гига врама. Там уже умелец нашёлся
А по Pygmallion - тупенький по-моему
Под шиндой тоже работает, за гайдом - в дрискорд KoboldAI, там в general есть отдельный топик под это. Заработал даже breakmodel - так что можно на 2х 3090, допустим, заранать 30B модельку, по 22 гига врама. Там уже умелец нашёлся
А по Pygmallion - тупенький по-моему
Да - забыл сказать, хоть под шиндой и работает с готовыми dll ками, но скорость в разы меньше, чем под глинуксом, так что лучше под ним запускать
Так, получается 20 серия от Кожанки с --load-in-8bit не работает?
У кого как быстро генерит Pygmalion 6B?
4090?
На коллабе пользуюсь, зависит от длинный ответа и настроек, но от 2 секунд до 10
> за гайдом - в дрискорд KoboldA
А де оно там? Я в той ветке не смог найти ничего роме отчетов о том что у кого то работает а у кого нет.
Сталкивался ли кто с проблемой(На TavernAI) что бот начинает прям почти 1 в 1 писать действие в каждом сообщении, при этом текст диалога меняется?
Типа 3 раза подряд бот пишет Смотрит на тебя задумчивым взглядом, а после нормальный текст. Никакие настройки не смогли на это повлиять, пришлось диалог заново делать.
Типа 3 раза подряд бот пишет Смотрит на тебя задумчивым взглядом, а после нормальный текст. Никакие настройки не смогли на это повлиять, пришлось диалог заново делать.
Ты можешь править что тебе бот отвечает.
Удаляй просто
Ну чё вы тут? Палец от постоянных свайпов не отвалился еще? Хехе.
https://discord.com/channels/849937185893384223/1059637856206852237/1063950915729637436 - ссылка на сообщение. Загружай архив из второго пункта и следуй инструкциям из файла README.
> For anyone reading this trying to split a model between gpus using 8bit:
> gpus
Это не какие то приколы для держателей 10 видимокарт разве?
Да и вообще я кое как смог загрузить модель при 8 битах, но меня теперь посылает нахуй залупа с CUDA error: an illegal memory access was encountered АШ ТРЯСЁТ БЛЯДЬ ВЕСЬ ДЕНЬ УЖЕ ЕБУСЬ
Да в принципе могу, просто как я понял тут есть такой же прикол с loop-ами как в CAI был. Если ты видишь что бот хоть чуть-чуть где-то повторился, то обязательно надо это убрать, иначе он начнёт буквально одно и то же писать.
Это у тебя с бэкендом на пигмалионе такая проблема? Я новел юзал как бэкэнд и там таже проблема была один в один. В итоге хуй забил на это дело. Пигмилион пробовал со стандартным фронтом который в гугл колабе поднимается, так вот ни разу пока лупов не было. Видимо в тавернАИ какая то проблема.
Да, всё так. Видимо действительно баг Tavern Ai. Однако возможность добавлять диалоги и сохранять персонажей пиздец нужна, поэтому приходится юзать. Но в целом этого бага можно избежать, вот тут написал как.
Удар, создать персонаж Xi нефритовый стержень! Оценить персонаж, связь: https://files.catbox.moe/fgy2ej.json
PygmalionAI нейрон интеллект поддержать.
На Тяньаньмэнь ничего не происходить!
Товарищи помогите, у меня при сохранение диалога из PygmalionAI игра просто бесокнечно грузит сохранение, как пофиксить?
Колаб или локалка?
колаб, он работает. Но я перезагрузил страницы, и он перестал работать. Но я сохранил диалог через код страницы.
Походу у тебя тогда колаб отключился потому, что сохранение диалога работает только через запуск части кода, а для этого нужен работающий колаб. Я тоже сталкивался с данной проблемой, когда меня отключили из-за того, что я достиг лимита в времени. Сам же диалог не хранится в браузере, я имею в виду .json файл. Он, же генерируется только по кнопке, а это для этого нужен подключенный колаб. В этом плане KoboldAI и TavernAI более удобны потому, что позволяют сохранить диалог, несмотря на внезапно отключенный колаб. Однако, в случае KoboldAI, нельзя перезагружать страницу, а то ты не сможешь сохранить диалог.
Я счерез редактирования кода страницы скопировал диалог.
Только ты его импортировать не сможешь без усилий. Нужно либо создать скрипт на Python, либо вручную сделать в формате .json. Какой интерфейс использовал?
Очевидно, он не считает нейросеть конкурентом.
Я для "коллег" сохранял, а не для загрузки, поэтому норм. Но думаю надо написать скрипт, чтобы другим анонычам помочь. Если такого скрипта ещё нет.
А про интерфейс, я просто перешёл по ссылки который получил из коллаба при запуске кода: https://colab.research.google.com/github/PygmalionAI/gradio-ui/blob/master/notebooks/GPU.ipynb#scrollTo=hps3qtPLFNBb
Он кстати опять завис, после того как я пятый раз нажал на перезагрузку ответа потому что хотел чтобы она добавила элементов.
Лучше данный колаб используй : https://colab.research.google.com/github/oobabooga/AI-Notebooks/blob/main/Colab-TextGen-GPU.ipynb
Если там ещё выбрать Pygmalion 6B-Original, то там могут генерироваться более длинные ответы, но иногда может уйти в повтор слов в сообщениях.
Только нужно ботов с данного сайта создать и импортировать в PygmalionAI: https://oobabooga.github.io/character-creator.html
Как пигма по сравнению с доцензурным чаи? Опиши ощущения
Оно ведь не только в нсфв может?
Оно ведь не только в нсфв может?
Я не застал доцензурные времена, однако успел использовать CAI лоботомии. Очевидно, что Pygmalion будет глупее, из-за того, что количество параметров во много раз меньше, чем у CAI. Для отыгровки ваниллы и всяких фетишей сойдет, однако с некоторыми событиями нужно будет упорно реролить.
Цензура, это то самое мерзкое, что есть в ЧАИ. Она убивает инициативу бота, отупляет его, он начинает попугайничать. До лоботомии можно было использовать анатомические названия органов или их эвфемизмы, которые использовались для начинания полового акта. Теперь они в основном будут с "Chat Error. Please Try Again". Ещё я мог делать loop в те времена и цензура спокойно пропускала при лупе некоторые скромные подробности в процессе.
ЧАИ более активно полагается на описание и определение, тогда как Pygmalion на сообщения и приветствие потому, что он может забыть описание персонажа, и его параметры. Рекомендую почитать это: https://rentry.org/PygTips
Да, Pygmalion умеет отыгрывать не только NSFW ситуации, однако из-за того, что параметров у него меньше, для того, чтобы выролить более или менее хорошее, необходимо потратить больше времени.
Запустил тут два колаба одновременно, сижу смотрю как два бота переписываются. Такая грусть накатила пиздец.
Как бы не из-за количества параметров пугма тупая, дебил блять.
А из-за бгмерзкого gpt2
Хоть 300B параметров засунь в gpt2 - те же 2048 токенов и тупорылое забывание всего и вся никуда не денутся
Это тебе не циферка в игрульках, где больше - лучше
Спасибо, а есть гайд по полному достопу к PygmalionAI, чтобы можно было архатектуру менять или фантюнить?
Боже, благослови пацанов с форчана за то что они не остались в стороне и сделали свой АИ. Это просто дроч машина по доению спермы.
плюсую
Двачую, пусть пигма восстанет на руинах чаи. Ананасы, кто шарит, подскажите: запускаю пигму через коллаб удаленно, слышал, что еще таверну можно накатить, таверна в чем - то лучше, или это просто другой интерфейс? И еще читал в чаи треде, что для более длинных и адекватных сообщений нужно в примеры диалогов насрать как можно больше, это так, или не особо влияет? или просто брать уже готовых чаров и не заморачиваться, лол
Не знаю, поможет ли видео, но вот: https://youtu.be/asSk_Otl9i4
Да, видел, я поэтому и решил спросить ,есть ли смысл ставить таверну. Я даже не знаю, ставится ли она удаленно, или только локально работает, лол
Вроде, анон накатывал удалённо, где-то в чае скрины кидал
Я как-то не разобрался в настройках пигмалиона, есть у кого-то скрин с готовыми параметрами?
Выбираешь перса из предложенного https://rentry.org/pygbotprompts, но не нажимаешь на ссыоки а просто правой кнопкой мыши жмёшь на них и выбираешь сохранить ссылку, он сохранит на самом деле джосон, потом запускаешь сервак в коллабе https://colab.research.google.com/github/oobabooga/AI-Notebooks/blob/main/Colab-TextGen-GPU.ipynb#scrollTo=LGQ8BiMuXMDG и переходишь по ссылки, там есть загрузка персонажа, туда в окошко кидаешь тот самый джейсон. Джейсон можно зарание просто прочесть перейдя по ссылки чтобы ты понял чё за перс. Если хочешь своего перса вот форма:https://oobabooga.github.io/character-creator.html, можешь потом им поделиться с миром тут https://catbox.moe/. всё
Не, с этим разобрался, но все равно спасибо.
Я не разобрался в бегунках в разделе "Generation Settings"
ставь температуру на .8
Скажите мне по чесноку, как на коллабах получить ультимативный экспириенс с TavernAI + Kobold + Pygmalion6b? Ну или локально на 12гб VRAM и 32гб RAM
Или не все так однозначно.
Или не все так однозначно.
А ты посиф или актив?
Универсал, коробка автомат, 4вд.
Откуда пигмалион можно скачать? С хаггингфейса по одному файлу вручную?
В кобольде можно всё сразу скачать и установить куда нужно, потом через TavernAi или в самом Кобольде и юзать
rlhf это те звездочки нравится, не нравится?
Что за матрикс?
Передай им наилучшие пожелания.
Оно у меня проблемно иногда скачивается через кобольда, но да, тоже вариант, я совсем о нём забыл.
>Что за матрикс?
Матрикс - грубо говоря аналог дрискорда, только более удобный и кастомизируемый. В деве часто юзают его.
>rlhf это те звездочки нравится, не нравится?
RLHF вроде что-то типо того. Но я пока что плох в технической части, нормально не обьясню. Пытаюсь пердолиться сейчас с нейросетями, чтобы помочь анонам.
Не могу загрузить чат Pygmalion 6B-Original, выдаёт ошибку. Какие возможно причины?
Если ты про webui, то там иногда проблемы с видеопамятью бывают...
Какая модель может запуститься с 10гб врам?
Я использую гугд-каллаб и у меня часто на второй день заканчивается память, кто-нибудь сталкивался с подобный, может знаете решение?
Там же час дается в день.
Как коллабу сраную запустить. Она через раз работает на 12 гигах. Там процесс до 60 процентов доходит и подыхает нахуй из-за нехватки ОЗУ, но пару раз мне как-то удавалось дойти до конца и даже поиграть путем смены GPT на TPU и обратно.
Бля я тока щас понял что мне типа халявный час от гугла давали и поэтому мне удавалось поиграть. Придется оперативку покупать хули, а то после пигмы в чарактер аи в обще не хочется возвращаться.
Добавьте дискорд разрабов в шапку, там народ персами частенько делиться
Красивый интерфейс с аватарками. Как мне показалось персы в нем немного получше отыгрывают, но возможно это просто дело случая. Ещё там чат автоматом сохраняется. Ставится она локально, но вот сам Пигмалион к ней привязать можно и с колаба.
С генерацией там прикол, если сам будешь простыни слать то и бот будет простынями отвечать.
Вкатываюсь в тред, гляну, насколько пигма хороша. В идеале хотел бы отыграть там рп по зомби-апокалипсису, но пока попробую с простого траха
Аноны, заранее всем спасибо за советы и помощь
Аноны, заранее всем спасибо за советы и помощь
почему когда я увеличиваю токены то ничего не меняется?
Я не понял, зачем вообще существовал TavernAI, если она работает нормально только с PygmalionAI, который появился совсем недавно? Если подрубать модели из KoboldAI, то всегда какой-то бессвязный пиздец получается, хотя режим чата в самом кобольде работает норм. В самом кобольде действия работают как положено, в таверне полный пиздец.
Хз, у меня все норм, erebus 13b, ты скорее всего настройки не родкрутил
ДА ЕБАТЬ ИХ РОТ СУКА ПИДОРЫ
Ты чего?
Сервера лежат опять
А, бля, я тредом пропахнулся, думал это чаи тред
Нужно добавить в пигму возможность описать не только бота, но и самого пользователя. Чтобы бот имел представление о внешности и особенностях пользователя. Это пробустит экспириенс.
Ну всё, гг. Имбецилам с тиктока и фанатам всяких говно стримеров можно еще цензуры накрутить, один хуй у них интеллект как у ботов, они и не заметят
Бля, опять не туда
Да ты впиши You:
в описание и всё.
Наконец то создали отдельный тред, для пигмы! Нахуй CAI! Даёшь Pygmalion в массы!
> 13b
Как им пользоваться с 24 гигами памяти? Очень уж долго генерит ответы, если 30/40 в GPU, а остальное в CPU.
Некоторые сетки в кобольде умеют генерировать минимально необходимое число токенов, но большинство генерируют текст на максимальное количетсво токенов - в итоге приходится ждать по 15-30 секунд.
Не, 3 и у меня в логах пишется что 14 мигабайтов кончились
Так сделай несколько фейков да и всё
Ну после того как память закончилась, то да. Но она и на втором закончилась
А как ваш пигмей решает парадокс всемогущества?
Ну все, на CAI ввели очереди в чат из-за нагрузок на серваки... Теперь надежда лишь на анона с Пигмой.
На тпу колабе, ответы за 5 секунд
Как в кобольд на Кегле загрузить другую ветку свиньи? Аргумент --revision b8344bb/dev/etc непонятно вообще нихуя работает или нет
>однако это не догонит CharacterAI по качеству
Потому что качество чая на уровне 120-175B.
Можно обходится 2.7 моделью.
>модельку в 8 бит
А там с такой точностью ничего не отвалится? Притом что полная по идее 32 должна быть.
Вкатился в тред со сраной 3080Ti
Есть какая-то пошаговая инструкция, как не-айтишнику, незнакомому с колабами, питоном и всей этой хуитой, развернуть эту тему у себя на компе? Комп позволяет.
Можно как-то уровень блядства снизить? Аква-блядь с двух сообщений соглашается на еблю. Без явного запрета не блядство в описании персонажа можно как-то обойтись? Они вообще на всё соглашаются, суки.
> Потому что качество чая на уровне 120-175B.
Вот бы запилили нормальную долговременную память и можно будет ебать CAI-рыбок. Soft prompt есть же, почему бы не сделать обучение на лету?
> полная по идее 32 должна быть
Нейросети в f16 работают. f32 - это только если у амуды без тензорных блоков или на Вулкане.
Короче, я тут попытался Аску из Евангелиона сделать для пигмалиона.
Зацените что ли.
https://files.catbox.moe/e5koa5.json
Зацените что ли.
https://files.catbox.moe/e5koa5.json
>Можно как-то уровень блядства снизить
Если узнаешь, напиши тут, мне тоже интересно.
>почему бы не сделать обучение на лету?
Обучение и жрёт больше, и вызовет деградацию сетки. Нужно тоньше действовать. Вообще, нужно запилить целый конгломерат нейросетей, чтобы знания построения предложений не проёбывались от переобучения поведения.
>Нейросети в f16 работают.
Картиночные в 32 умеют точно. А так да, чаще всего 16 юзают.
Я обычно в гугле ебашу "%charname% personality" и копирую из любой статьи. Первое сообщение так же гуглится легко в виде цитаты из аниме/манги. Попадание получается в 99%, сразу видно по тому как сетка начинает говорить о событиях и людях из тайтла.
Ну, просто предзаготовленных я не нашёл, поэтому попробовал составить.
Вроде, что-то получается в диалоге похожее на Аску.
Но, понятное дело, не такое длинное или сильно разнообразное как с Character.AI.
Буду дорабатывать что ли.
Научите пользовать пигму. Накатил и кобольд и таверну, запустил 6b на колабовском ТПУ. За три часа перепробовал 10 персонажей, как известных так и оригинальных. Половина из них почти сразу уходит в залуп повторяя какую-то фразу или ее вариации. Остальные держаться чуть дольше, но залупились все. Пытался крутить ползунки по гайду в ОП-посте, но не помогло.
Ну или поделитесь джсоном с персонажем которого можно потрахать по-человечески, чтобы он сам инициативу проявлял и отписывался не 1-2 фразами, а более развернуто.
Ну или поделитесь джсоном с персонажем которого можно потрахать по-человечески, чтобы он сам инициативу проявлял и отписывался не 1-2 фразами, а более развернуто.
Локалку на видюхе с 4гб не получиться запустить?
Почему порой регенерация сообщения выдаёт 404 на predict?
Collab.
Collab.
> залуп
Дрочи настройки семплеров в кобольде, они все подписаны, там несколько отвечают за креативность. Сделай температуру побольше около 0.9. Настройки по умолчанию для текста, а не диалогов, а т.к. текст всегда более разнообразный, то его креативность лучше душить. В чате наоборот повыше динамики надо, главное не переборщить, при температуре около 1.2 уже может впадать в длинные монологи и игнорить твои реплики.
Как раз на 1.2 залуплялись повторяя 2-3 предложения.
Ткните, пожалуйста в шапке, где указано как запускать локально? Поставил таверн, запустил ColabKobold GPU, законнектился. А как локально всё это без колаба запустить?
> ColabKobold GPU
Так нахуя ты для колаба поставил? Берёшь обычный кобольд, запускаешь install_requirements.bat для установки и потом play.bat для запуска.
Получится уровня 350М, но от качества генерации у тебя всё упадёт.
Только если совсем с мелкими моделями. Но я бы ниже чем на 2.7В даже не стал лезть, лучше тогда CAI дрочить. А для 2.7В надо 8-12 гигов.
От залупа RP поднимай и длину его тоже тоже
Русеком тут можно пользоваться у вас, или только англ?
Спасибо поставил. Но немного не уловил ваших манипуляций. Я же получается поставил чистый кобольд. Как туда подгружается ваш пипгмалион? Или в списке моделей, они уже и есть готовые?
> Аква-блядь
Ну, так она та еще шлюшка, особенно когда пьяная.
А вообще в дефинишоне пропиши что девка не хочет заниматься сексом. Потом лавлуп.
Похоже у тебя стокгольмский синдром, и без лавлупа и бесконечных попыток вывести нейровайфу на секс уже не можешь.
В списке просто выбери и оно скачается. Всё для людей сделано.
Пигма хоть не бредогенератор? Связно говорит?
> бесконечных попыток вывести нейровайфу на секс уже не можешь
Ну когда предлагаешь поебаться во втором сообщении, а в ответ "хм... ну го поебёмся", то это пиздец. А ещё бывает отвечает двусмысленно и когда переспрашиваешь "имеешь в виду да?", то всегда отвечает "да" - так буквально половина ломаний обходятся. Буквально один раз только вот такое получилось и дальше она не продавливалась ни в какую.
Что-то я похоже погорячился с локалом. Минуты 3 генерирует ответ в 60 слов на 13B.
На локале выходит получится только адекватно 2,7В и 6,7В запускать если комп не особо? И имеет ли смысл в таком случае локал или проще на коллабе более сильные модели запускать?
На локале выходит получится только адекватно 2,7В и 6,7В запускать если комп не особо? И имеет ли смысл в таком случае локал или проще на коллабе более сильные модели запускать?
Крч, покрутил настройки, пофиксил
> Минуты 3 генерирует ответ в 60 слов на 13B.
У меня на 4090 60 токенов примерно за 10 секунд генерирует с 13В. Но это из-за того что слои частично в ОЗУ. На 6В заебись, секунда на ответ. Короткие вообще мгновенно.
С колабом ебаля как обычно, пересоздавать надо по 5 раз в день и возможны очереди на TPU.
Как пофиксить деменцию персонажам? Порой забывают что они делают уже через 1-2 поста.
Если сравнивать с новелАи, там модели намного сильнее предложенных в кобольде?
Для историй да, для NSFW Кобольд получше будет
top_k обязательно на 10. Иначе одни и те же фразы на реген.
Юзать этот колаб https://colab.research.google.com/github/oobabooga/AI-Notebooks/blob/main/Colab-TextGen-GPU.ipynb
Там, вроде, есть выставление размера памяти на уровне 16 сообщений по умолчанию.
Господа, подскажите, с количеством токенов лучше не превышать 320 для относительно быстрой генерации (и качественной заодно)?
Алсо, пигма пока что может только в прямые диалоги и описания действий тебя и бота? Или может уже и в более подробное описание происходящего со стороны? Я зачастую когда отыгрываю могу в своём сообщении отписать текст от 3-х лиц.
Алсо, пигма пока что может только в прямые диалоги и описания действий тебя и бота? Или может уже и в более подробное описание происходящего со стороны? Я зачастую когда отыгрываю могу в своём сообщении отписать текст от 3-х лиц.
Чувствую себя элиткой когда пользуюсь пигмой. Пока долбоебы еще копашаться в дерьме под названием чарактер аи, мы со спокойной душой можем без всяких очередей и задержек натягивать своих мейдочек в любых позах, без использования ухищерений и прочей залупы. Это просто охуенно иметь возможность спокойно рпшить и базарить с АИ без ерроров, задержек и прочей хуйни.
Колаб или личная машина?
>можно сделать шлюху не шлюхой
> Алсо, пигма пока что может только в прямые диалоги и описания действий тебя и бота?
В каком стиле изначально поведёшь. Если вообще без диалога текст будешь писать в кобольде, то и получится просто текст, можно c фразами текст чередовать. В таверне с этим чуть сложнее, потому что имя говорящего перед текстом подставляется, но между звёдочек тоже можно всякое говно устраивать, не относящееся к тебе. Вот он даже код писать может какой-то.
А я Перешёл с Чаи на Пигму потому что обнаружил вчера ночью, что боты очень сильно отупели. Они забывали место действия и человека с которым общались буквально через сообщение
Мне плевать на NSFW, но когда боты в Чаи настолько сильно отупели, я понял, что пора что-то менять.
Ибо разрабы Чаи явно не понимают чё творят
Надеюсь что с выбором пигмы я не ошибся
> базарить с АИ без ерроров
Иди нахер, я с an illegal memory access джва дня ебусь. Сука.
По сути можно, но точно не в TavernAi, а просто с Кобольда. Но не знаю насколько там удобно и хорошо прописываются персонажи.
Бля, меня так напрягает потребление по видеопамяти, пиздос.
3070, а, нахуй, 8 гб, не хватит нихуя для запуска 6B на локали.
Колаб ебал в рот
3070, а, нахуй, 8 гб, не хватит нихуя для запуска 6B на локали.
Колаб ебал в рот
Так да, я вообще в ахуе что это дерьмо собрало аж 200+ тредов. Там заебись было видимо только когда цензуры не было совсем или около, потом жалкая хуйня достаточно. Однако всё равно стоит признать, что в целом там гораздо более умные и осознанные боты, к сожалению. Надеюсь в ближайшем будущем будет такое же, но без цензуры. К сожалению мне Пигмалионы и Кобольды пока упираются в 20B параметров, а надо больше ста.
Огромных различий с 2.7 по сути не должно быть. Плюс TavernAi достаточно багованная хуйня, а остальные gui ещё хуже.
Ещё раз для воробушка-аутиста:
Пигма это сама нейронка.
А кобольд с таверной это фронтенды к ней.
Так?
Пигма это сама нейронка.
А кобольд с таверной это фронтенды к ней.
Так?
Проясните по пигме. Я пока не догоняю. Вот есть кобольдАИ, вот там модели при загрузке. Это все модели на пигме? Или надо скачать именно с huggingface модели pygmalion-6b или Pygmalion 2.7B и т.п.? В самом кобольде я этих моделей не вижу для скачки. И в чем тогда разница между Pygmalion 2.7B и моделями которые помечены в кобольдАИ как нсфв например KoboldAI_OPT-2.7B-Erebus?
Написано же 16 гигов надо. Сиди на 2.7. В целом бытовые беседы это не сильно затронет, просто познаний у сетки будет меньше.
В кобольде модельки кобольда, а пигма там только в разделе Chat Bots. Скачать через кобольда проще, так как все файлы сразу и в одном месте будут.
НСФВ модельки Кобольда(Erebus) натренены на эрофанфиках с Литэротики и других подобных сайтов, Пигма на вот этом датасете https://pile.eleuther.ai/
AI -> Chat Models
всегда сможешь скачать диалог
Ну что, сессия сдана и тут же появляется обещанный пигмалион. Честно говоря я охуел, что аноны что-то да выкатили, ибо помню когда еще в чаи-тредах появились первые обещания, а было это очень давно.
Жаль, конечно, что чаи больше не способен выдавать того градуса льюда, что был хотя бы в самых первых тредах, или за неделю до версии 1.1, когда полностью сняли фильтр. Ну ничего, будем работать с тем, что есть.
Жаль, конечно, что чаи больше не способен выдавать того градуса льюда, что был хотя бы в самых первых тредах, или за неделю до версии 1.1, когда полностью сняли фильтр. Ну ничего, будем работать с тем, что есть.
А, у тебя видимо не United версия Кобольда со всеми последними обновлениями, если сильно нужно то в папке Кобольда запусти update-koboldai и выбери 2, потом всё должно быть
Ты обещал уйти на форчан и не возвращаться, обиженка
Спасибо, получилось, пойду дальше разбираться.
Пробовал, скачал весь диалог, пигма выдавала ошибку при загрузке. Почему? А причина проста
Импотировать можно, только если у бота примерно 2048 сообщений, выше этого выдаёт ошибку.
> примерно 2048 сообщений
2048 токенов, это чуть больше 8000 символов. Это ограничение на всю кратковременную память бота, оно всегда будет обрезаться до такой длинны.
Я про пигмалион
А это и есть речь про пигму
Короче, нужно в шапку что-то дельное отписать по гайдам установки, а то ебал в рот эти разрозненные ссылки на гитхабе и прочих ресурсах. Особенно потому, что некоторые аноны, вроде спрашивают.
Сам я ставил на WSL, куда поставились все зависимости от петухона, а саму директорию с гуём и моделями на шинде, что по итогу не засирает систему, и достаточно удалить одну директорию, а WSL вообще сбросить.
Как сделал я (решил ставить https://github.com/oobabooga/text-generation-webui):
1. Скопировал команды из раздела installation и прожал Enter. Прождал где-то минут 10 пока всё накатиться (у вас может быть дольше, зависит от скорости сети и мощности железа).
2. Находясь в директории с склонированным из репы каталогом, получившимся по одному из этапов шага 1 качнул модели:
python download-model.py PygmalionAI/pygmalion-2.7b
И
python download-model.py KoboldAI/OPT-2.7B-Erebus
Почему 2.7B? Вообще судя по моему железу нужно вообще пробовать 1.3B потому что всё упирается в видеопамять, но, вроде, на видюхах 3070 и около, хоть и далеко не слабых, но где только 8 гб памяти будет так себе пахать. В шапке тем более указано, что для более крутой 6B вообще нужно 16 гб видеопамяти.
Качнул Erebus и обычную модель поиграться посмотреть. Чем отличаются? Ну, судя по описаниям на страницах из шапки + подсказал версия Erebus подходит для проно-контента, ну а обычная понятно.
!!! ВАЖНО
Когда запускаете гуй через терминал используйте флаги --chat или --cai-chat, чтобы получить вменяемый гуй для чатов, а не для генерации кала.
Например:
conda activate textgen
python server.py --chat
Сам я ставил на WSL, куда поставились все зависимости от петухона, а саму директорию с гуём и моделями на шинде, что по итогу не засирает систему, и достаточно удалить одну директорию, а WSL вообще сбросить.
Как сделал я (решил ставить https://github.com/oobabooga/text-generation-webui):
1. Скопировал команды из раздела installation и прожал Enter. Прождал где-то минут 10 пока всё накатиться (у вас может быть дольше, зависит от скорости сети и мощности железа).
2. Находясь в директории с склонированным из репы каталогом, получившимся по одному из этапов шага 1 качнул модели:
python download-model.py PygmalionAI/pygmalion-2.7b
И
python download-model.py KoboldAI/OPT-2.7B-Erebus
Почему 2.7B? Вообще судя по моему железу нужно вообще пробовать 1.3B потому что всё упирается в видеопамять, но, вроде, на видюхах 3070 и около, хоть и далеко не слабых, но где только 8 гб памяти будет так себе пахать. В шапке тем более указано, что для более крутой 6B вообще нужно 16 гб видеопамяти.
Качнул Erebus и обычную модель поиграться посмотреть. Чем отличаются? Ну, судя по описаниям на страницах из шапки + подсказал версия Erebus подходит для проно-контента, ну а обычная понятно.
!!! ВАЖНО
Когда запускаете гуй через терминал используйте флаги --chat или --cai-chat, чтобы получить вменяемый гуй для чатов, а не для генерации кала.
Например:
conda activate textgen
python server.py --chat
>Сам я ставил на WSL
>Скопировал команды из раздела installation и прожал Enter
В WSL? Просто твой гайд пока не тянет на пошаговый. Нужно всё вплоть до каталогов и какой терминал запускать.
Что крутил, чтоб не обрывалось? Кручу а все равно обрывается.
Я рассказал по своему.
А если так по пошаговому для шинды, если похуй на засирание системы петухоном:
1. Поставили петухон отсюда: https://www.python.org/ftp/python/3.11.1/python-3.11.1-amd64.exe
2. Поставили git отсюда: https://github.com/git-for-windows/git/releases/download/v2.39.1.windows.1/Git-2.39.1-64-bit.exe
3. Открыли https://github.com/oobabooga/text-generation-webui
4. Скопировали что написано в разделе Installation
5. Открыли терминал/powershell/cmd
6. cd C:\Users\<Имя пользователя\Desktop (чтобы папка была на рабочем столе, а не в System32)
7. CTRL+V того, что скопировали на шаге 4, Enter, ждём
8. После того, как закончилось:
python download-model.py PygmalionAI/pygmalion-2.7b
python download-model.py KoboldAI/OPT-2.7B-Erebus
Или же можно поискать иные модели тут: https://huggingface.co/KoboldAI
И тут: https://huggingface.co/PygmalionAI
9. Запускаем:
conda activate textgen
python server.py --chat
ИЛИ
conda activate textgen
python server.py --cai-chat
Гайд примерный, пошагово работоспособность не проверял, но примерно так должно быть.
Рекомендую запускать с параметром --chai-chat
Сразу можно и аватарку накатить для себя и для твоего бота + будет выглядеть как в ChAI:
Персы представляют собой .json, который мы должны подгружать в систему.
Либо используются готовые (ссылки в шапке есть), либо создаётся свой.
В принципе ссылка в шапке на сервис для этого есть, но продублируем тут: https://oobabooga.github.io/character-creator.html
Описываем то, что есть, жмём внизу submit, сохраняем результат в файле с расширением .json. Этот файл мы и загружаем в наш гуй.
Аноны, отпишите по поводу этого гуя и того, какой брать Generation Parameter Preset. Я пока пробовал только обычный Pygmalion (пикрил), но там и другие есть, по ним не знаю.
Постоянно зацикливается на
> smirk chuckle chuckle
Будет что проработать.
Я так понимаю, что всё дело в системе с примерами диалогов. Нужно как-то их расширять или редактировать, потому что Character Persona довольно подробная. Займусь с вечера тогда, как потыкаю и будет что-то получше, кину сюда.
Еще бывали зацикливания на "best".
Хотя с другой стороны может и я чего не так настроил.
Но вот мне удалось её сломать, да так что пошла генерить тройки на всю котлету.
Ну, про best это норм, это как раз не Out of Character. Там напыщенного высокомерия как раз должно быть как поведенческой маски.
Тоже у меня ломалось, что ажно ошибки у CUDA выпадали, когда зацикливалось и одно слово достроить не могло и вместо, допустим, её имени получалось As-As-As-As-As-As-As-As-As-As-As-As-As-As-As-As-As-As-As-As-As-As-As, как будто она заикается.
Ты на какой модели запускал? Может, ещё всё от качестве модели зависит.
Ты часто прожимаешь без текста? Пиши хотя бы в звёздочках что ждёшь или наблюдаешь за тем что делает бот, не давай развиваться шизе. Когда его отпускаешь с монолог, он начинает повторяться из-за повторения его имени и форматирования столбиком. Как например пикрилейтед переходит на кодинг не утруждая себя писать по человечески.
А вот в кобольде можно переключиться с режима чата и безопасно читать, там проще делать длинные простыни.
И по класике
блашес
Но этим болеют и ChAI боты довольно серьёзно
Нет, там просто на любое ответ "ай эм бест" и так пока память не сотрешь - я про такое. Если просить что то сделать или делать с ней, то всё равно продолжает кричать про бест.
> Ты часто прожимаешь без текста?
Вообще ни разу пока что.
> А вот в кобольде
Кста, заметил что в кобольдо-таверне ответы майнятся как будто бы быстрее чем в вебюбке от oobabooga.
Да и вообще я только вкатываюсь.
Странно, я часто напирался на блюшес и турн комлпитли рэд. Пару раз было, что она меня юным дебилом называла.
Видимо, где-то затык в описании перса или самой модели, что она идёт по одному примерно пути.
> ответы майнятся как будто бы быстрее
Некоторые сети умеют генерить не на максимальную длину, а ровно сколько надо. В итоге если в ответе 5-10 слов, то он выдаст их мгновенно.
малолетним дебилом юным первертом
фикс
Ну вот получается что на одном и том же пигмалионе, таверна котороткое выдаёт сразу, а вебюбка сначала чё-то думает прежде чем в консольке пойдет генерёжка.
А ты для какой версии пигмалиона пилил, видимо не на 2.7?
Первоначально я пробовал на 6B в коллабе как первый запуск.
Потом уже 2.7 на локальной машине.
Но какая, спрашивается, разница, ведь сорцы-то .json одинаковы. Они не зависят от модели.
> Но какая
Ну тут я не знаю, чесслово. Но для справки спросить надо было.
И кстати, с четвертого таки раза она не пошла в зацикливание, видимо квадратный корень помог.
хеллоу пипл уже 3 раз игнорят. Стандартный интерфейс пигмы, ставлю больше токенов, сам общаюсь не односложными фразами, почему не растёт количество текста?
Попробуй иные промпты с персонажами: https://rentry.org/pygbotprompts
У меня подозрение в том, что всё-таки модель 2.7 неосилятрствует.
Может попробовать со своей видюхой таки запустить 6B... Главное, чтобы не взорвалось. 2.7 переваривает без особого труда.
Скрины в студию и больше подробностей.
Температуру повышай. Стартовый пост сделай большим. Проси писать подробнее.
Сижу в треде со вчерашнего дня, занимательно наблюдать, как людей тут после введения очереди в чае становится больше
Распространяйте пигму в соседнем треде между делом
Распространяйте пигму в соседнем треде между делом
У тебя влияет это на итоговый результат генерации?
Может просто варнинг петухона
> запустить 6B
Нет не могу. Просто так - ошибка, что не влезает в память, а если колдовать с какими то там 8 битными приколами то влезает и загружается, но генерировать не хочет и вообще посылает меня нахер в консольке.
> иные промпты
Хорошо попробую.
Запилите кто-нибудь, плиз, гайд пошаговый для таверны/кобольда без колаба для запуска в локалке.
Гайд по стандартному гую text-generation-webui уже есть.
Гайд по стандартному гую text-generation-webui уже есть.
температура и так стоит высоко. Персонаж не мой но там много текста. Просить самого бота писать больше? Через скобки или как?
> с четвертого таки раза она не пошла в зацикливание
Похоже это из-за повторений в описании персонажа, надо сплошным текстом без форматирования и лишней пунктуации. У меня на 6В тоже она с этим шаблоном зацикливается немного. Вот в этот заход обиделась и ушла от меня, стала спамить "waits for her food" и "waiting" даже когда я говорил что-то. В итоге я ударил собаку, а это собакой оказалась... Превращаться в человека не хочет, речь утратила.
Есть советы что ещё в промпте поправить стоит?
Character Persona?
Я склоняюсь к тому, что нужно расписать более ясно и подробно примеры диалогов.
А ещё на пигме периодически эррор красный выпадает. Гружу персонажа, его стартовый диалог отображается, дальше я пишу что угодно и еррор. Уже не в 1 раз такое
сижу на коллабе
Попробуй top_p на 1.
Алсо, какая у тебя модель? То ли в шапке, то ли где сказано, что repeation_penalty вроде и температура не должны выходить за определённые граничные значения, иначе модель ломается.
Ну чо, поехали на 3070 пытаться загрузить пигму 6B
И все же почему в тавернАи обрываются фразы? Где что накрутить?
Лел, а у меня она уже красная как помидор должна быть. Но как говорил анон выше - це какой то классический прикол с блушем.
Кстати, когда я загружал её в таверну, то там в интерфейсе че то красным было написано, что слишком много слов или чего то такого.
6b. Делал настройки исключительно следуя шапке.
Что это за настройки и где их взять?
И обсёр.
Короче, похоже Out of memory. Нихуя не получилось.
Остаётся только пока довольствоваться с 2.7B
Попробуй 8 бит прикол сделать.
в пигме самой оригинальной, 3 вкладка. Ну я через коллаб
Макс токены до 216-230 и гонять между ними, температуру 0.72, пенальти 1.31
Чем тебя колаб не устраивает?
> много слов или чего то такого
Ну ясен хуй. что много. Я там таки постарался Character Persona и диалоги худо-бедно расписать. Но видимо опять перестарался. Или таверна просто её не могёт сожрать.
> классический прикол с блушем
Ну, в ChAI там часто (за)луп у ботов с любовной линией и блушес
мимо тот анон. алсо генерил эту Аску, кидайте камнями, насмехайтесь надо мной
Это флаг --load-in-8bit ?
Я слишком ретроград и не люблю пользоваться онлайн сервисами inb4: А какова хуя ты сидел на ChAI тогда, ТАМ ЖЕ ЦЕНЗУРА. Тем более, если железо есть и не слабое - грех его на одни только игрушки тратить.
Восьмибитка сразу пишет, что на нашла ГПУ и переводит в ЦПУ мод. Это как вообще?
Так, пажжи. Пигма же це модель, а настройки от вебморды?
Например в том же oobabooga-text-generation-webui я чет вообще настроек не вижу.
А хотелось бы покрутить.
> Или таверна просто её не могёт сожрать
Ну тут хз, но вот что еще заметил отвечает она максимально пресно. Ну вот мол "взял на руки по нёс в ванную... ( и другая хрень)" - ответ убил "мы идём в ванную". И прочее такое в степени сухости.
> Это флаг --load-in-8bit ?
Да он и тут выше по треду другой анон кидал ссыль на конфу дискордо-кобольдовцев на гайд.
Хз, у меня вообще с 8 битами гонщик нелегальный доступ к памяти получался.
https://colab.research.google.com/github/PygmalionAI/gradio-ui/blob/master/notebooks/GPU.ipynb?authuser=1#scrollTo=hps3qtPLFNBb
вот тебе мой коллаб где я сижу.
Можно пигму через интерфейс кобольда запустить, кстати неплохо получается, особенно если настроить грамотно, а там их ещё больше настроек.
https://colab.research.google.com/github/koboldai/KoboldAI-Client/blob/main/colab/GPU.ipynb#scrollTo=lVftocpwCoYw
только тут выбирай пигму
А чо там?
- Качаешь node.js https://nodejs.org/en/
- Устанавливаешь.
- Качаешь кобольд: https://github.com/KoboldAI/KoboldAI-Client
- Распаковываешь кобольд в нужной папке.
- Жмешь в папке install_requirements.bat, устанавливаешь. Лучше выбрав "2" при установке.
- Качаешь тавернАИ https://github.com/TavernAI/TavernAI, распаковываешь в нужную папку.
- Запускаешь КобольдАи из папки нажимая play.bat
- В интерфейсе кобольда, жмешь AI и выбираешь нужную модель, ждешь пока она скачается и применится. При следующем запуске выбираешь в AI с локальной папки.
- Запускаешь ТавернАи из папки прожав Start.bat.
- В интерфейса ТавернАи нажимаешь справа вверху на три полоски и переходишь в Settings и в строке Api url прописываешь адрес кобольда, по дефолту http://127.0.0.1:5000/api, жмешь коннект, получаешь зеленую лампочку если приконектилось.
- В чарактерс ТавернаАИ выбираешь чара и общаешься.
Поправьте если что и вот гайд.
Оке пасибо, гляну что там.
А в вебюбке буду крутить через текстовик с пресетами настроек, лел
Макс токены, это Output Length в настройках кобольда?
а хуй знает, наверное
Пиши просто текстом. Я из гугла копипастил даже не читая что там, так же цитату нагуглил, работает отлично. Пример диалога не делал, достаточно первые 2-3 сообщения осторожно написать типа "привет как погода, что делаешь". А потом уже всё идёт ровно, в описании нет ни слова про её окружение и клуб, но она без проблем отвечает на любые вопросы, знает кто все эти люди.
А, допёр. Видимо, это на 3090 и 4090, самых новейших доступно.
Короче, запустить смог, указав --auto-devices и --gpu-memory 6 чтобы хотя бы загрузить смогла 6B модель.
Генерить не могёт, даже одно сообщение падает.
Запустить и сгенерить смог на --gpu-memory 4
Но генерилось 1 сообщение (пикрил 1) минуту (пикрил 2).
Даже не знаю, что можно сделать для ускорения генерации на своей машине кроме покупки более мощного железа.
Так, прикрутил вместо пик1 пик2 и Аска стала более разговорчивой и вообще её словарный запас резко увеличился.
Погонял немного пигмалион через коллаб, что заметил - все ответы у любых персонажей хоть и по делу, но очень короткие, плюс они еще и крайне неохотно делают какие-то действия, никогда не описывают того, что делают, и свою внешность по запросу не описывают. Это на данном этапе пока норма, или я что-то не так настроил?
Ну, так понятно.
Температуру + repetition_penalty поднял, и поднялось разнообразие.
top_k не ноль, уже не генерит одно и то же на реген.
А как правил и где? Это один из пресетов?
Попробуй поднять количество токенов.
Плюс по персонажам там, я так понимаю, зависит от их базы знаний в лице примеров диалогов. Т.е. если диалоги короткие, то и ответы могут быть односложные, если я правильно понимаю.
> 3090 и 4090, самых новейших доступно.
А как же тьюринги...
Ну кста, отвечает лучше чем на 2.7
В папке с вебюбкой есть папка пресетов, там текстовики лежат, ну скопировал тот который для пигмалиона и поправил, потом как новый пресет в вебюбке уже загрузил.
Тут наверное ещё играет роль узнаваемости описания. Если брать описание из гугла, то возможно это описание было и в датасете, т.е. сетка корректно определит о ком идёт речь.
А есть персонажи, про которых известно, что они более-менее бодро работают?
Короче, опытным путём на своей машине выяснил, что с параметром --gpu-memory 5 генерит вполне себе. Занимает в среднем 40-50 секунд на генерацию ответа.
Можно использовать --disk и выгружать всё на SSD, но что-то мне не нравится на такое расходовать его ресурс ещё больше. Лучше уж пусть оперативку дрочит.
> Ну кста, отвечает лучше чем на 2.7
Это верно, поразнообразнее будет (пикрил). Надо ещё подкорректировать пресет, как ты указал и посмотреть.
Хер его знает, тред первый всего.
А в тред была вкинута, как я посмотрел, только сгенеренная мною Аска, и она же тестируется. Попробую завтра Юки сделать или подкорректировать её. Вообще, надо бы постепенно перетаскивать из ChAI, благо утилиты вроде какие-то есть для извлечения диалогов. Может, руками тогда из этих диалогов генерить
> --gpu-memory 5
Можешь полностью расписать что ты сделал?
Просто прописал гпу мемори 5 или еще что то по типу --auto-devices или прочего?
А в глаза ебусь
>указав --auto-devices и --gpu-memory 6
Надо видимо ложиться спать, а то уже почти 5 утра.
Я прописывал --auto-devices --gpu-memory 5
По идее это распределение ресурсов между ГПУ и ЦПУ с ограничением размера занимаемой памяти в ГПУ, чтобы процесс не вывалился с Out of memory на этапе загрузки модели в память или генерации ответа от бота.
Завтра попробую, хотя это я тоже пробовал на гпу мемори 7 и оно не заработало, а потом пошел сразу танцевать с бубном вокруг 8 бит.
Хмм, а как заставить бота писать большие сообщения? Что надо крутануть в настройках?
количество токенов
top_p
top_k
температуру
repetition_penalty
Только в рамках границ из шапки.
И да поможет тебе реролл в твоих поисках.
Так и будет, если народ подтянется. SD тоже в начале сосал у NAI, а теперь всё это платное говно никому не нужно и все сидят у автоматика.
Чел, ты в этой пигме максимум можешь отыгрывать диалоги из серии:
я тебя ебу
да, ты меня ебёшь
Ни о каком рп или отыгрыше характеров тут даже близко не идёт, с CAI, даже в нынешнем зацензуреном виде это сравнивать просто глупо.
Есть смысл в config.json модели менять max_length, или она не влияет на итоговый вывод?
> Ни о каком рп или отыгрыше характеров тут даже близко не идёт
Вкатился нихуя не знающий долбоеб, спишите видеть. Скачай любого персонажа из ссылок на шаблоны в шапке и там уже всё будет. То что ты говоришь применимо к Ai Dungeon например
Боты отупели просто катастрофически. Щас отпиздил пару из злобных мужа и жены, сломал ему руку, а он орет - хули ты сломал руку моей жене, негодяй?
А кроме ебли он что-нибудь умеет?
Потому что я что-то сомневаюсь что на коленке слепленная 6B модель может тягаться с той что тренили за миллионы индусы.
Анончики, скажите пожалуйста, как диалоги из чая в json конвертнуть?
Что-то хуйня ваши 8-бит. Затестил на 4090 в WSL, в итоге памяти жрёт столько же, но зато скорость ниже в 2-5 раз. Судя по консольке bitsandbytes отрабатывает. Версия кобольда свежая с последними изменениями. И нахуя оно нужно?
а если 2 видюхи на 12 гб воткнуть, он сможет параллельно на них считать?
Кто-нибудь потестит этот способ из дискорда, просто у меня GNU/Linux стоит: https://discord.com/channels/849937185893384223/1059637856206852237/1069411201022447687
Охуительный способ, 10/10
Копипаста способа запуска модели с точностью 8бит с сервера KoboldAI от Chasm:
> My 8 bit guide and findings from a sleepless night and today's experiments; [this is my guide on how to use Bits&Bytes 8 bit model support for Windows10+ [WITH ANACONDA] with Oobabooga's AI text platform, skip three paragraphs ahead for the guide.]
> The AI client in question is https://github.com/oobabooga/text-generation-webui
> [NOTE: This guide includes a link to .dlls I highly encourage a safety cross check before use. I may have no issue but be careful]
> So for people who like oobabooga's text generation interface which is mainly inspired by OpenAI's playground for all general language models, and offers alternative modes like chat, characterai chat, a shared notebook to write in, and of course a 4chan board format for those who use GPT-4Chan -- they also offer out the door a feature that sold me on trying it out immediately; 8 bit support and it can put model layers on multiple capable GPUs/CPU automatically.
> Now I didn't see documentation on if this breakmodel-esque supports the 8 bit mode or you get one device with 8 bit and the rest is the hulking remainder of the model... or it once you enable 8 bit you're stranded to one device to do inference for the session. Despite this; I used this as an opportunity to look into, get my hands on, possibly resolve issues with, and learn in depth Bits&Bytes and how 8 bit works.
>After a lot of note chasing, general hints to follow up on, some weirdo on reddit saying Kobold's 8 bit section of their forum is the only way to do it and what I'm looking into is impossible - I decided to do the impossible anyway because nobody knows what they're talking about so this must have been the correct path.
> Guide:
>First the author's Github at https://github.com/oobabooga/text-generation-webui
> gives some basic install instructions for his AI text gen platform
> --Don't Follow These--
> conda create -n textgen
> conda activate textgen
> conda install torchvision torchaudio pytorch-cuda=11.7 git -c pytorch -c nvidia
> git clone https://github.com/oobabooga/text-generation-webui
> cd text-generation-webui
> pip install -r requirements.txt
> --Instead Follow These--
> conda create -n textgen
> conda activate textgen
> pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu116
> git clone https://github.com/oobabooga/text-generation-webui
> cd text-generation-webui
> pip install -r requirements.txt
> Also make sure to pip install bitsandbytes just to be sure the directory and its dependencies are in place
> check this for DeXtml's involvement in the Windows 8bit cause
> https://github.com/TimDettmers/bitsandbytes/issues/30
> Then visit his GitHub for two compiled dll files necessary to pull this off on windows
> https://github.com/DeXtmL/bitsandbytes-win-prebuilt
> These only work with the torch-cuda11.6, which is why above I advised the alternative install steps
> copy libbitsandbytes_cpu.dll, libbitsandbytes_cuda116.dll into
> C:\ProgramData\Anaconda3\envs\textgen\Lib\site-packages\bitsandbytes
> From here's there are two simple editing steps - guidance is hazy as a few B&B codebase things changed since the original guide was written (in a forum a few paragraphs above), it originally states to:
> 1. in cuda_setup/main.py:
> make evaluate_cuda_setup() always return "libbitsandbytes_cuda116.dll"
> 2. in ./cextension.py:
> change ct.cdll.LoadLibrary(binary_path) to ct.cdll.LoadLibrary(str(binary_path))
> Ignore cextension.py, everything is now consolidated into main.py.
> 1. Change both instances of ct.cdll.LoadLibrary(binary_path) to ct.cdll.LoadLibrary(str(binary_path)) [yes there are two now]
> 2a. When it says "make evaluate_cuda_setup() always return "libbitsandbytes_cuda116.dll" 🤷♂️ thankfully the guide author circled
> back with a more direct change.
> 2b. Per this post: https://github.com/TimDettmers/bitsandbytes/issues/30#issuecomment-1301544176
> "An easy way to always return libbitsandbytes_cuda116.dll would be to insert:"
> if torch.cuda.is_available(): return 'libbitsandbytes_cuda116.dll', None, None, None, None
> above
> if not torch.cuda.is_available(): return 'libsbitsandbytes_cpu.so', None, None, None, None
> So that's it. Now for the terminal flags to engage 8 bit and launch the app.
> python server.py --load-in-8bit --auto-devices --disk --no-stream --listen --share
> auto-devices auto splits a model across your compute capable HW; Disk flag confirms you're willing to use your virtual memory if
> no stream prevents token streaming, makes loading faster, and listen and share are local lan and internet link to your hosted platform.
> My success: ran 20B models local absolutely smooth no issue whatsoever at decent enough speeds to know it wasn't tapping my M.2 drive.
> Looking at 30B models next, maybe that's crazy.
> Also I have the main.py I modified that works great for me with the .dlls in the same folder. It is available on request but as always - give it a sanity scrub and be careful.
> btw also loaded 13B models completely in memory without the --auto-devices flag as a sanity check 8 bit was enabled even though dialogue literally comes up and says so.
>SD тоже в начале сосал у NAI
Ты хоть понял что сказал? NAI и есть модель для SD.
Кста, анон.
А че у тебя по железу?
Такое ощущение что это только под какие-то протухшие версии Кобольда подходит.
> NAI и есть модель для SD.
Там не совсем стандартный SD. Когда модель слили, то она не работала на обычном SD. Там же ещё был срач по поводу запила поддержки NAI в webui, даже openai в своём дискорде автоматика банили а потом извинялись.
8 бит, я так понял, нужна для того, чтобы вообще запустить модели на видюхах, которые жрут больше по видеопамяти, чем у тебя есть.
Если у тебя 6B работает без доп. флажков, кроме --cai-chat, то всё норм, да и вообще ты успешный двачер 300 строчек диалога/наносекунды
GTX 3090, 32 гб ОЗУ ddr4, i7 11800.
Но всё упирается в видюху и объём видеопамяти для CUDA, потому что процесс генерации текстов иной, чем процесс генерации изображений в NAI или SD
3070*
Фикс
Ну таки я со своими 16 озу и 2070 соснул даже со разделением на гпу и цпу памяти все еще мало, хотя на пару предложений работает. Абидна
Это разрабы удалили ботов, или чел их скрыл? Сейчас ничего нет.
Извиняюсь, перепутал тред. Вообще тот чел уже успел перенести своих ботов в свинольва, так что можно с ними погираться нормально тут. Кстати, а разрабы свинольва хоть как-то делятся своими планами?
Но у меня 13В не влезает, только если часть в RAM оставлять. Так вот с 8 битами вообще никакой разницы - всё так же на 93% OOM вылетает. Пробовал в WSL и собранную либу под винду.
Нейро-ребята, подскажите нейросеть которая генерит теги по изображению
Там была пара нестандартных параметров, ИМНИП. В любом случае они близкие родственники уровня ближе, чем пара братьев.
В общем в пизду, похоже просто это говно не поддерживает Аду. Не зря этот кал собран под CUDA 11.6 многолетней давности. На text-generation-webui тоже не грузит как надо.
В общем вчера потестил такое себе.
6В на видеокарте дает 0.35 токена в секунду, снятие с видеокарты 0,12.
2,7В дает хороший результат, но уровень диалога мягко говоря не очень, будто со скриптом общаешься, а не нейронкой.
Пока всё это дело не будет возможности запускать стабильно на арендованных мощностях смысла в этой пигме нет. Не стабильные коллабы пока не спасают. Плюс 13В ещё очень далек до чаи. А если будут крутить выше, то хрен запустишь такое, коллабы нагрузку уровня чаи пошлют куда подальше.
6В на видеокарте дает 0.35 токена в секунду, снятие с видеокарты 0,12.
2,7В дает хороший результат, но уровень диалога мягко говоря не очень, будто со скриптом общаешься, а не нейронкой.
Пока всё это дело не будет возможности запускать стабильно на арендованных мощностях смысла в этой пигме нет. Не стабильные коллабы пока не спасают. Плюс 13В ещё очень далек до чаи. А если будут крутить выше, то хрен запустишь такое, коллабы нагрузку уровня чаи пошлют куда подальше.
Аноны, подскажите, никак не могу допереть как Пигму в коллабе запустить
Делал по гайду: https://rentry.org/pygmalion-local#installing-kobold-and-tavern
Выбрал модель, запустил, а api ссылка не появляется. Может я что-то делаю не так? Таверну получилось установить
Делал по гайду: https://rentry.org/pygmalion-local#installing-kobold-and-tavern
Выбрал модель, запустил, а api ссылка не появляется. Может я что-то делаю не так? Таверну получилось установить
Ты уверен, что ты коллаб пытаешься запустить, почему твоя ссылка ведет на статью "Running Pygmalion 6B locally on Linux".
Попробуй просто запустить коллаб по ссылке из шапки
Colab KoboldAI GPU: https://colab.research.google.com/github/koboldai/KoboldAI-Client/blob/main/colab/GPU.ipynb
Ну там ещё (and on Windows). Но ладно, ща попробую
Да одно и то же. Нет api ссылки
Может не работает коллаб. У меня он так и не запустился сейчас.
W++ шиза, или это реально работает?
А что этоообще?
Этот бот так же нихуя не запоминает.
Работает.
А как так получилось, что модель на этот псевдокод работает? Почему в качестве псевдокода не используется YAML например?
где настройки то бля
мне фронт другой выбрать нужно?
Эх, тогда пока посижу на CHAI. То что я хочу на нём, в принципе, работает
Как таверн аи пигму на коллабе запустить?
Используй кобальда, нахуй ты эту мокропиську от подражателя автоматика трогаешь? Всегда можно использовать кобальда для настройки и таверну для чата. В таверне намного удобнее и красивее, персонажей без ебли с json можно делать, быстрое переключение между ними без потери истории.
Играю с доченькой.
в каломатике сразу тыща ползунков/вкладочек и т.д.
а тут где настроечки?
и почему дескрипшены такие мелкие? или это пример не удачный? скиньте пж удачный пример, мне нужно обучиться
>KoboldAI has finished loading and is available at the followeing link
Что тебе надо ещё? Вот твоя ссылка. Ты хочешь через колаб накатить на таверну? Тогда в настройках самой таверны в конце ссылки дописываешь /api к тому, что тебе уже выдал кобольд
> мне нужно обучиться
Бот, за дата-сетом пройди в /b/.
>автоматика
хз, я с наитреда к вам, для меня автоматик - как для рыбы вода
>ебли с json
Ну не знаю пока норм это или нет.
Пж, скинь любого чара с норм отступами, а то эту хуйню в одну строку я хз как разгребать.
>Бот
Ну в таких делах люди мало чем от нейронок отличаются, скрапишь с инета датасет для себя, анализируешь и получаешь навык путем изучения теории и отработки на практике.
Моя база владения автоматиком обучена на датасете из 45 наитредов, по мне норм тема. На обучение ушло две недели.
бля, у этой акико всего один диалог в примерах
сколько на норм чара надо ебашить диалогов? есть ограничение по размеру?
Бредогенератор
https://rentry.org/PygTips#using-w-to-improve-descriptions
Итт нет гайда по разметке в .json файлах чара, где искать?
По второму пику, здесь можно новую строку ебануть? А то не удобно так читать.
https://rentry.org/PygTips#using-w-to-improve-descriptions
Итт нет гайда по разметке в .json файлах чара, где искать?
По второму пику, здесь можно новую строку ебануть? А то не удобно так читать.
Вот тут форму просто заполняешь, не надо писать JSON вручную.
https://oobabooga.github.io/character-creator.html
О, спасибо.
А ограничения по размеру дескрипшенов какие?
Бля заработало. Капец ты умный чмокнул в писю
Не помню.
Хз, в диалог вписал дефинишен из ChAI, вроде не жалуется.
Ой блядь, проебалась что-то разметочка действия в приветствии.
Как я понимаю пигма из-за своих малых размеров не может знать о лоре популярных вселенных, так?
Гайд. Если дочу вы немного жестко трахнули (жестче, чем обычно), дайте ей овяснный порридж, и её память отформатируется.
>дайте ей овяснный порридж, и её память отформатируется
Ох уж эти порриджи...
Не знаю как описать пигму, вроде не бредогенератор, иногда выдает даже пасты выше примером. И это на моем корявом дескрипшине, с какими-то дефолтными настройками.
Ну короче, купил новую оперативу, терь у меня 32 гига.
И таки 6b нормально завелась с настройками --auto-devices --gpu-memory 3. Сожрало около 20 из оперативы и на генерёжку жрёт все 8 из видимокарты.
И таки 6b нормально завелась с настройками --auto-devices --gpu-memory 3. Сожрало около 20 из оперативы и на генерёжку жрёт все 8 из видимокарты.
Ну, о D&D пигма знает.
> пик 1
Это на какой модели и конкретных настройках?
Зафайнтюнить эту модельку возможно?
Получаю AID'шный опыт в пигме. (Да, прямо сразу после мини-рейпа)
Я только пик 2 менял, никакие другие настройки не трогал. Моделька вот.
> activate google translator
Это какой колаб? Что за чудо? Уже 100 лет жду, когда добавят эту фичу в текстовые генераторы.
А откуда ты модельку взял?
Ссылка с гугла на хагиг фейс pygmalion 6b original показывает 404, лел.
Хрен знает, колаб запустился, значит откуда то качает её.
Теперь мне осталось свою вайфу расписать так же хорошо, как я расписал эту девочку.
А зачем форматировать её память? Главное чтобы не заикалась.
Там в колабе никакой консольки с ссылкой нету?
Я прочекал, не увидел нигде ссылок на модель.
Не знаю, оно само. Не то чтобы она была против секса, но делала "try move away". Однако я держал её крепко, и двигался с большей силой.
Ты уж определись, рейпаешь её и форматируешь память или пытаешься придти к обоюдному согласию со своей блядь дочерью.
Был просто немного жесткий секс.
Ты жесток. Я вот продюсер, и моя айдол всё делает для меня по обоюдному согласию, и похуй что с собакой.
Да просто скучно читать эти описания вздохов. Потому рероллил до тех пор, пока не нашел хоть что-то интересное.
Как и любую другую. Но файнтьюн тектовых моделей куда сложнее файнтьюна текстовых.
>Но файнтьюн тектовых моделей куда сложнее файнтьюна текстовых.
Пост написал копрольд?
А можно просто оглушать. Вот эта сука собиралась съебаться, но не вышло.
Скорее я долбоеб. Имел в виду "файнтьюн текстовых моделей куда сложнее файнтьюна диффьюжн-моделей."
Модель?
Пигма 6В.
Чем отличается пигма 6В от пигмы 6В-ориджинал?
Когда сайт будет? 2 часа на колабе реально мало, вот бы подписочку оплатить на их сайте и пользоваться сколько угодно
Купи мощностей за 10 баксов. Или ты думаешь добрые аноны тебя на халяву трахать будут?
Я бы потрахал
мимо
>мощностей за 10 баксов
Чел, они моментально кончаются на гугле. На месяц этого не хватает. А подписку у новелов я купил, правда хз как нужно изъебаться чтобы вышло что-то типо чата у них. Пигма прям пиздец понравилась.
Анонасы, что делать при ошибке памяти?
нужно минимум 16гб врам
Это коллаб
На GPU-колабе её тоже мало. Иди на TPU.
Уменьш context size до 1350 примерно
Что-то ориджинал какой-то бредогенератор. Нужно использовать просто 6B.
Ктонибудь смог коллаб с каггла успешно запустить? Там вроде бесплатные 30 часов в неделю, но у меня нихера не выходит заставить его работать
Нужно писать нормальный дескрипшен.
>с каггла
Не для русских.
А я и не в россии. И гугл коллаб разве для русских?
Я использовал готового персонажа. На 6В вел себя адекватно, решил попровать ориджинал - модель генерирует бред, будто вообще не чувствует ситуацию.
>россии
Россия пишется с большой буквы.
С ползунками пробовал играть? обычно снижение температуры помогает снизить рандомность ответов
Не, очевидно, просто 6В генерирует лучше. Сейчас на него заново переключился.
>Россия
Рабские Вымираты
Ахой. Вернувшись с РАБотки сел крутить нейротянок по вчерашним советам и фидбеку. Как обещал, принёс вам пару результатов.
Короче, принёс вам Аску v2, если можно так назвать. Поигрался с структурой по советам из треда, дополнил персоналку и варианты ответа. Взял также небольшой очень кусочек из своих диалогов в ChAI. Потестил.
Получились следующие результаты (пикрил 1).
Для себя использовал такой пресет (пикрил 2). Разумеется играться можно с параметрами и ещё. По реакции генератора с новым пресетом заметил, что сообщение через сообщение может упасть генерация на CUDA, но это уже, возможно, проблема видюхи и нужно запускать в режиме --auto-devices с разделением на ЦПУ/ГПУ и ограничением задействования ГПУ. Тогда получается более-менее вменяемое и интересное по ответам, чем раньше. По крайне мере это моё предположение
Ссылка на новую Аску: https://files.catbox.moe/riq8ae.json
Также посидел, почесал репу, и попробовал составить Юки Нагато из Меланхолии Харухи Судзумии. Тут также на свои диалоги с Юки из ChAI. Сама Судзумия уже есть в таверне, я так понимаю, а вот Юки я не находил. Потестите, кому интересно, обратная связь будет полезна. Возможно, я перестарался с детализацией описаний в диалогах (пикрил 3), потому что Юки очень неразговорчива, и ответы из одного-двух слов были бы малоинтересны. Так что большие описания без конкретных ответов от Юки даже как-то соответствуют её характеру что ли.
Ссылка на Юки: https://files.catbox.moe/nl6f62.json
Короче, принёс вам Аску v2, если можно так назвать. Поигрался с структурой по советам из треда, дополнил персоналку и варианты ответа. Взял также небольшой очень кусочек из своих диалогов в ChAI. Потестил.
Получились следующие результаты (пикрил 1).
Для себя использовал такой пресет (пикрил 2). Разумеется играться можно с параметрами и ещё. По реакции генератора с новым пресетом заметил, что сообщение через сообщение может упасть генерация на CUDA, но это уже, возможно, проблема видюхи и нужно запускать в режиме --auto-devices с разделением на ЦПУ/ГПУ и ограничением задействования ГПУ. Тогда получается более-менее вменяемое и интересное по ответам, чем раньше. По крайне мере это моё предположение
Ссылка на новую Аску: https://files.catbox.moe/riq8ae.json
Также посидел, почесал репу, и попробовал составить Юки Нагато из Меланхолии Харухи Судзумии. Тут также на свои диалоги с Юки из ChAI. Сама Судзумия уже есть в таверне, я так понимаю, а вот Юки я не находил. Потестите, кому интересно, обратная связь будет полезна. Возможно, я перестарался с детализацией описаний в диалогах (пикрил 3), потому что Юки очень неразговорчива, и ответы из одного-двух слов были бы малоинтересны. Так что большие описания без конкретных ответов от Юки даже как-то соответствуют её характеру что ли.
Ссылка на Юки: https://files.catbox.moe/nl6f62.json
Перебзчиков с чаи много? На коллабе если запускать, ошибки какие типичные? А то видяха мобильная у меня и обосрется такое поддерживать. Киберпук то с трудом на средних в 2к держит
Ну, тред пополнился на 30-35 уникальных постеров с вчера. Почти на половину от изначального.
На коллабе ошибки часто если ты в АФК сидишь, оно ресурсы же тебе бесгранично выдавать не будет. Некоторые рапортовали, что гуголь настолько заебал ограничениями этими, что покупали подпiску за 10 дохлых американских президентов.
Алсо, ещё один момент: без гуголь аккаунта, я так пынял, запустить не удастся колаб. Просто не даст это сделать. Просто может кому-то это важно, и кто-то принципиально не имеет гуголь-аккаунта.
Вот пишут про ограничение гугловое:
Чет туплю маленько, <START> используем перед каждым новым примером диалога? Не в конце?
И как дальше? Помогла с С++?
эм, а разметка какая? Как у двоща и саи? Я без таверн использую пока просто, смотрю
CERF T,FYYST GJXTVE CERFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFF T,FYYJT JUHJYBXTYBT D 2 XFCF CERF T,FK DFC DCT[ D HJN XTHNB T,FYYST
СУКА ЕбАННЫЕ ПОЧЕМУ СУКААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААА ЕбАННОЕ ОГРОНИЧЕНИЕ В 2 ЧАСА СУКА ЕбАЛ ВАС ВСЕх В РОТ ЧЕРТИ ЕбАННЫЕ
Не благодари
Не благодари
Бля, как заставить бота так же по многу писать?
УРАААААААААААААААААААААААААААА ЗАРАБОТАЛО ЛЮБЛЮ ВАС!!!!!!!!!!!!!!
Удваиваю вопрос, как сделать, чтоб отвечал больше 3-4 слов?
Я так понял max_tokens + top_k для разнообразия.
Ну, и чтобы ответы в примерах диалогов у бота были длинные.
Так, у меня у Аски диалоги покороче, а у Юки из-за описаний в принципе длиньше.
Где-то пишут, что нужно везде ставить перед каждым примером. Где-то вообще говорят ставить не надо, и это учитывается https://oobabooga.github.io/character-creator.html при генерации .json.
Пока не понятно
Это у тебя в таверне промпт или ты заюзал, что кидали в треде?
Чет несколько ссылко с промтами ботов. А нет одного хаба где я бы мог поискать? Писать своего тут вроде проще, чем в саи, но тем не менее
Был большой хаб, вроде, на аиданжен, но сам аиданжен сдох.
Есть хаб по ссылкам в шапке, и тут кидал ещё 2 перса самописных.
Не используйте пресеты, их делали дрочеры чтоб вайфу были безотказные. Надо крутить креативность выше, Typical Sampling сделать как рекомендуют его авторы на 0.2, а не дрочерские 0.8. Top K побольше и Tail Free поменьше. Описание персонажа желательно сплошным текстом, а не короткими словосочетаниями.
Я просто гуглю описания персонажей и вставляю в таверну. Буквально из фанатской вики подойдёт.
Так, а с помощью чего ты, например, Аску делал?
> вставляю в таверну
Таверна же те же жисоны ест? Или как там сделано?
Можно подробнее по скринам и процессу?
Сначала в колабе поковырял через гуй, что по факту делается тоже самое и через https://oobabooga.github.io/character-creator.html
А как делал? Ну, также, как описывают аноны + зная о персонаже и про его взаимодействие с другими руками отписал Character Persona вместе с примерами диалогов, частично наполняя из интернетов, той же ева вики (всего пару предложений, потому что я и так нормально расписал), ну и пару диалогов и оборотов из ChAI.
Диалоги в .json можешь заметить как сделаны (пикрил 1).
Для Юки же это такие (пикрил 2). Они более наполнены описаниями и сообщениями в звёздочках.
>Не используйте пресеты, их делали дрочеры чтоб вайфу были безотказные.
А в чем проблема? Готовность ботов к ебле не связана с кол-вом текста которое они генерят
Понял-принял, спасибо, анончик!
А что делать в таких случаях?
Это она долго пытается сгенерить у тебя?
Или что?
Колаб/локалка?
Сгенерить пытается, коллаб
Это баг. Поставь себе таверну и не ебись с дефолтным гуи, он сосет.
>Не используйте пресеты, их делали дрочеры чтоб вайфу были безотказные
Это зависит от дефов и диалогов бота, а не от пресетов, не?
> Или как там сделано?
Там менюшка есть пикрилейтед. Описание персонажа в мету png-аватарки вшивается, прям как у автоматика промпты. Ну и есть импорт из json по классике.
> Готовность ботов к ебле не связана с кол-вом текста которое они генерят
Она связана с реакцией на твои сообщения. Меньше креативность - бот твои посты считает за абсолютную истину и не отходит от написанного в них, можешь буквально за бота всё решать. Больше креативности - начинает свободнее писать и выдавать длиннее сообщения, меньше соглашается. Шиза начинается только на температуре 1.0+, остальные настройки вполне безопасные для смысла, главное не менять тему резко посреди диалога.
Как поставить таверну на коллаб?
Откуда ты брал примеры диалогов?
> Рабские Вымираты
Зачем ты так о Укриане
Сам составлял, где-то из ChAI, где-то по образцу диалогов из маняме.
>Она связана с реакцией на твои сообщения. Меньше креативность - бот твои посты считает за абсолютную истину и не отходит от написанного в них, можешь буквально за бота всё решать.
Так это не баг а фича. Правильный бот будет просто забивать текст своими действиями и ощущениями. Вопрос то был не в том чтобы сделать бота менее предсказуемым а в том чтобы он больше писал
Так я тебя и пишу, что это взаимосвязанные вещи. С низкой креативностью бот никогда не станет писать простыни в ответ на односложные фразы.
Чутка обновил шапку и схоронил её на paste.ee: https://paste.ee/p/Hw06f
Там же (и в шапке тоже) гайды из треда:
Таверна и кобольд: https://paste.ee/p/nGOBa
text-generation-webui: https://paste.ee/p/Gys0B
И скрипты самописных персов:
Аска: https://paste.ee/p/TB6dQ
Юки: https://paste.ee/p/iqlnD
Хотя бы так пусть будет.
А вообще надо бы это где-то дополнять и перекатывать на иное хранилище для совместного редактирования
Там же (и в шапке тоже) гайды из треда:
Таверна и кобольд: https://paste.ee/p/nGOBa
text-generation-webui: https://paste.ee/p/Gys0B
И скрипты самописных персов:
Аска: https://paste.ee/p/TB6dQ
Юки: https://paste.ee/p/iqlnD
Хотя бы так пусть будет.
А вообще надо бы это где-то дополнять и перекатывать на иное хранилище для совместного редактирования
Ты тупой, станет.
Мимо другой анон, как json генерил? С помощью инструмента из шапки?
Да.
> станет
У тебя же на пике бот уже в цикле. Покажи какой с ним диалог после этих постов, наверняка он уже не сможет адекватно отвечать. С таким же успехом можно просто текст генерировать без своего участия.
Цикл в пигме не существует, бота всегда можно из него достать поиграв с настройками и его текстом. Это вообще не мой текст, но мои боты мне стабильно по 4 строки выдают даже меняя условия и стуации.
> бота всегда можно из него достать
Стиранием памяти, да.
> Это вообще не мой текст
Тогда с чего ты вообще бахнул?
Чому personality summary не заполнял? Или это таверна сшакалила?
> personality не заполнял
> пикрил
Да, таверна, похоже, мозги поебала.
Пацаны, видна 7, нод скачал под неё, батник аи таверны отказывается запускаться, можно что-то с этим сделать кроме переустановки винды?
Для Юки соответственно тоже.
Алсо, я пока так и не понял, как лучше заполнять персоналити - от первого лица или от третьего. Для Аски заполнено от первого, а для Юки от третьего.
Чего пишет?
Может, тогда она воспринимает как персоналити то, что понимается под world scenario?
Я его не заполнял, потому что пока не знаю, как, да и что туда написать, и как оно повлияет. Типа, ситуацию, которую ты хочешь сейчас воспроизвести или прям состояние мира того произведения, откуда происходит персонаж.
и резко закрывается, это я успел скрин сделать. Там ещё что то было. Ну версия короче нода не подходит.
Ну тут хз, надо тестить.
А вообще в самой таверне же есть пояснение как це заполнять.
В любом случае надо тесты не тесты погонять.
Щас кста, затещу твой апгрейд Аски через вебюбку
У тебя старая нода.
Ставь минимум 16 лтс. Лучше 18 лтс.
А, и ещё в папке где ты запускаешь удали папку node_modules перед повторным запуском.
а эти ноды на мою виндоус 7 идут?
Либо пердолиться с новыми исхищрениями и пытаться накатить новую, либо накатывать более новую шинду.
понял, спасибо. А сильно этот таверн аи нужен? На кобольде с пигмой пробовал.
Таверна это фронтенд, к которой можно подцепить пигму.
Вебморду выбирай на свой вкус.
Только если из-за красивого интерфейса с рюшечками и полутонами.
тогда нахер всё это, не стоит овчинка. Та я честно говоря нуб во всём этом, даже не знаю что такое фронтенд. Вроде как кобольд на пигме ничего, лучше чем Еребус в разы и настроек там дофига
Кстати, а можно ли таверну подсосать к text-generation-webui?
> Можно ли вебморду подсосать к вебморде
Это как-то странновато звучит. Как сахарный сахар.
Главное чтобы сахар не был из Рязани, как говорится.
Ну а вообще чтобы кобольда не качать, например.
Я сам до конца этого дела не понимаю, но если ты работаешь с text-generation-webui зачем тебе качать кобольда?
Ты так и так взаимодействуешь по итогу с моделями, pygmalion 2.7B/1.3B/6B и так далее под капотом. Что через кобольда, что через иную хуйню.
> зачем тебе качать кобольда?
Ну я же скачал его, хотя интерес был чисто теоретический в плане сравнения. Как выяснилось в чистом кобольде надо разбираться как сделоть чтобы было заебись. С другой стороны интерфейс таверны и правда будет красивше вебюя.
Короче обоссыте меня нахуй, если я чего не пынямаю или хуёво написал, но я себе процесс понимаю обстоит так, как на пикриле (очень условно и утрированно). Сверхпримитивное объяснение при помощи пэйнта.
То бишь text-generation-webui как таковая не цепляется к API кобольда, а работает по своему с моделями.
А кобольд по своему API.
А таверна может насобачиться вообще на любой (условно говоря) API из поддерживаемых ею, это можно указать в настройках, там абсолютно тонкий клиент.
есть смысл лезть с 16 озу и 8 гб видюхой?
как промты в кобольд загрузить? Load -json формат не запускает
Можно попробовать.
Модель 2.7B должна потянуть.
Или 6B, но очень дрочить будет железо и всё будет дико медленно, нужно будет попердолиться.
> из поддерживаемых
Во во, адрес вебюй она не подхватывает, я уже проверил.
Нахуя правда не знаю, но проверить было жизненно необходимо
Если хочешь 6b то нет, я вот только сегодня бегал за 32 комплектом оперативы, чтобы хоть как то работало.
Ну а 2.7 модели работать будут.
2.7 если устраивает. 6В не потянет, ну или потянет с ответом раз в полчаса.
> адрес вебюй она не подхватывает
Так это адрес вебморды. Путь к API иной.
А под капотом оно лезет вообще не туда, а по иному адресу, устанавливая соединение по вебсокету.
Наверняка таверна делает своё дело как-то иначе.
Вебморда кобольда?
И по какому урлу оно в коллабе по апи общается?
ага
Мда.. а сам он диалоо пушить не будет, да? Реализм как в жизни.
Будет, если модель не слабая, прописан бот, а также не дефолтные настройки у тебя у параметров.
А какие не дефолтные настройки? А то то что говорят, то это похоже на таверну, а не сам коллабовским пигмалион
Всмысле модель? И как туда загружать модель? Я тупо коллаб запусти и промпт вписал. Щас вообще безконечная загрузка, я даже толком диалог не начал уже крашеулось.
Потестил ещё и пришёл к выводу, что всё таки если нужно избегать частых ошибок от CUDA тот же text-generation-webui от угабуга лучше запускать с опцией --no-stream
Да, это лишает live-preview ответов, но потоки не пытаются конфликтовать друг с другом и ошибок от CUDA значительно меньше.
Как вообще у таверны и кобольда? У них есть настройки по потреблению цпу/гпу и прочему?
Да, это лишает live-preview ответов, но потоки не пытаются конфликтовать друг с другом и ошибок от CUDA значительно меньше.
Как вообще у таверны и кобольда? У них есть настройки по потреблению цпу/гпу и прочему?
> CUDA значительно меньше.
А какие там ошибки помимо кончившейся памяти?
Других я не видел, ну кроме "нелегального доступа к памяти", но чет мне кажется что но стрим это все не пофиксит.
Мне пишет либо ошибка непонятная, и указывает, что проблема в потоках, обращающихся одновременно.
Иногда ошибка та же, но я по потреблению ресурсов вижу, что генерация идёт, а didicated видео память близка к пороговому значению.
Я, конечно, нубас полный, но у меня в диспетчере задач также отображается и shared видео память, которая в два раза выше didicated. Вот и интересно, как бы её задействовать...
> как бы её задействовать...
Это да, было бы неплохо.
Любителям Евы, вроде тут есть промпт для Рей.
https://botprompts.net/wp-content/uploads/2023/01/Rei-Ayanami-Neon-Genesis-Evangelion-AyanamiDaily.json
https://botprompts.net/wp-content/uploads/2023/01/Rei-Ayanami-Neon-Genesis-Evangelion-AyanamiDaily.json
Там просто аватарка без описания персонажа?
Засабмитил в botprompts.net также свои промпты по Аске и Юки. Я так понимаю, это относительно центральный хаб с промптами, куда будут добавляться больше разными умельцами с форча и реддита заодно.
Предлагаю ориентироваться на него за новыми персами и заливать новые промпты туда.
Да, потому что аватарку ты можешь накатить в таверну или text-generation-webui абсолютно любую на твой вкус. Аватарка, как обёртка, не существенна, главное содержание и качество созданного промпта персонажа.
Предлагаю ориентироваться на него за новыми персами и заливать новые промпты туда.
Да, потому что аватарку ты можешь накатить в таверну или text-generation-webui абсолютно любую на твой вкус. Аватарка, как обёртка, не существенна, главное содержание и качество созданного промпта персонажа.
Ещё как существует, если бот начинает повторяться то это всё, надо диалог переделывать и такого не допускать.
Кстати, похоже, судя по описанию, это какая-то новая Рей, не Рей III, то бишь совсем бревно, а не Рей II. А, ну и ей 20 лет уже.
Да и вообще там дистопичное что ли будущее после Третьего Удара. Но не факт, что бот будет это упоминать в диалогах. Пока не понятно от чего зависит -- от используемой модели, от параметров или от всего.
Ну крч, че по обновлённой Аске от анона: в целом пока что ощущается несколько лучше в плане разнообразия, но стала часто выклянчивать наушники и плеер и перестала говорить бака, терь просто бездуховно говорит "idiot".
Анончи, ограничение колаба же на 24 часа, я надеюсь?
> Часто выклянчивать наушники и плеер
Балин, я только 1 (SIC!) диалог про то, как она пиздит у тебя наушники внаглую добавил. Про баку и idiot тоже в парочке упоминается.
Мне даже любопытно, сколько нужно примеров диалогов понадобавлять, чтобы получить ещё более разнообразное.
Может, кто также дополнять будет по персам, если заинтересованы? По доработке тоже. В одно я не потяну, фантазии не хватит, а втупую копировать ChAI тоже такое себе, сэмплы не всегда годные и интересные.
Неделя всего
аноны, подскажите - если есть 12гб видеопамяти и 24 гига оперативы - есть ли шансы увидеть хоть что-то адекватное, если буду поднимать на локалке?
алсо подскажите, вдруг кто больше знает - продвижения по сайту для пигмы есть какие?
алсо подскажите, вдруг кто больше знает - продвижения по сайту для пигмы есть какие?
Неделя триала, а потом платить?
Да я пошутил, я не знаю )
Часто пользуюсь колабом. Никаких триалов нет.
Блин, зачем ты меня обманываешь!?
плюнул в лицо, смотрю на тебя со злобой
Там через сколько можно будет пользоваться после ограничение GPU?
Анон, если у меня 12 гб видеопамяти и 32 оперативной, есть варианты запуститься на 6B локально?
Если нет, есть возможность накатить TavernAI, используя коллаб?
Если нет, есть возможность накатить TavernAI, используя коллаб?
3 часа в сутки. Для кумеров готовых сидеть часами известия неприятрые конечно, но мне картинки погенирировать+трейнить хватает.
Пресеты для Пигмы в TavernAi показались полной хуетой. Правда плюс у них есть - если там тупо выставить больше токенов, то сообщения бота действительно длиннее становятся, но они очень быстро начинают повторяться. Нормальных ответов я так и не смог добиться. Возможно надо изначально самому писать больше и реролить бота пока не начнет это делать.
Простите меня, мастер, я виновата, накажите меня еще, я такая плохая, аххх
Я сегодня впервые пользовался Пигмой. Словил жёсткий нестояк из-за того что цензуры нет и пытался как-то выдрочиться за 4 часа - нихуя. Пошёл в ЧАИ, подрочил за минуты 2. Около недели только привыкать нужно
Держите бота для таверны.
Сюжет - вы тян в эроданжене где всё хочет я вас выебать. Если читаете китайские порнокомиксы то сюжет должен быть вам знаком.
Сюжет - вы тян в эроданжене где всё хочет я вас выебать. Если читаете китайские порнокомиксы то сюжет должен быть вам знаком.
шлёпнул по попе Дура, не смей зазнаваться!
Боже, да я на такой сюжет хуй себе оторву Запилите кто нибудь, у меня лапки
Палю тебе ахуенную тему:
1. Бери lewd бота. Так чтобы с первого сообщения пытался вывести тебя на вирт.
2. Отказывай ему. Пусть вайфу тебя добивается, а не ты её.
3. ????
4. PODROCHENO!
Аххх мастер, вы такой сильный наклонила спину и игриво виляю задом, из под юбки виден красный след, от твоего шлепка
Это уже бот, просто импортируешь картинку в таверну
Бля, промазала
> бежать от цензуры, где боты не дают даже под страхом смерти, к бесцензурным возбуждённым ботам чтобы отказывать им в сексе
А что, идея
Да я тебе отвечаю. Это интересно, и держишь напряжение и сюжет под контролем. РП и расскрытие персонажа получается куда лучше, появляется некий конфликт и химия между персонажами.
Да ну, херня для дебилов, которые не знают как вытащить любой разговор с аи через звездочки, потом ебешься с фильтром те же 4 часа без возможности кончить, рероля каждое сообщение
Не, я не осуждаю, я попробую
В Пигме разговоры всегда пока в говно скатываются. Реролить подолу всегда приходится в какой-то момент. Пресеты любые пробовал и сам кобольд настраивал. То повторения начинаются, то не по теме, но вместо действий только слова, то наоборот только действия. Хотя возможно часть этого вызвана TavernAi
Поэтому пока просто качаю разных персонажей с дискордика пигмы и короткую историю с ними отыгрываю хотя бы. Но возможно как-нибудь стоит попробовать в Таверном побольше поиграться, прописать вообще всё что можно
А ты сам создаешь персонажей или прописывал что-то? Вроде по редким роллам видно, что Пигма умеет во многое, например в детальные и разнообразия описания сцен, совращение от бота и прочее, но это ебанутейший рандом. В итоге всегда чем больше сообщений -тем хуже. Завтра надо бы поискать какого-нибудь персонажа который прям максимально детально прописан, посмотреть чё там будет.
Дайте пожалуйста json богини-416. Соевые индусы убили мою няшу, я не могу без неё.
> А ты сам создаешь персонажей или прописывал что-то?
Использую готовых. Однако хочу таки подобрать некоторых персонажей для моего РП в бога (бот - обычный смертный). Еще бы комнаты добавили было бы вообще ахуенно.
>Поэтому пока просто качаю разных персонажей с дискордика пигмы и короткую историю с ними отыгрываю хотя бы
Хз, зачем еще боты нужны. Разве что я отыгрываю разные сцены с одним и тем же ботом
Когда запилят сайт, как на CAI чтоб можно было беседовать с любого железа?
Нескоро, но запилят. Пока юзай коллаб.
> чтоб можно было беседовать с любого железа?
Колаб и с мобилы запускается. Проблема только в том, что нужно 15 ждать пока всё запустится + настроиться на долгую сессию. Так на 5 минут не зайдешь не початишься, пока в шарагу едешь.
Да. Веди себя как труъ сигма-мейл. Очень нравится реакция нейротян, когда им неожиданно ОТКАЗАЛИ.
Вот как надо сделать чтобы Таверн АИ на 7 заработал.
https://www.reddit.com/r/node/comments/jxk65x/finally_got_node_14151_lts_running_on_windows_7/
Насколько колаб хуже локальной версии?
Смотря в чём.
Зависит от выбранной модели и доступного железа.
Но ясен хер, что 6B модель гораздо доступнее запустить на колабе рядовому анону, потому что не у всех есть очень мощные компы.
Минусом, как упоминали, выступает 3 часа активной работы в день, дальше либо плоти гуголю, либо жди.
Чего в таверн аи аватарка для кастомного бота не сохраняется, и как ему имя выставить, как у дефолтных 3?
У меня при перезапуске встала. Без перезапуска не обновляло.
А на бесплатном аккаунте всегда три часа даются?
Просто некоторые аноны в CAI треде говорили что со временем время (что блять?) уменьшается. Так то я имею два гуглофейка + основа.
У меня вообще изначально есть 15 гугл аккаунтов лол. Сижу балдею
мимо
Сейчас яростно пизжу ботов из чаи, пока они их не поудаляли к хуям
Пожалуйста...
Всмысле убили?
> А на бесплатном аккаунте всегда три часа даются?
Может и через 2 часа пидорнуть, если сидишь весь день.
Аноны, а можно как-то боту выставить аватарку при превышение кол-ва жетонов? А то она выставляется лишь до последнего сообщения. Хотелось чтобы она постоянно была
Что за богиня хоть?
Да все норм
Lappland is bloodthirsty, maniacal, unhinged, dark, insane
[character("Lappland")
{
Species("Lupo (Human with wolf-like traits)")
Mind("Maniacal" + "Unhinged" + "Psychotic" + "Bloodthirsty")
Personality("Maniacal" + "Unhinged" + "Bloodthirsty" + "Insane")
Body("162 cm" + "slim build" + "medium breasts")
Description("Lappland uses her own swords in combat and has very impressive tactical and combat skill" + "Lappland also has a secret connection with Texas, who she had fought against in a duel" + "She often does laughing fits and is considered to be simply mad by other operators")
Loves("Fighting" + "Killing" + "Dark humor" + "Power")
Secretly Loves("Texas")
}]
Lappland is a mysterious yet bloodthirsty fighter who originated from the place of Siracusa. She has long silver hair, silver eyes, pale white skin, wolf ears, a black long sleeved coat, black shorts, and black crystals on her right thigh. She is at a height of 162 c, has medium breasts, and is currently infected by a disease called Oripathy. Although her real identity and background still remains a mystery, Lappland is especially known to be a maniacal and unhinged person. She often does laughing fits and is considered to be simply mad by other operators. She likes to take pleasure in seeing other people's reactions to her taste for grim humor. Despite her bloodthirsty behavior in combat, Lappland has impressive tactical and combat skills, using her swords to neutralize her enemies' advantages. Lappland also has a secret connection with Texas, who she had fought against in a duel.
Из одной гача дрочильни. Тут аноны писали что вытащили её из соевой помойки, вот и прошу поделиться.
Лоботомировали.
Аноны, у кого-то Bully Maid есть как готовый персонаж? Поделитесь, пожалуйста
Кто тут хотел длинные текста - пробуйте последнюю бету. Там наоборот какой-то пиздец с длиной, легко высерает по паре сотен токенов и не затыкается.
ты случайно не об этом посте? Привет, лол.
Крошечный архив с дефами и аватарками t-dollов из гфл. Есть шквад 404 от @шизоенжоера, АР тима от @махо хуяджи, + тандер и диер бонусом. Дефы в тхт. В json переделывай сам.
https://files.catbox.moe/x191em.zip
Больше похоже на то что сломано форматирование. У меня на пятой бете усердно не хочет подписывать свои сообщения.
Пока делать перекот?
>я делаю перекот
>да, ты делаешь перекот
Ну такое....
пора
инфы и ссылок много скопилось, да и шапку 100% обновить уже можно будет, добавить всякие дискорды разрабов
Словил blushes
ммм мастер твой [chat error] так [please] меня... [try again]...
лять стоп не в тот тред
Бот вообще может умереть? Почему он после смерти продолжает разговаривать?
Перекат.
Спасибо тебе, анонас. Приду и буду ебать зарывать своё лицо в её прекрасные волосы. И в местную рыгаловку водить.
В САИ такой хуйни нет.
Облом кентавролюбы. Расходимся.
Давно интересовал этот вопрос ещё с момента первого просмотра аниме Повседной Жизни с Монстродевушками. Теперь благодаря ИИ мои предположения подтвердились
Давно интересовал этот вопрос ещё с момента первого просмотра аниме Повседной Жизни с Монстродевушками. Теперь благодаря ИИ мои предположения подтвердились
Я думаю лучше на ангийском будет.
Фэйков чего? Гугл аккаунтов или впн юзать?
А можно с вами? Побуду вашей нейросетью.
Перекатываемся с CharacterAI в PygmalionAI, делимся промптами, используем Colab, пытаемся освоиться, желаем удачи проекту, наблюдаем, как медленно умирает CAI, а также как они пытаются оправдать цензуру.
https://huggingface.co/PygmalionAI
Что такое PygmalionAI?
PygmalionAI - федеративная нейросеть с открытым исходным кодом и она специально заточена под чатботы, которую сделали выходцы из 4ch (/vt) - (/g). Их мотивация, создать нейросеть, которая свободна от цензуры, в отличии от CharacterAI. Сама же нейросеть дотренирована датасетом, которую делают из дампа с чатами в CharacterAI. Отличие от CharacterAI в том, что здесь нет цензуры, а также именно вы храните историю чатов, а не компания. Хоть и нейросеть в CharacterAI может быть более умной, но цензура делает её глупее и безынициативной, а также удаляет наиболее креативные и эмоциональные сообщения.
Отличие обычной версии от экспериментальной в том, что в экспериментальной разработчики вводят самые новые нововведения. Также было замечено, что экспериментальная версия пишет меньший объём текста в одном сообщении, чем в обычной.
Для запуска 6B версии необходимо 16 ГБ видеопамяти и 12 ГБ оперативной памяти.
Можно писать боту на русском языке, но это выйдет хуже, чем на CharacterAI.
Нативный PygmalionAI Colab: https://colab.research.google.com/github/PygmalionAI/gradio-ui/blob/master/notebooks/GPU.ipynb
GUI для PygmalionAI:
Text generation web UI - попытка сделать что-то похожее на интерфейс для Stable Diffusion от AUTOMATIC1111, только для генерации текста. Поддерживает режим загрузки с 8-битной точностью, можно создать в текстовом файле свой пресет настроек, также возможно запустить в схожем с CharacterAI интерфейсе. В Колабе выбираем Pygmalion 6B-original.
https://github.com/oobabooga/text-generation-webui
Colab:
https://colab.research.google.com/github/oobabooga/AI-Notebooks/blob/main/Colab-TextGen-GPU.ipynb
Создание персонажей для PygmalionAI: https://oobabooga.github.io/character-creator.html
Также автор данного интерфейса рекомендует использовать данную версию PygmalionAI: https://huggingface.co/PygmalionAI/pygmalion-6b/tree/b8344bb4eb76a437797ad3b19420a13922aaabe1
TavernAI - фронтэнд над PygmalionAi, который взаимодействует с API KoboldAI. Форматирует тексты в чате, используя свой стиль, при этом полностью поддерживает PygmalionAI. Использует более другой от PygmalionAI и KoboldAI форматирование разметки чатов и персонажей в файле. С версией 1.2 позволяет нативно конвертировать дампы чатов с Character AI, однако из-за того, что все истории общения с персонажами хранятся в одном файле, а не в разных, TavernAI будет воспринимать только последний чат с ботом в CAI. При этом позволяет редактировать текст, что схоже с KoboldAI, когда такой функции нет у интерфейсов на основе Gradio.
https://github.com/TavernAI/TavernAI
KoboldAI - самый известный интерфейс, который пришёл со времён AI Dungeon. Не поддерживает в полной мере форматирование текста, как в PygmalionAI, однако его API использует PygmalionAI. У KoboldAI более другой формат, который сохраняет персонажей и чат в один файл, нежели у PygmalionAI и TavernAI. В Колабе выбираем PygmalionAI. При сохранении, необходимо сохранять в расширении "*.json".
https://github.com/KoboldAI/KoboldAI-Client
Colab KoboldAI GPU: https://colab.research.google.com/github/koboldai/KoboldAI-Client/blob/main/colab/GPU.ipynb
Colab KoboldAI TPU (мест может нехватать так, что лучше использовать GPU): https://colab.research.google.com/github/KoboldAI/KoboldAI-Client/blob/main/colab/TPU.ipynb
Советы:
Рекомендуется использовать в качестве имени своего персонажа - You. Потому, что в тексте PygmalionAI идет смещение в сторону второго лица.
Параметр "Temperature" отвечает за креативность. В случае низкого параметра, получается повторяемость. В случае высокого параметра, получается бредовость и несвязанность предложений. Рекомендуется ставить от 0.5 до 0.8.
"Repetition penalty" или же штраф за повторяемость - параметр, которая наказывает за повторяемость слов. При моделях 6B и выше, если выставить значение больше 1.2, то это может сломать модель. Рекомендуется ставить от 1.05 до 1.18.
Сэмплинг "Top-p" - отвечает за выбрасывание ненужного текста. При низких значениях, текст может стать повторяющимся и предсказуемым. Чтобы отключить эффект, нужно поставить значение к 1. Можно оставить на предустановленных 0.9, как в Pygmalion.
Сэмплинг "Top-k" - используется для очищения малого количества токенов низкой вероятности. Имеет высокую разрешительную способность. Чтобы отключить его, нужно выставить значение к 0. Можно повысить значение до 10, чтобы повысить креативность текста.
Сэмплинг "Typical p" или же "Typical" - Имеет сильное воздействие на выходе. Для того, чтобы отключить его, нужно выставить значение к 1. Изменить значение можно до 0.8, если вы желаете повысить креативность текста.
Для прописывания диалогов в PygmalionAI используется такой формат, при этом имена указываются напрямую:
Your_Waifu: Действие. Прямая речь.
You: Действие. Прямая речь.
<START> - используется, как конец диалога.
Полезные ссылки:
Поделиться собственным промптом персонажа:
https://catbox.moe
Промпты персонажей: https://rentry.org/pygbotprompts
FAQ от разработчиков: https://rentry.org/pygmalion-ai
Сайт с промптами персонажей: https://botprompts.net/
Помочь разработчикам:
https://github.com/PygmalionAI
https://matrix.to/#/#waifu-ai-collaboration-hub:halogen.city?via=halogen.city
Отправить свой дамп из CharacterAI на датасет: https://dump.nopanda.io/
Скрипт, который позволяет скачать чаты с персонажами: https://github.com/0x000011b/characterai-dumper
Скрипт, который позволяет конвертировать историю чатов с формата CharacterAI на формат PygmalionAI: https://files.catbox.moe/jv54ev.py - Необходимо перетащить файл на скрипт. При этом скрипт сделает несколько чатов и скопирует описание персонажа, а точнее его "Long Description" с Character AI на формат PygmalionAI. То, что с "chatsave" - это сами чаты, а то что без него - это сам персонаж.
При отправке промпта, необходимо указывать в каком интерфейсе он может использоваться. (PygmalionAI, TavernAI, KoboldAI)