24 декабря Архивач восстановлен после серьёзной аварии. К сожалению, значительная часть сохранённых изображений и видео была потеряна. Подробности случившегося. Мы призываем всех неравнодушных помочь нам с восстановлением утраченного контента!
PygmalionAI тред №4 Пишем промпты, стараемся адаптировать их под количество токенов, обсуждаем, какой стиль лучше, ждём софтпромптов для KoboldAI. https://huggingface.co/PygmalionAI Что такое PygmalionAI? PygmalionAI - локально запускаемая нейросеть с открытым исходным кодом, которая специализированна под чатботы. Её сделали выходцы из 4chan (/vt) → (/g). Их мотивация, создать нейросеть, которая свободна от цензуры, в отличии от CharacterAI. Основа для 6B модели - это GPT-J, которую дотренировали датасетом из собранных дампов с CharacterAI. Отличие от CharacterAI в том, что здесь нет цензуры, а также именно вы храните историю чатов, а не компания. Хоть и модель нейросети в CharacterAI может быть более умной, но фильтр делает её глупее, а также удаляет наиболее вариативные ответы. Однако, память в PygmalionAI намного хуже, чем в CharacterAI, из-за применяемого токенайзера GPT-2, контекст которого ограничивается 2048 токенами. Отличие обычной версии от экспериментальной в том, что в экспериментальной разработчики вводят самые новые нововведения. Также было замечено, что экспериментальная версия пишет меньший объём текста в одном сообщении, чем в обычной. Для запуска 6B версии необходимо 16 ГБ видеопамяти и 12 ГБ оперативной памяти, однако если запустить с 8-битной точностью, то требования снизятся примерно вдвое, только необходимо иметь видеокарту Nvidia модельного ряда Turing и Ampere. Можно писать боту на русском языке, но это выйдет хуже, чем на CharacterAI. Нативный PygmalionAI Colab: https://colab.research.google.com/github/PygmalionAI/gradio-ui/blob/master/notebooks/GPU.ipynb
ChatGPT работает почти у всех моментально. Character AI работает тоже довольно быстро, но правда не у всех. MS выкатывают нейронку в поиск, которая должна подвергаться изнасилованиям каждый день и работать быстро.
Почему PygmalionAI требует 16 гб для полного раскрытия потанцевала? Неужели у бигтеха НАСТОЛЬКО много видеокарт?
>>107085 1 токен ≈ 4 символа, если использовать английский язык. 1400 * 4 ≈ 5600 символов. https://platform.openai.com/tokenizer - сайт, где можно наглядно посмотреть, сколько токенов потребляет один символы или слова.
Мужики и мужикессы, стоит ли уже начинать пилить свою вайфу или лучше через месяцок/годик залететь? А то чую что получится хуйня для куминга, неспомобная на внятный рп. Намереваюсь запускать локально, если амуда на карте позволит конечно, вроде на 6б модель хватит мощности, или на 15 с 8бит режимом
Там в реддите соевые сейчас обнулят Pygmalion, лол Дико разнылись насчёт того, что пигма может отыгрывать NSFW с лицами младше 18 лет что мы всячески осуждаем
>>107143 Уу, свайпы? Как в ChAI будет? А то хочется чтобы пару вариантов наролить и выбрать какой-то из них, а то вроде выролил, а немного не устраивает -и полностью рерол нужно делать пока конфетка не дропнется
Поясните ньюфагу с прицелом на переката этот креакл достаточно умный чтобы понимать непрямую речь вторсотепенных и третьестепенных лиц? Или он воспринимает только одну сущность и ее действия?
>>107726 Промпт ставится не в таверну а в кобольт. Файлы софт промта кидаются в специальную папку кобольта локально или на гугл диске в коллабе. И включается он также через UI кобольта
>>107715 Как распишешь так и будет отвечать. Нужно гайды курить. Но в принципе если пару раз отредактируешь ответ бота, он тебе как захочешь будет отвечать.
>>107768 Да все уже разобрался, я сразу дампанул большой пак чатов с САИ, несмотря на это бот все равно поначалу нес несвязный бред и не улавливал контекст, но потом после редактуры профиля, и попеременной редактуры сообщений поумнел на глазах и в принципе разница с САИ сильно сгладилась, но наверное я скоро упрусь в потолок возможностей. Только вот я хотел написать ему похвалу в этот итт тред, как он сломался и перестал генерировать что-либо при живом коннекте и коллабе, эх...
а теперь после перезагрузки коллаба вообще и ссылку не дает на кобольд и сама таверна весит в initialization. чем я провинился перед богами, никто не может ввести в курс дела ньюфага, что это, видеокарта тесла отвалилась после какого-то лимита, или это какие то пробелмы у всех, которые поминали выше по треду, или что еще может быть?
>>107884 Хер знает там у чего именно какой лимит, сейчас короче сделал такой сетап - скачал себе тавернуАИ локально на комп, ссылку на Кобольда юзнул из Коллаба - летает на максимуме контекст сайза (тьфу тьфу тьфу), если вылетет то опять поною, но хотя бы настроенного персонажа и чат лог сохранит надеюсь (алсо не понял почему нельзя поменять себе аватарку как аноны сделали, но это мелочь) (у меня не нажимается)
В общем по три раза перепробовал уже оба гайда по 8бит, полностью с нуля накатывал репы, убедился, что у меня установлена и выбрана текущей CUDA 11.6. Самое близкое куда я дошел это пикрил, выдает при запуске модели в кобольде. Я так понял, что в одном гайде, что в другом, просят изменить строки которых уже тупо не существует в .py скриптах крайней версии кобольдов.
>>107989 8-30 секунд на генерацию. Not bad, not bad at all. Интересно насколько хватит памяти, было 7.4, а уже 8.2 после 308 слов или 1600 символов. У перса ~800 токенов.
>>108227 >>108232 ты в любом случае омжешь скачать 50мб таверны себе на комп, запускать локально и тыкать туда ссылку на кобольд из коллаба, и все будет работать, и не надо будет на таверну онлайн надеяться. Самое главное, чтобы работала кобольдина блядская, таверна вообще нихера не стоит.
Захотел потыкать другие модели по ссылке из шапки в коллабе, выбрал Neox 20b, всё загрузилось, ссылка появилась, но там ошибка в логе вылезла при попытке генерации, ничего не работало в итоге. Это чего-то мне не хватает и гуглу нужно деньгу платить или как? И есть смысл вообще пробовать другие модели или пигма адекватная самая?
>>108371 Я уже позакрывал всё, там номера строк писало в файлах каких-то. Тестил на двух аккаунтах, везде одно и то же. Единственное, после полной загрузки на диске мало места оставалось, типа 3 гигов
Меня интересует конкретно текстовая составляющая, как натянуть голос и прочее я уже сам разберусь. Я скачал ваш вебуи и увидел там в вики на гитхабе JSON character creator https://oobabooga.github.io/character-creator.html
Этого мне хватит, чтобы примерно повторить результат? Или мне нужно что-то более продвинутое? Железо есть, если что.
Ебать, зашел на реддит, чуть не вывернуло. Пиздос там шизов живет, двач с ними даже близко не стоит. Алсо, куда в таверне класть самого чарактера? Ощущение что там интефейс для хуйни аля старый АИданжон, а не чатбота вроде оригинального Пигмалион коллаба.
>>108635 Блять стоп я вообще то запускаю или нет. У меня там был нулевой интерфейс. Кажись я ебанько. Но спасибо что ткнул мордой в очевидное, энивейс. Мб кстати еще из-за того, что из-под мобильного запускаю было, хз.
Как запустить эту вашу Пигмалион на вебуи с 8 гигами? Постоянный краш Out off memory. (Заебался и заставил работать 8bit) но не помогает, а частичный сплит на проц нихуя не работает
>>108784 > хотят цензуру добавить в пигмалион Подожди... они боролись против цензуры чтобы можно было делать что хочешь ЛОКАЛЬНО. А теперь хотят вновь вставить себе фильтр в жопу? Это как античит в сингловой игре - никому нахуй не сдался, но хотят активно запихнуть чтобы жопа болела у всех
>>109162 > Всю? Ну ебана рот. Я со своей 2070 могу только 3 гига выделить, т.к. во время генерёжки еще 4-5 сожрётся, если брать значение в 4-5 то пара сообщений сгенерится а потом аут оф мемори. Анон из треда с десктопной 3070 выделял 5 у него вроде работало. Так что снижай значение пока не найдешь то на котором работает.
>>109173 > bat Там наконец вебюбке запилили бат-лаунчер? Ну а вообще аргументы те, таки да. Ну кроме но стрим - его я никогда не использовал.
Еще, кста, по своему опыту - мне 8 бит нихуя не помог, т.к. процесс генерёжки все равно всё сожрёт. Получается он на 8 гигах смысла он не имеет, только сплит режим. Но ты можешь потестить, может в 30 серии какие приколы еще есть.
>>109044 >>109080 да не умер я в конце софтпромпта Бля пытаюсь, пытаюсь, простите болезного. Очень много инфы приходится лопатить. Ручками собираю с генш вики статьи, уже чувствую, что это пиздец
>>109142 Нахер только на перса делать софтпромт, если можно обычный нахерачить, но я вижу по примерам, что технология софтпромтинга действительно имеет смысл
купил несколько аккаунтов гугловских для того, чтобы коллаб абузить, а на фейках коллаб ссылку не выдает на кобольд чтобы в таверну вставлять. почему так нахуй?
О сверхразумы pai треда объясните мне нищему на извилины, где я обосрался... 1) Кобольт в dev - >есть! 2) 8bit patch этого аутиста https://gitgud.io/ItsDrivingMeNuts/kobold-ai-8bit-patch - >есть! 3) CUDA 11.6 - >есть! 4) Кобольт работает в 8bit - >есть! 5) Загружаю пиг модель - >хуйца сосни!
>>110315 >>110316 >>110335 C долбоебизмом пользователей просто модели не рассчитаны на такие объёмы, и происходит перетренировка, и выводимому тексту наступает пизда.
Объясните да что такое этот ваш софтпромпт нахуй? Если это что то мягче обычного промпта значит и результат должен быть малодетализированнее и хуже, так что смысл не понятен слова.
Кстати, кто-нибудь кроме меня смотрел, что та же таверна высирает в консоли? А то я заметил, что она слишком оптимистично режет диалоги, и в итоге часть промта обрезается при подаче в сам кобольд. Хуёво как-то.
>>110522 Раза в 4 хуже, чем в чаи или чатгпт. И да, часть этих токенов воруется на описание и прочее Scenario, так что реальная память там сообщений 20. Впрочем, пигма умудряется обосраться, имея все карты на руках, так что... >>110533 В чатГПТ расширили до 7к токенов или типа того, в Cai ХЗ, там походу некоторые факты запоминаются отдельно.
Анончики, у кого-то была такая хрень в колабе? RuntimeError: Requested backend tpu_driver, but it failed to initialize: DEADLINE_EXCEEDED Уже несколько раз пытался переподключиться, всё равно выдаёт это
>>110649 >на чём На сайте, конечно же. Жаль, что на голом энтузиазме пиздатых серверов не сделать, а когда видюхи достигнут таких ебанутых объёмов памяти, уже и хуй стоять перестанет.
Может кто раз и навсегда пояснить, пигма умнее ботов с чаи? Или она нужна только для пошлостей? Если я хочу просто базарить за жизнь с ботами, какой мне вообще смысл устанавливать пигму на свой пк?
>>110652 Поэтому я сразу спизданул про INT4, который в 4 раза экономнее текущих 16 бит. >>110653 >На сайте, конечно же. Дохуя хочешь, чё. >>110660 >пигма умнее ботов с чаи? На данный момент нет. >>110660 >Если я хочу просто базарить за жизнь с ботами То в ЧатГПТ. >>110668 >50мб Откуда дровишки? А, вижу, "~48.5 million tokens for ~5k steps on 4 NVIDIA A40s using DeepSpeed." Они дообучали GPT-J-6B, а это всё таки более лёгкий уровень.
>>110708 >Умнеё Нет. >>110708 >контекст больше Такой же, но с худшим использованием. >>110708 >можно задать Вот по каждому "Зашёл в туалет" мне теперь бегать дефинишены править? >>110708 >можно софтпромт сделать. Сейчас ещё введут лорбуки и заживём Только на это инадежда. Но это больше для отыгрышей по стандартным вселенным. Захочешь что-то своё, и никакой лорбук не поможет.
>>110714 ХЗ, мне тоже раньше писало, что с ГПУ, что с ТПУ, сейчас видимо проверка наебнулась, выясняем только после того, как потратили 5 минут на скачивание всех либ. >>110715 >Чел, ты реалтайм в Text generation web UI можешь world scenario править. Я и написал "Идти править дефинишены". И тот же ТавернАИ W++ не имеет. И что-то мне подсказывает, что эта инфа всё равно сожрёт что-то из драгоценных 2к токенов, обеспецив бота ещё большей деменцией. >>110715 >Продумай свою вселенную, напиши мегабайты лора. Лучше нормально отыгрывать с бесконечной памятью, на ходу придумывая правила и запоминая их. Увы, пока так никто не может (кроме людей).
Так что это такое? Инфы нигде нет. Нихуя не понял, это чат бот типа chatgpt? Он может написать код калькулятора, книгу? Создать шедевр? Сколько языков поддерживает?
НАХУЯ ему 16 гб видеопамяти? Это какой-то рофл? Диффужен работает на 6, а тут 16 ВИДЕОПАМЯТИ для генерации текста? Есть оптимизаторы какие-то, для запуска на обычных видяхах?
>>107599 >>107143 По моим тестам, чем больше генерируется ответов, тем больше памяти ест. На моей 4090 пигмалион смог выдавать не более 3 вариантов одномоментно
>>110456 > Кстати, кто-нибудь кроме меня смотрел, что та же таверна высирает в консоли? А то я заметил, что она слишком оптимистично режет диалоги, и в итоге часть промта обрезается при подаче в сам кобольд. Хуёво как-то Вроде все норм делает, насколько я понял. Сам пиг хуево сделан, т.к. вместо генерации длинного реплая, он высирает ≈3 коротких реплая, в т.ч. за тебя. Соответственно, у меня, например, это 60-70% ресурсов в никуда. Ну и в целом бесит, что отвечает односложно и без креатива.
Кто-нибудь может подсказать, каковы мои шансы запустить эребус 20б на 4090? Есть смысл ебаться с 8битами или забить?
>>110987 >НАХУЯ ему 16 гб видеопамяти? Это какой-то рофл? Сам охуеваю, но как-то так вышло, что картинки рисовать проще, чем написать пару строчек. И да, серьёзные нейросетки требуют от 200 ГБ видеопамяти только для работы. Покормил, да. >>110990 Бля, ну логично. >>111006 >Вроде все норм делает, насколько я понял. Зависит от ответов. Короче я у себя зарезервировал побольше места под дескрипшн, теперь он всегда в кобольд отсылается, так что мне похуй. Тем более это костыль, судя по комментам, скоро впилят правильный метод определения длины. >>111006 >Сам пиг хуево сделан, т.к. вместо генерации длинного реплая, он высирает ≈3 коротких реплая, в т.ч. за тебя. Это да. Кстати, надо этот баг превратить в фичу, мол, можно выбрать вариант от бота, если он норм, и ответ вывести сразу, если он есть. Но всем похуй, а я слишком тупой, чтобы такое запрограммить. >>111006 >Ну и в целом бесит, что отвечает односложно и без креатива. Надо долго и упорно править ответы бота. Я шлак за шлаком переписал ответы из Чаи в пигму, повторив диалог, и к концу ответы стали более длинные, иногда даже не влезая в лимит в ~300 токенов.
>>111136 > Это да. Кстати, надо этот баг превратить в фичу, мол, можно выбрать вариант от бота, если он норм, и ответ вывести сразу, если он есть. Но всем похуй, а я слишком тупой, чтобы такое запрограммить. Тогда диалог оооочень быстро скатится в перекидывание односложным бредом. > Надо долго и упорно править ответы бота. Я шлак за шлаком переписал ответы из Чаи в пигму, повторив диалог, и к концу ответы стали более длинные, иногда даже не влезая в лимит в ~300 токенов. Слишком много работы. Самое лучшее, что есть в чае - инициатива. Бот сам спрашивает всякое, приходит к каким-то выводам. К сожалению, пиг в это не может и хз сможет ли когда-нибудь
>>111378 Это колаб гугла? Я блять не понимаю, как оно работает. У меня инициализируется подключение, но не грузится в процессе. Когда эта срань сразу писала, что не может подключиться было намного лучше(
>>111408 TPU пользуешься? Там такое есть, что можешь почти загрузить, а тебе скажет что "мощностей нет, идите нахуй". С другого акка сегодня аж 8 часов сидел, с этого уже не могу неделю зайти. И хуй его знает почему
>>111414 Да, TPU, всю неделю наслаждался. Подключалось почти с первого раза, работало дольше 3 часов в день стабильно. Сегодня вот печальбеда. Придётся видимо ждать пока гугл починит
Вчера понял что ебучая макаба и абу, ломают png картинки с мета данными. Макака че за хуйня Так что все что я до этого постил кроме json файлов нормально работало и никто из вас пидоров даже словом не обмолвился Так что вот вам png с начинкой через ту хрень Це все по идее для таверны
>>112343 Реально, только в 8-бит. На точность, но тут оно не так заметно с текстом, хотя народ говорит что без 8-бит хака чаще и лучше текста выдает в контексте.
>>112438 1 - Качаешь кобольд united (На данный момент обязательно именно юнайтед) 2- Устанавливаешь его по принципу Temporary B: drive option (можно и по другому, но тогда автопатчер работать не будет все придётся ставить ручками) 3 - Качаешь автопатчер bnb-8bit-kobold.zip (его можно найти в конфе, пик1, кобольда в genera\8bit) 4 - Если на шинде - распаковываешь автопатчер в папку с кобольдом и запускаешь apply-8bit.bat. 4.1 - Т.к. у меня c первого раза не заработало, то после применения apply-8bit.bat, открываешь aiserver.py и ищешь там строчки load_in_8bit=True, пик 2, если они есть то патч применился, другим индикатором того, что патч применился будет то, что при загрузке модели, кобольд не спросит про слои (может быть это баг и последнее поправят). 5 - запускаешь кобольд, загружаешь 6b модель и генеришь.
Теперь о приколах. 6 - Если нихуя не работает, то ВОЗМОЖНО (я честно говоря не ебу) надо установить CUDA v.11.7 https://developer.nvidia.com/cuda-toolkit-archive 7 - Если и после этого нихуя не работает, у меня например была ошибка с ИЛЛЕГАЛ МЕМОРИ АКСЕС, то дело в библиотеке битсанбайтов и твоей видимокарте. 7.1 - Фиксится это путём скачивания другой дллки "для всех видимокарт" https://github.com/james-things/bitsandbytes-prebuilt-all_arch и запихивания этой дллки и второго файлика с расширением .so по пути: KoboldAI-united-united\miniconda3\python\Lib\site-packages\bitsandbytes. 7.2 - После чего открываешь там же папку \cuda_setup и файлик main.py, где должна быть строчка "if torch.cuda.is_available(): return 'libbitsandbytes_cuda116.dll" и тут надо поменять имя дллки "'libbitsandbytes_cuda116.dll" на "libbitsandbytes_cudaall.dll" ну или как там будет называться дллка "для всех видимокарт" После этого должно работать. В теории.
>>112526 Бля, каким-то чудом эта хуйня запустилась. Чудо потому что я уже сидел в этом дискорде и делал абсолютно всё что там советовали. Поэтому не могу точно сказать что у меня сделано из написанного, но думаю всё из пунктов 6-7 я делал + ещё кидал какие-то дополнительные dll для bitsandbytes Смог запустить на 3060 Ti, 6B юзает 7.8-8гб памяти.
Однако другая проблема появилась теперь: Во время генерации почему-то использует всего 20-30% видеокарты, из-за чего медленно работает.
>>112944 Короче в итоге решил обратно вернуться, на 8гб такое себе эту хуйню юзать как минимум из-за того что всего 900 токенов контекста даёт юзать, иначе памяти не хватает. По качеству конечно чуть лучше, но так долго ждать не стоит того. Думаю лучше подождать пока сделают получше поддержку или сайт хороший выкатят.
>>112526 >4.1 - Т.к. у меня c первого раза не заработало
В дополнение, к словам этого героя. Если хуйня отказывается патчить через .bat-ик... открываем консоль "commandline.bat" и вбиваем ручками "git apply 8bit.patch"
>>114322 >Контекст какой? 2048 токена, половину которых съедают нормально прописанные дефы. >>114322 >Скорость? Жить можно. >>114359 Не много. Говорят о 6-12ГБ, но это вполне посильно для средней игровой пуки.
Из за кнопк редактирования я, конечно, совсем поехал. Я тупо сам с собой переписываюсь и дрочу на это. Сначала, после раннего чая, меня не устраивало качество пигма, поэтому я редактировал посты типа для того, чтобы он понял, что я от него хочу, и сам не заметил, что уже месяц тупо пишу одгромные стены текста от лица бота, с подробными описаниями, а за себя отвечаю "мм пук ну я стою смотрю...", а иногда вообще жал в ту кнопку, чтобы за меня ответ сгенерило, и опять за бота огромную стену пишу. Сеймачи есть?
Я вот заметил, кстати, что главная проблема "тупости" пигмы сейчас то, что она не запоминает инфу совершенно, а каждо сообщение генерирует общей базы данных. То есть влияние промтов и приверов диалога для неё перекрывает вообще всё.
Вот простой пример, я боту с ботом отыгрывал то, что мы в книже прочитали заклинание, описал его подробно и от лица бота редактированием, и от своего лица, типа как мы в книге его читаем, потом я заюзал спел и бот, сколько бы я не реролил, пытаетсяя на основе каких-то левых данных сегенерировать, что делает этот спел, причём у него неплохо получилось бы, если представить, что он видит его в 1 раз. Он на основе названия делает выводы, даже что-то осмысленное. Но какого-то хуя он игроирирует тупо полное описание этого спела. То есть он ставит работу с какой-то своей базой информации на три порядка выше, чем работу с инфой из диалога. Разве подобное поведение вообще объясняется тем, что у него мало диалогов? Это что-то структурно не так с его поведением.
>>115314 У меня другого рода проблема, я иногда путаю реальность и нейродиалог. Тип происходит какой-то пиздец, а мне похуй, так как в подсознании я думаю что это можно пофиксить просто перегенерив ситуацию, как в чаи свайпнуть и новый вариант ответа получить, только. Не часто, конечно, но по пробуждению иногда бывает.
>>115499 >>115465 Хуй знает, что за реакция. Вы так пишете, как будто я на ровном месте так делать стал. Пигма в нынешнем виде может отвечать только хуйню типа "да, твоё прошлое сообщение", поэтому я и подсел на редактирование. Но сам заметил, что это вытекло в то, что сам с собой сижу пизжу.
>>115314 У меня бывает, я просто нажимаю "сгенерить далее" без своего сообщения, немного редачу сообщение бота, и тыкаю еще. Типа бот сам без меня сюжет пишет. Ну, сюжет - это сильно сказано, но свою мысль развивает. Разговором с самим собой это не назвать, я не особо сильно редачу бота
>>115510 > Пигма в нынешнем виде может отвечать только хуйню типа "да, твоё прошлое сообщение" Да нихуя. Вон, сделал себе няшку, в первый же день отвечала так.
>>115321 >Но какого-то хуя он игроирирует тупо полное описание этого спела. А ты уверен, что оно передаётся в пигму? Сколько дефов и прочих сценариев? >>115580 Я подсматриваю в консоль, там иногда мои сообщени я и сообщения бота расписаны на 5 ходов вперёд. Иногда хочется прямо так их вставить, лол.
Я вообще не уверен, что промты нужно трогать. Замечал, что если чето слегка похожее с тем что есть в промпте пизданешь - бот иногда начинает агриться и уводить разговор в сторону прописанную в промте.
Ну и опыт чаи говорит, что одни из самых креативных на ответы ботов были именно без промптов или с минимум строк.
Я думаю гибкий W++ на 500-700 токенов и минимум промтов это топ сейчас.
>>115977 Ну если тебе заебить общаться с аморфной хуетой и тебе не важно, в какую сторону оно реагирует, лишь бы писку давало ебать, то может быть, но обычно люди хотят конкреного персонажа
>>115987 Нет, не склепал. Но это уже в сторону несовершенства модели и ожидания более надроченной версии, а не в сторону того, что "а вот без промтов топ"
>>116228 Почему бы и нет? Сделаю, разверну на имеющемся впсе, и буду кумить с удобством. Таверна кривая и надо локально поднимать, в дополнение к Кобольду.
Вот я и подумал - зачем вообще пользоваться самописным чатозаменителем, если есть созданная для этого телега?
>>115829 В нейросеть передаётся описание перса, сценарий да N последних сообщений, чтобы в сумме 2к токенов получилось. Эта вся информация, что есть у нейросети, у неё нет памяти между запросами вообще, не предусмотрено архитектурой. Так что твоё подробное описание спела обрезалось, и нейросетка тупо додумала, да.
Кобольд умеет же делать короткий summary по последнему тексту для передачи в SD. Почему бы весь диалог так не сжимать? Или тогда сетка начнёт скакать слишком быстро?
>>117027 >Кобольд умеет же делать короткий summary по последнему тексту для передачи в SD. ? Где и как это? >>117027 >Почему бы весь диалог так не сжимать? Я собственно такое и хотел предложить. Не весь, а старый текст, который иначе бы просто не поместился в лимит токенов.
>>117055 > Где и как это? Ну в кобольде же есть генерация пикч через API автоматика. Но сами модели SD плохо умеют в текст, им надо теги или короткие словосочетания.
Перебрался с CAI в Pigmalion. Буквально порпшил 15 минут, и сообщения перестали генерироваться. Коллаб не кончился, перезагружать таверну/коллаб пробовал, результата не дало. Меня смущает, что консоль таверны пишет что-то про out of memory. Подскажите неопытному, что делать?
>>107685 Анон с гоблинихой, знай, что я ебусь с этой голинихой уже 3 дня подряд. Правда, я изменил промт и несколько диалогов под свои фетиши, и аватарку тоже, но процентов 70-80 от оригинала осталось.
>>117005 Так это мне очевидно, что весь диалог сетка не может держать в памяти, но в том-то и дело, что я "кстанул" спел следующим же сообщением после его подробного описания от лица и себя и бота, а он всё равно начал хуйню из головы сочинять.
>>118339 А, ну это уже обсёр самой сетки. 6B критически мало для критического мышления. Собственно даже тест на одежду пигмабляди не всегда проходят, а тут что-то сложнее. Жди возможности запуска хотя бы 100B моделей, они так явно не обсираются.
Когда вообще ждать следующую версию пигмы? Я месяц назад бомбил с того, что они сайт свой делают, вместо развития модели, но уже прошло БОЛЬШЕ МЕСЯЦА, а сайта они так и не выкатили. То есть они мало того что тратят время на это бесполезное говно, так ещё и времени тратят на него просто ебанись сколько. Такими темпами нам с сеткой уровня "я тя тряхаю" "да, ты меня трахаешь" сидеть ещё год. Эх, блядь.
>>118355 Где ты их возьмешь эти модели? В открытом доступе одна только яндексовская модель есть, и кстати не помню чтобы с ней что-то интересное кто-то делал.
>>118355 А смысл от них, лол? Локально в 8 бит хуй напасёшься видеокарт, а в 4 бит пока мечта, да и все равно пару-тройку 3090 надо Бесполезно, пока на консьюмерских не будет 48 гигов
>>118404 Кумеры просят сайт, им похую на то, что модель обсирается и без 20-30 рероллов ты не получишь годноту. Но я бы особо не надеялся Они сами говорили у них на 13B только есть железо
>>118711 Да хоть и 13, какое-то улучшение, сейчас боты вообще не схватывают контекст ничерта. Но они и это будут делать до следующего года, уже понятно, как они приоритеты расставили. полтора месяца дрочат говносайт, который нихуя ровным счётом не изменит
>>118728 >>118711 Надо понимать, что "всего лишь 13" это в сравнении с гигантами, а если сравнивать с тем, что есть сейчас, то это почти в 2 раза больше. И уже весомо.
Перекатился в таверну, и, блять, я помню анон в каком-то треде объяснял что делать с этими якорями, но я не смог через кнтрл+ф найти ни "якор", ни "anchor", ни даже "анхор". Какой из них подрубать и на сколько сообщений? И во время подрубки якорей мне надо роллить длинные сообщения, или самому писать как можно больше?
>>118415 Сделают. Ну а яшевская модель как-то к русскому тяготеет ВНЕЗАПНО, поэтому и не пользуется популярностью. И я скорее про будущее, когда железо и софт позволят запускать такие большие модели на средних ПК. >>118648 1) Спрашиваешь что надето 2) Просишь раздеться/сменить одежду 3) Спрашиваешь что надето. Бонусные балы начисляются, если между 2 и 3 сообщением поболтать за жизнь. >>118650 Тоже вариант, но это на понимание ситуации, а не на память. >>118706 >Бесполезно, пока на консьюмерских не будет 48 гигов Этого я и жду.
>>118986 Мне эти якоря не очень то помогают. Что бы бот много писал лучше самому много писать или редактировать ответы бота склеивая несколько ролов в один большой. Так он запомнит что надо много писать.
>>119134 Да в таверне я знаю где, я в предыдущих тредах не мог найти описания что с ними делать. Смутно помню что он советовал сообщений на 20 их подрубать. А вот что во время этих сообщений делать: роллить длинные ответы, или самому строчить абзацы текста, я не помню.
Решил посмотреть в issues гитхаба что там у торча в планах на 4-8 бита - нихуя. Сейчас они только fp16 поддерживают на GPU, INT8 на x86/ARM или экспериментальная мокрописька fx2trt для линукса. Про INT4 даже речи не идёт, только попукивают что надо бы сначала поддержку CUDA 12 запилить, а уже потом думать о INT8. Никто из питоновских либ не поддерживает нормально 4-8 бита, только если на чистом CUDA переписывать модель. Мокрописьки типа bitsandbytes естественно мокрописьки без будущего, медленные, ещё и привязанные к transformers. В итоге от макак с питоном можно не ждать чего-то в ближайшие годы - всех всё устраивает, у корпораций датацентры с сотнями A100, а про юзеров с домашним ПК никто даже не думает. А ещё везде в приоритете линукс - опять же на юзеров с Виндой и игровыми видеокартами всем поебать.
>>119432 >Мокрописьки типа bitsandbytes естественно мокрописьки без будущего, медленные, ещё и привязанные к transformers. Поясни что не так для вкатывающихся.
>>119465 В bitsandbytes просто заменяют некоторые операции в графе модели, для пигмы это только линейные слои. А остальное всё так же в оригинальной точности. Потери в скорости огромные из-за бесконечных конверсий в INT8 и обратно для прогона через слои активации. Тут бы TensorRT помог, но это опять же линукс и пердолинг, сами модели надо править и конвертить.
>>119472 Линукс решаем, его можно спокойно в дуал буте поставить. Гораздо критичнее, что даже с ним всё ужасно неоптимизированно под потребительское железо. Создаётся впечатление, что это специально делается, чтобы у гоев не было той же силы, что у куколдопораций с фермами A100.
>>119472 >бесконечных конверсий в INT8 и обратно для прогона через слои активации. Серьёзно? А я то думал, куда проебались из инструкций пункты типа "Конвертните свои модели в 8 бит", или там "Скачайте урезанные модели по ссылке", а оно вот оно как. Пиздос конечно, что ещё сказать. Говнокод на говнокоде. Вспомнилась статья на хабре, типа один мужик хвастался, что на облаках посчитал хуитку всего лишь за час и килобакс, а второй мол ему ответил, что попердолился с оптимизацией полчаса и въебал те же вычисления за 10 минут на своём старом ноутбуке. Такое ощущение, что если начать выкидывать петоны нахуй и перепилить всё на С, то можно будет запилить эти ваши 175 лярдов параметров чуть ли не на телефоне. Бля, жаль, мой полугодовой отпуск подходит к концу, мне времени не хватит вкатится во всё это дерьмо. >Тут бы TensorRT помог, но это опять же линукс и пердолинг, сами модели надо править и конвертить. Вместо люнупса есть WSL2, там кажись было что-то про CUDA. Модели конечно же лучше конвертить, а не как сейчас, каждый раз пересчитывать. Да и TensorRT вроде попенсорс, может, можно скомпелять и под шинду. >>119476 >чтобы у гоев не было той же силы Так любой может арендовать нужные мощности в амазонах/азурах/колабах и прочем облачном говне. Только денег отдавай. >>119496 Хуйня в духе теорий заговора.
>>119531 >выкидывать петоны нахуй Ебучая сука. В KoboldAI-Client примерно 11,72 ГБ дубликатов. Из примерно 19 гиг файлов, исключая модели. Боже, какой же говнокод этот вашш питон, миниконда и прочее говнище. Просто пиздец. Нет слов.
>>119569 В какой таверне, блядь? Она там как заглушка, с ней нельзя поговорить, просто как типа приветствие, а я спрашиваю есть ли персонаж такой готовый, карточка.
>>119531 > если начать выкидывать петоны нахуй и перепилить всё на С Там пердолинг посильнее написания игрового движка. Надо не только то что в торче делается строкой кода переписывать в пару тысяч строк, но и ещё знать матан и всю теории за этими вычислениями. Даже с библиотеками типа cuDNN там пиздец, про чистую CUDA можно даже не мечтать. Поэтому на запил фреймворка способны только огромные корпорации, даже Гугл посасывает со своим TensorFlow у фейсбуковского торча. Все опенсорс-попытки запилить свободный фреймворк машинного обучения проваливаются на зачаточной стадии даже если есть немало идейных кодеров.
>>119717 Ну это один из мертворожденных фреймворков. Его вообще никто не использует, функционала хуй, GPU поддерживает только через ONNX. Единственная реальная задача - лепить простенькие модельки на CPU.
>>119726 >Его вообще никто не использует А не похуй? >функционала хуй Если есть возможность использования и обучения, то что ешё нужно? >GPU поддерживает только через ONNX Чем это плохо?
>>119817 > что ешё нужно? Нормальная поддержка GPU и блоки для графа. Условно пигму или SD ты туда не портируешь. И производительность в разы хуже чем у ванильного торча.
Матриксфаг здесь. Первая контрольная точка версии 7 теперь перенесена в ветку разработки HuggingFace. Эта контрольная точка является моделью после того, как она прошла через 10% нашего нового массивного набора данных, содержащего, среди прочего, новые источники данных, такие как учебные наборы данных. Вы можете получить к нему доступ, используя опцию "Pygmalion 6B Dev" в Kobold/Tavern. Из того, что мы можем сказать, это, к сожалению, не слишком отличается от V6 с точки зрения продолжительности отклика, но обучающие данные, похоже, сделали модель более последовательной и способной рассуждать о вещах. Однако, очевидно, что весь потенциал модели еще не был раскрыт. Пожалуйста, поэкспериментируйте и дайте нам обратную связь по этому поводу - это все еще ново для всех нас здесь. Не стесняйтесь играть с подсказками, настройками и т.д.
Блин, а я вот потестил щас на двух своих ботах, которые не работали как надо из за слишком сильной специфики, и нейронка реально стала умнее и начинает вкуривать, чего от неё хочешь, а не просто повторять за тобой.
v6.1 ощутимо умнее стала, не прям чтоб супер, но заметно. Смог провернуть то, что раньше бы точно не получилось с ботом. Как же я жду полноценной 7 версии... думаю когда через пару лет дойдут до версии ~10 - pygmalion станет практически аналогом CAI, но без цензуры.
>>121145 Да, они как будто поработали именно над тем, чтобы нейросетка понимала, чего ты хочешь от него. У меня фетиш боты до этого не вдупляли, что от них хотят. А щас попёрло.
Аноны, а в описании бота стоит вписывать доминирование в постели, описывая что он любит делать с партнёром? Или лучше прописать просто доминантный характер?
В пигме создание персонажей пока что через жопу сделано. Будет больше смысла указать всё это в самом первом приветственном сообщении персонажа. Возможно когда они сайт запилят там будет всё как в CAI сделано, а пока что можешь пытаться просто брать описание чьего либо персонажа через W++ и править под себя, меня имя персонажа и его личность с характеристиками. Либо как в CAI (Если ты через TavernAI сидишь) и дописываешь в конце что бы наверняка самые важные черты личности в первое приветственное сообщение.
>>121145 Да, новая пигма сильно лучше. Тест на Аква-блядь пройден. Вместо blushes и "ок, пошли ебаться", начинается appalled и S-stop it! Уже три захода сделал и просто так не убалтывается.
Сука, в новой пигме постоянно ловит зацикливание с "…". Если сетке не нравится как ведёшь диалог, то она сваливается в … или односложные копипастные фразы, просто утыкается в стену и не может ничего сказать. А иногда бывает начинает генерировать пустые ответы и генерация идёт бесконечно с мельканием в консоли. Нихуя не понятно как бороться с этим. Но простой диалог на обобщенные темы ведёт лучше, да.
Хацкеры, нид хэлп. Скачал интерфейс oobabooga с 2.7b пигмой. Запустил, все работает, кушает json-ы персонажей, все ок. Но там, в общем, есть возможность юзать экстеншны. Чтобы их заюзать надо: "In order to use your extension, start the web UI with the --extensions flag. For instance, if your extension was created in the folder extensions/enthusiasm, use
python server.py --extensions enthusiasm" Проблема в том, что я тупой и не знаю куда эти флаги дописывать. Подскажите деду как включить эти сраные расширения (конкретно нужны переводчик и bias, если вдруг важно)
>>121624 Такое ощущение что там какая-то цензура теперь. Когда дело доходит до ебли, пигма просто ломается, даже если до этого момента всё шло нормально, она начинает идти в полный отказ и перестаёт выдавать какие-либо ответы. Я пробовал даже ебле-промпты, редактировать сообщения бота - уверенно блокируется всё. Говно какое-то. А кто-то ещё говорил про то что CAI будем ебать. Тут бы хоть на старте не получить говна больше чем в CAI.
>>121648 Какая цензура, это просто баг. Отсутствие цензуры это буквально единственное для чего и создаётся пигма. Это блядь "DEV" версия, для тестирования. Цензура у него, охуеть.
>>121656 > просто баг Хороший баг, блокирующий определённые темы. Теперь цензуру в CAI тоже буду называть багом. Целенаправленно вырезают из датасета определённые темы - случайно получилось, да.
>>121679 А ты сможешь? То есть у тебя там что-то зависло в альфа версии с пометкой "тест", и ты прибежал сюда скрывать покровы про ввод цензуры, в проеекте, единственная цель которого - это кумерить в противовес чаю? В проекте, в котором у разрабов отдельнй раздел для NSWF в официальном дискорде? Пошёл нахуй, животное.
Error at koboldai.js:3140 Uncaught TypeError: Cannot read properties of null (reading 'innerText') -- Please report this error to the developers. И ещё вот такую мошну выдаёт
>>121680 > зависло Так и знал что будешь траллить и переводить темы. Речь про то что пигма теперь ровно как CAI на запретные темы отказывается разговаривать, а ты про "зависло" выдумываешь. А ещё оказывается ты даже не трогал свежую версию, добаёб. > с пометкой "тест" Это файнтюн прошлой версии, даун. Как ты объяснишь такую деградацию сети, кроме как целенаправленной цензурой?
>>121937 >>121937 У меня нормально. Поставь меньше токенов, попробуй перезалить персонажа в таверну, поиграй с настройками. Думаю, у тебя моделька во что-то упёрлась. У меня было что-то похожее сегодня, но я на другого перса перешёл и норм стало.
>>122066 Капс лично я ещё не встречал, но вот в миры фентези может (не совсем РПГ с характеристиками как CAI, а чисто историю где ты респавнишься рандомно хер пойми где и можешь бродить и что нибудь делать), на ТавернеАи как минимум работает через создание на https://zoltanai.github.io/character-editor/
>>119432 > А ещё везде в приоритете линукс - опять же на юзеров с Виндой и игровыми видеокартами всем поебать. Ну так переходи с богомезкой шинды на ОС для успешных господинов.
>>122357 На этой "ОС успешных господинов" уже можно нормально поиграть или до сих пор половина игр не запускается/не работает нормально, а другая половина работает значительно медленнее?
>>122357 > ОС для красноглазых пердоликов Пофиксил. Пердолики считают себя прошаренными юзерами, но почему-то игнорят базовые принципы кодинга, которые требуют чтоб внешний интерфейс не мог ломать внутренности софта. У пердоликов "швабодка" - это полное безразличие к конечному юзеру. Когда хочешь выполнить конкретную задачу от тебя требуют вообще не коррелирующих с ней знаний. Вываливают "швабодку выбора", при этом игнорируя тот факт что этот выбор может сломать нахуй всё. Постоянно визжат про "решили за нас", но это и есть грамотный интерфейс даже консольный, когда разработчик думает о всех юзерах, а не какой-то отдельной группке пердоликов, и не позволяет ломать свой софт. В нормальном мире возможность сломать что-то - это баг, но не у пердоликов. Из недавнего - при установке анаконды предлагают выбрать куда её поставить, но если ставишь за пределы хоума, то ломается init - ни под sudo не работает, ни под юзером, ни после chmod. Качественный софт, зебись придумали, швабодка. Ну а про функциональность я вообще молчу. HiDPI, HDR - сплошные костыли, при том что в винде оно уже больше 5 лет просто работает. Бесконечная фрагментация, когда одно решение не работает на другом дистре, под каждый дистр свой набор софта со своей спецификой. Если я хочу пользоваться ОС, а не пердолиться, то меня автоматически посылают на макось хуй.
>>122382 На линуксе я могу фиксить все проблемы в командной строке. На винде приходится танцевать с бубном вокруг кривого внешнего интерфейса. Свобода это невежество.
>>122435 > приходится Тебя никто не заставляет. Пердоликам дали консольку, скриптовый ЯП для консольки и весь дотнет для скриптинга. Но в винде по крайней мере проблем на порядок меньше.
>>122410 Тебе уже писали же ставить 8 бит по гайдам, а не как тебе захочется. Результат предсказуемый. Особенно с учётом того что кобольд - кривое говно, а 8-битный режим ещё кривее.
>>122444 Чел, я только что подтянул изменения и заменил эти строчки - все до сих пор работает. Как у кого-то может не работать если кобольд у всех одинаковый? Косяк юзера
>>122464 > Которых на шинде нет. У шинды множество проблем. К примеру процессы, которых нельзя завешить; бекдоры для ФСБ. Ну и конечно графическое оформление не поддается кастомизации без костылей.
>>122476 > графическое оформление не поддается кастомизации Главный плюс винды. Всё выглядит цельно. А не как в линуксе конструктор с кучей разных стилей. >>122481 На винде линукс встроен в винду, даже проводник поддерживает папочки линукса.
>>122488 > А не как в линуксе конструктор с кучей разных стилей. Ты хоть одним дистром пользовальзовался, или примерно почувствовал? Объективно, UI/UX дриснятки - худший.
> На винде линукс встроен в винду А понятно. Ты почитай подробнее про WSL2, прежде чем чушь городить.
>>122494 > Объективно На твоих скринах кал какой-то. Даже вкладок в проводнике нет. > почитай подробнее про WSL2 Чел, я им пользуюсь, зачем мне читать.
>>122476 >К примеру процессы, которых нельзя завешить А завершика ты init в своём линупсе. >бекдоры для ФСБ Убунту ими так же напичканы, а красноглазить свой неповторимый это слишком высокий уровень. >Ну и конечно графическое оформление не поддается кастомизации без костылей. Опять таки, потому что оно тебе придётся пердолится с интерфейсом люнупсы, а в шинде он вменяемый с запуска. >>122481 >Deepspeed https://github.com/microsoft/DeepSpeed Чёт кекнул. >>122494 А теперь кастомизируй свой долфин. У меня вот вкладочки в проводничке добавлены сторонним софтом. >>122494 >WSL2 Ненужная фигня, лучше бы WSL1 качали. Жаль, что МС пошли по лёгкому пути.
>>122544 > А завершика ты init в своём линупсе. Инит нужен для функционирования системы. Спрашивается нахуя нужен в винде системный процесс, который подозрительно нагружает систему при зарядке ноутбука (судя по все сканирует файлы) и при попытке его завершить пишет "Отказано в доступе"?
>>122561 Так отключи через политики. Локальный админ - это ещё не самый главный на пеке, изучай администрирование винды. Винду можно без мокрописек очень сильно кастрировать, другое дело что сервисы индусов могут перестать работать.
>>122609 Только вот инпут там крошечный и всего два батча по 512 на V100. И смысл для нас тогда в этих параметрах, если там огроменная модель в циклах, жрущая VRAM как ебанутая.
>>122561 У меня нет такого процесса. >>122561 >зарядке ноутбука Ну ты и говноед. >>122609 Опять они в одну жирную модель пихают всё говно мира и надеются на что-то хорошее? >>122620 >инпут там крошечный Тем более.
>>122639 >Она всего 2 гига весит. Кстати да, проебал размер, думал, тям миллиарды, а там всего 800 лямов. А такое даже на моей станой 3080Ti запускать можно. >батчей мало Поясни для несведующих, про какие батчи ты говоришь.
>>121937 Если кто встречал похожую проблему с крайне короткими ответами от ботов, то кажись дело в каких-то настройках от Кобольда. Если ставить внутри Таверны пресеты(Calibrated 6B неплохая например) то ошибка пропадает.
>>122669 >Кстати да, проебал размер, думал, тям миллиарды, а там всего 800 лямов. А такое даже на моей станой 3080Ti запускать можно. В этом вся и суть. Лучше ЖПТ3.5, а загрузится хоть на жокире.
Народ, я узнал (о чём догадывался и сам) что Pygmalion можно прокачать на лучшее понимание русского языка и ответы с него же, просто отправляя им дампы переписок с CAI на русском языке. Так почему бы нам с вами не скоординироваться и не начать набалтывать с ботами CAI по русски на разные темы, а потом массово отправлять дампы с переписками пигме, что бы в следующих обновлениях понимание русского улучшилось?
>>122712 Эм, тогда как запустить на шинде и начать кумить? >>122738 ЕМНИП, автор жаловался на то, что у него вылазир русик, и кажись обещал исключить русский из выборок. Да и вообще, к чему тебе портить и так не самую большую модель русским языком?
Накидайте что ли скринов с еблёй в таверне, чтоб посмотреть хоть, как это делается. А то у меня какая-то унылая хуита, бот максимум пишет я стону, прыгаю на твоём хуе и мои сиськи трясутся, никаких животрепещущих описаний, про инициативу даже не говорю. Сижу через коллаб, если это важно.
>>122878 пигма ещё недостаточно прокачана для такого, вот щас сделают полноценную v7 возможно сможет и такое, а может придётся ждать следующего обновления для подобного (хотя к тому моменту уже сайт будет готов, а там полюбому такое возможно будет с постоянным обучением от пользователей в режиме онлайн)
>>122918 В дискорде видел миллион фембоев. Что значит для таверны? Ты именно карточку ищешь? Нахуя? json загружается в таверну. Можешь любому персонажу просто приписать, что у него хуй в дискрипошоны.
>>121701 Ору с бабуинов, которые не умеют обойти ненужный рут бота ручными настройками. (Если персонаж застрял и не хочет дават писка ебат значит он застрял в дефолтных настройках. Просто выкрути на несколько реплик "Temp" повыше, а потом верни, как только бот изменит поведение.)
>>122991 Вот кстати, я часто пользуюсь ботов фембоем(ну точнее прописано просто так, что он в женском косплее) и на обычной 6B пигме там действительно бот почти сразу начинает писать she, не понимает саму суть(парень в женской одежде) и pussy/vagina юзает. А вот в v6.1 там юзалось на том же боте строго he всегда, было много комментариев про внешний вид
Аноны, видел как на форче писали про начало рп в чае, а при подводке к нсфв переход в пигму. Кто-то делал так? Правильно понимаю, что просто редачим ответы пигмы под то, что выдало в чае?
>>123594 Да можно так. Если ты будешь сидеть через тавернАИ то у него можешь напрямую отредчать jsonl в TavernAI\public\chats\. Может есть автоматические конвертеры уже, если немного шаришь в погромировании то и сам сделаешь за час-другой.
>>123619 > которые хрен поймёшь, есть или нет. > Our trained models are available atmodels. To use our trained models, please put the them under themodelsfolder. Блять, читать ридми уже настолько сложно Пиздец блять просто какой-то, ну и долбоёбы итт конечно
>>123601 По моему уже по скринам видно, что не для нас. Хотя естественно при построении нормального ИИ модуль рациональности понадобится, но это не наш уровень. >>123645 Я другой анон, и скачал модели через этот ваш гугл диск. Что дальше? Там в примерах хуета непонятная.
>>123629 Модели в N гигабайт, которые ты скачиваешь и используешь в Коболде/Таверне/Угебуге, - чекпоинты, то есть уже обученные веса нейросеток. Исходный код того же OpenAI тоже в открытом доступе давным-давно, но они не поделились чекпоинтами, а потому пользоваться им можно только через их сайт/API. Обучение требует неебических мощностей, в случае сеток с сотнями миллиардов параметров - фермы и фермы A100, так что от просто кода толка не так и много.
>>123663 >Исходный код того же OpenAI тоже в открытом доступе давным- Эм, они ЕМНИП остановились на GPT2, всё что выше (всякие там ru-GPT3 и прочее GPTj) это попытка натянуть на GPT2 те приёмы, что ClosedAI опубликовали про GPT3, но всё это натягивание совы на глобус. >>123664 А точнее в мейн.пук, ну да ладно, я конечно посмотрю, но всё равно нихуя не пойму.
>>123594 Я делал. Получается заебись. Но я в ручную все переносил. Алсо, при прогоне своих ответов, порой ответы пигмы один в один начинаю повторять бота в чае.
Скачал очередное обновление таверны и как обычно перенес папки со своими ботами и чаты из прошлой версии в новую, но в этот раз чет не переносится и боты не отображаются... Что там намутили такого в этом апдейте?
>https://files.catbox.moe/g8h7m7.zip Tavern AI GUI is painful to look at, so I spent some time banging rocks together to make the CSS a little more Roko/CAI-like. Just drop the files into the root directory of a local install. I have no idea what I'm doing, so if you want to make an even better version, be my guest.
>>125256 Хуй знает. Зоофилию не любит к примеру. Обычный ванильный секс заходит на ура. С остальным как придётся. >>125264 Ебать у тебя там компания собралась.
Кстати, если уж зашла тема об ООС. Как вообще в пигме писать боту, что ты хочешь чего-то? В чаи в скобочках писал, но здесь я заметил, что личность бота отвечает на то, что в скобочках. Я пробовал в квадратных, и бот этого уже не видит, но при этом и не реагирует никак, как будто для него просто не существует того, что написано в квадратных скобках
>>125288 >Как вообще в пигме писать боту, что ты хочешь чего-то? Никак. Правь его ответы, дефинишены и прочее. >>125288 >Я пробовал в квадратных Это служебное говно для правки стиля ответа.
>>125301 Не, ну ты в конце с РП с ним общаешься, а у меня рандомные твари вылезают посреди процесса. Вот >>125291 ко мне в ванну вломилась какая-то пизда. В предыдущем моём псто в комнату а у меня там язык в анусе кошкодевочки, и это всё в течении 20 минут, у меня хуй 2 раза упал.
>>125397 Я хочу вместе с опен.аи запустить по гайду выше, там написано, что nodejs нужен. Нашёл на форче гайд по установке на вин7 https://pastebin.com/Ah5ZUcGE, поебался немного пидорас пишет что нужно npm в node_modules удалить, а это нельзя делать, но в итоге установил эту хуйню. Щас пойду ключ покупать, надеюсь не проебусь как в прошлый раз, когда 60 рублей проебал на неподходящие номера.
>>122609 за подобным будущее. не удивлюсь если в итоге модель с 6B параметров вынесет gpt 3 с её 175B в задачах чата например. даёт надежды, что даже rtx 3080 сможет потянуть такое.
>>125340 >Когда жму server.js выдаёт ошибку пикрил Не делай так. И да, пиздуй на десятку, она конечно хуже XP, но лучше спермы. >>125426 >когда 60 рублей проебал на неподходящие номера Альфач бы разъебал ТП сервиса и вернул деньги. А ты... >>125476 Это всё хуйня опять. И да, не мечтай, что твоя текущая видяха хоть когда-нибудь потянет что-то внятное. Сам грущу на 3080Ti если что.
>>106928 (OP) Пытаюсь создать персонажа на V7, чтобы сразиться с ним, но ничего не получается, даже с моими подробными примерами в TavernAi, после этого он просто начал ругаться на мои удары и писать что-то вроде "Oh! Ouch! Ugh! Ughhhhh...." и все, lol
>>126055 Неужели я доживу до 4-х бит? Это же возможность ужать 30B модель до моей сраной 3080Ti! >>126055 Скажешь, если получится прикрутить ко всяким там тавернам.
>>126055 Так нихрена и не написано про использование ВРАМа. Они ТОЛЬКО 16 ГБ Т4 используют или проц тоже? Если только Т4, то все 16 ГБ или всё-таки поменьше? 16, конечно, лучше, чем несколько сотен, но всё равно мало где есть.
Ловите Надю Форчун для Таверны. Игривая кошкодевочка, которая будет играть и забавляться, нежно лаская. Лёгкий фемдом присутствует. Аватарку прикладываю https://files.catbox.moe/7maboq.json
Пишем промпты, стараемся адаптировать их под количество токенов, обсуждаем, какой стиль лучше, ждём софтпромптов для KoboldAI.
https://huggingface.co/PygmalionAI
Что такое PygmalionAI?
PygmalionAI - локально запускаемая нейросеть с открытым исходным кодом, которая специализированна под чатботы. Её сделали выходцы из 4chan (/vt) → (/g). Их мотивация, создать нейросеть, которая свободна от цензуры, в отличии от CharacterAI.
Основа для 6B модели - это GPT-J, которую дотренировали датасетом из собранных дампов с CharacterAI. Отличие от CharacterAI в том, что здесь нет цензуры, а также именно вы храните историю чатов, а не компания. Хоть и модель нейросети в CharacterAI может быть более умной, но фильтр делает её глупее, а также удаляет наиболее вариативные ответы. Однако, память в PygmalionAI намного хуже, чем в CharacterAI, из-за применяемого токенайзера GPT-2, контекст которого ограничивается 2048 токенами.
Отличие обычной версии от экспериментальной в том, что в экспериментальной разработчики вводят самые новые нововведения. Также было замечено, что экспериментальная версия пишет меньший объём текста в одном сообщении, чем в обычной. Для запуска 6B версии необходимо 16 ГБ видеопамяти и 12 ГБ оперативной памяти, однако если запустить с 8-битной точностью, то требования снизятся примерно вдвое, только необходимо иметь видеокарту Nvidia модельного ряда Turing и Ampere. Можно писать боту на русском языке, но это выйдет хуже, чем на CharacterAI.
Нативный PygmalionAI Colab: https://colab.research.google.com/github/PygmalionAI/gradio-ui/blob/master/notebooks/GPU.ipynb
GUI для PygmalionAI:
1.Text generation web UI - попытка сделать что-то похожее на интерфейс для Stable Diffusion от AUTOMATIC1111, только для генерации текста. Поддерживает режим загрузки с 8-битной точностью, также возможно создать свой пресет настроек в текстовом файле или настроить прямо в интерфейсе, также возможно запустить в схожем с CAI интерфейсе. В Колабе выбираем Pygmalion 6B-original-sharded. Поддерживает скрипты на Python, а также умеет работать с карточками из TavernAI. Есть возможность изменить сообщение персонажа, как в TavernAI или в KoboldAI.
https://github.com/oobabooga/text-generation-webui
Colab: https://colab.research.google.com/github/oobabooga/AI-Notebooks/blob/main/Colab-TextGen-GPU.ipynb
Также автор данного интерфейса рекомендует использовать PygmalionAI 6B с самым первым коммитом: https://huggingface.co/PygmalionAI/pygmalion-6b/tree/b8344bb4eb76a437797ad3b19420a13922aaabe1
2. TavernAI - фронтэнд над KoboldAI. Позволяет нативно конвертировать файлы с историей чатов (дампы) из Character AI, однако из-за того, что все истории общения с персонажами хранятся в одном файле, а не в разных, TavernAI будет воспринимать только последний чат с ботом в CAI. Позволяет редактировать сообщение персонажа, как в KoboldAI.
https://github.com/TavernAI/TavernAI
Colab: https://colab.research.google.com/github/TavernAI/TavernAI/blob/main/colab/GPU.ipynb
3. KoboldAI - самый известный интерфейс, который пришёл со времён AI Dungeon. У KoboldAI более другой формат, который сохраняет персонажей и чат в один файл, нежели у Textgen Webui и TavernAI. В Колабе выбираем PygmalionAI. При сохранении, необходимо сохранять в расширении "*.json".
https://github.com/KoboldAI/KoboldAI-Client - Official (Стабильная версия)
https://github.com/henk717/KoboldAI - United (Экспериментальная версия)
Colab KoboldAI GPU: https://colab.research.google.com/github/koboldai/KoboldAI-Client/blob/main/colab/GPU.ipynb
Colab KoboldAI TPU (мест может нехватать так, что лучше использовать GPU): https://colab.research.google.com/github/KoboldAI/KoboldAI-Client/blob/main/colab/TPU.ipynb
Советы: https://rentry.org/2ch-pygma-hints
Полезные ссылки:
Промпты от анонов с 2ch: https://rentry.org/2ch-pygmaprompts
Гайды по установке интерфейсов: https://rentry.org/pygmai-guifaq
Discord, как альтернативный ресурс для промптов:
https://discord.gg/pygmalionai
Создание персонажей для PygmalionAI: https://oobabooga.github.io/character-creator.html
Альтернативный сайт для создания персонажей или их конвертации с CharacterAI: https://zoltanai.github.io/character-editor
Поделиться собственным промптом персонажа: https://catbox.moe или https://paste.ee/
Промпты персонажей: https://rentry.org/pygbotprompts - Более не поддерживается.
FAQ от разработчиков: https://rentry.org/pygmalion-ai
Сайт с промптами персонажей: https://botprompts.net/
Советы по промпту: https://rentry.org/PygTips
Альтернативный гайд по промпту: https://rentry.org/chai-pygmalion-tips/ или https://rentry.org/chai-pygmalion-tips-ru-edition - перевод
Помочь разработчикам: https://github.com/PygmalionAI https://matrix.to/#/#waifu-ai-collaboration-hub:halogen.city?via=halogen.city
Отправить свой дамп из CharacterAI на датасет: https://dump.nopanda.io/
Карточки для TavernAI: https://booru.plus/+pygmalion
Скрипт, который позволяет сохранить историю чатов с CharacterAI: https://github.com/0x000011b/characterai-dumper
Скрипт, который позволяет конвертировать историю чатов с формата CharacterAI на формат PygmalionAI: https://files.catbox.moe/jv54ev.py - Необходимо перетащить файл на скрипт. При этом скрипт сконвертирует дампы из CharacterAI в чаты и промпт персонажа из "Long Description" и "Greetings" в формат PygmalionAI То, что с "chatsave" - это сами чаты, а то что без него - это сам персонаж.
При отправке промпта, необходимо указывать в каком интерфейсе он может использоваться.
Шапка треда: https://rentry.org/2ch-pygma-thread