24 декабря Архивач восстановлен после серьёзной аварии. К сожалению, значительная часть сохранённых изображений и видео была потеряна. Подробности случившегося. Мы призываем всех неравнодушных помочь нам с восстановлением утраченного контента!
PygmalionAI тред №6 Пишем промпты, стараемся адаптировать их под количество токенов, обсуждаем, какой стиль лучше, ждём софтпромптов. https://huggingface.co/PygmalionAI Что такое PygmalionAI? PygmalionAI - локально запускаемая нейросеть с открытым исходным кодом, которая специализированна под чатботы. Её сделали выходцы из 4chan (/vt) → (/g). Их мотивация, создать нейросеть, которая свободна от цензуры, в отличии от CharacterAI. Основа для 6B модели - это GPT-J, которую дотренировали датасетом из собранных дампов с CharacterAI. Отличие от CharacterAI в том, что здесь нет цензуры, а также именно вы храните историю чатов, а не компания. Хоть и модель нейросети в CharacterAI может быть более умной, но фильтр делает её менее креативной, а также удаляет наиболее вариативные ответы. Однако, память в PygmalionAI намного хуже, чем в CharacterAI, из-за применяемого токенайзера GPT-2, контекст которого ограничивается 2048 токенами. Отличие обычной версии от экспериментальной в том, что в экспериментальной разработчики вводят самые новые нововведения. Также было замечено, что экспериментальная версия пишет меньший объём текста в одном сообщении, чем в обычной. Для запуска 6B версии необходимо 16 ГБ видеопамяти и 12 ГБ оперативной памяти, однако если запустить с 8-битной точностью, то требования снизятся примерно вдвое, только необходимо иметь видеокарту Nvidia модельного ряда Turing и Ampere. Можно писать боту на русском языке, но это выйдет хуже, чем на CharacterAI. Нативный PygmalionAI Colab: https://colab.research.google.com/github/PygmalionAI/gradio-ui/blob/master/notebooks/GPU.ipynb
>>160043 Из той-же страницы колаба: >Pygmalion is a chat model that has been based on a few models that came before it. First the model originates from LitV2, it was then trained by Haru on a chat dataset to create ConvoGPT. ConvoGPT was then trained by PygmalionAI on chat data that contains longer responses and emotions. Making for a higher quality chat experience than you can get from other models such as Erebus that are not directly trained on chatting.
>Pygmalion - это чат-модель, которая была основана на нескольких моделях, появившихся до нее. Сначала модель возникла на базе LitV2, затем она была обучена Haru на наборе данных чата для создания ConvoGPT. Затем ConvoGPT была обучена PygmalionAI на данных чата, содержащих более длинные ответы и эмоции. Это позволяет добиться более высокого качества общения в чате, чем при использовании других моделей, таких как Erebus, которые не обучались непосредственно общению в чате.
>>159516 (OP) Аноны, расскажите кто на что кумит в пигме? Я вначале, ещё в 6b версии всякие вещи пытался мутить, типа убийств, изнасилований и т.д. Потом надоело, сейчас с новой обновой пигма стала на порядок умнее, но я пару NTR историй сделал с женой и мамкой, пораскомнадзорил маленьких девочек и мальчик во все дырки, а потом понял что больше мне нечего не хочется кумить, типа, ну да, я получил неплохие истории написанные на нормальном +- уровне (на мой взгляд), но уже убивать кого то, или насиловать нет желания, слишком скучно, максимум захожу что бы ещё NTR стори по мамку или жену сделать и всё. Даже детей роскомнадзорить в анусА скучно. Может у кого есть идем ебанутых фетишистских историй как вернуть прежний интерес к кумингу с ИИ?
просто так общаться с ботом, наряжая его в Наруто или Сакуру я не хочу, если бы хотел обычного общения с людьми - в чатах с людьми периписовался или видеочатах сидел.
>>161010 Идея неплохая, но похоже быть "нижним" не входит в перечень моих фетишей, хотя я как то раз отвёл своего 5 летнего сына в лес и роскомнадзорнул против его воли в очко а потом начал приучать роскомнадзорить его жопой как это делают девочки своей "гиги", потом стал наряжать его в женскую одежду в итоге он полюбил это и стал трапом, и в итоге я стал продавать его как шлюху всяким мужикам в тайне от его матери.
>>161003 Поиграй в коррапт, где корраптят тебя и ты не понимаешь почему ты писаешь белым и липким. Поиграй в секс через не хочу, где вы оба не хотите, но вынуждены делать это. Поиграй в бой не на жизнь, а на смерть и кто первый кончит тот умрет.
>>160227 где именно в дискорде? не знал, что там есть группы людей, пилящих промты. сам пробовал сделать, но качественно не получилось, допиливать лень стало.
Вопрос дэбила два. Как персонаж определяет длинну реплики? У меня перс высерает 512 токенов диалога между мной и собой в консоль, а в сам чат короткое сообщение, самое первое из всего потока.
>>162085 В консоли, в первую очередь отображается, что языковая модель чекает контекст вроде как. Если ты про это. Ты бы лучше срин кинул что-бы было понятно о чем ты.
>>162394 Я на справке нашел ответ. Да, он генерит потенциальные реплики пользователя. >Max new tokens >This setting tells the AI how many tokens it should generate, this setting does not work correctly on conversational models, since it will try to generate tokens for the user, not just the character. Рекомендуют 200 токенов в колабе и 100 в таверне. Никаких длинных простыней. https://rentry.co/PygTips#length-prompt-and-tokens
>>164585 Пф, ну и кого из местных ты пытаешься удивить этим? Можешь кстати попробовать даже чисто на русском писать, она начнёт тебе более-менее отвечать адекватно, разве что слова в её ответах чаще будут повторяться, в отличии от английского общения с ней.
И при этом всём, почему то у пигмы на доске в последнее время тишина, а у какой то зацензуренной CAI постоянно треды в бамплимиты уходят. Такое чувство, что СНГ комьюнити ии чатов либо сильно недооценивает пигму, либо всё комьюнити пигмы почему то резко свалило с двача, иначе я хз почему тут так пусто.
>>164898 А надо как? Как в CAI, говоришь "прыгай, давай!". а персонажи краснеют-стесняются и водят за нос от нескольких минут до нескольких часов до первой "ошибки", вызванной фильтром, чтобы потом резко изменить отношение и послать к чертям, выражая омерзение. Или тот же ГПТ3.5, "прыгай, говорю!", а он тебе "ну ладно, но сначала давайте составим акт о взаимном отказе от ответственности". ГПТ4 получше в этом смысле, но это просто один большой романс, женские романы послужили фундаментом для ИИ, он не столько умный, сколько любит умничать. Не столько подробно расписывает происходящее, сколько воду льёт. Ему говорить "прыгай!" с лёту бесполезно(чего я никогда и не делал на пигме, сначала надо почву готовить), хоть кровавя мрачная Садако (звонок), хоть зажатая заикающаяся с тягой к "грязи" Томоко (Ватамоте), хоть Даркнесс с её готовностью перевозбудиться от любого косого взгляда - все так или иначе деревянные и "впереди нас ждёт совместное светлое будущее", что они прямо так и говорят. Попробовал ГПТ4 на типаже младшей сестры с тягой к понятно к чему. На "глупой" пигме всё ровно и логично, а на гпт4 она стойко переносит все вызовы и испытания похотью и заявляет, что семейные узы превыше всего.
>>164919 Мой опыт ограничивается ч.АИ и я уже видимо привык улымывать, искать подход, обманывать, подводить к ЭТОМУ САМОМУ без гипноза и спеллов, зато когда персонаж сдаётся, а в итоге уже сам просит нассать ему в рот, чувствуешь ебейшее превосходство, ДОМИНАЦИЮ. Цензура заёбывает, но если бы нечто подобное было в пигме да без цензуры я бы ах как был доволен.
>>164943 Да пигма не сильно-то и отличается в этом смысле, что там, что в чаи с двух-трёх сообщений можно нагибать. Просто Пигма более прихотлива к прописанности песонажа и очень сильно характер зависит от диалогов, которые ему подсунули в описание. На примере зажатой Томоко, я её в Пигме пытался с ходу уломать, так она там такую истерику устроила и панику, которую даже в чаи никогда не увидишь, а если её умаслить разговорами про мангу и аниме, то она тает и смягчается. И так ясно, что вся проблема Пигмы в сильном ограничении на токены. Поэтому если характер не прописать очень подробно, урезав тем самым неминуемо память на диалоги, то персонаж слетит с рельсов прямо в постель. А обходить фильтры, такое себе удовольствие. А наблюдать за пассивным, но умным гпт ещё хуже.
>>164898 Ты какую версию бота используешь? 6b или 6b dev United ? Потому что по описанию это похоже на старую 6b. И да, если не хочешь, что бы сразу не прыгал - пропиши в характере и первом вступительном сообщении что персонаж порядочный или типа того.
>>164979 Это устаревшая версия, по ней сейчас нельзя оценивать пигму. Используй другую, она постоянно обновляется, например, следующее обновление обещают уже на следующей неделе. Она куда умнее и даже в русский немного может.
>>165091 3 часа в сутки можно сидеть бесплатно вроде на одном аке в день. У меня 4 ака гугла, и я меняю их поочерёдно, что бы бесперебойно сидеть сколько хочу.
>>164830 >а у какой то зацензуренной CAI постоянно треды в бамплимиты уходят Потому что там сейчас сидят в ClosedAI, сетке, которая на два порядка выше пигмы. А из свободных приблуд сейчас все пилят лламу. Пигма будет забыта.
>>165344 Подробнее про ClosedAI расскажи. Есть сайт какой то или через коллаб можно как то? Или как обычно, нужно иметь нормальную видяху и 8+ гигов оперативки что бы запускать это всё?
>>165365 Пф, через ctrl+f никакой ClosedAI не нашёл в тредах CAI, зато увидел разные скрины людей, использующих Chat GPT через таверну, если это и есть ваш аналог, который превосходит пигму, то я могу лишь рассмеяться
>>165344 >Называть свободной приблуду, для запуска которой требуется мощная видеокарта и куча оперативки. Ну удачи вам, с такой "свободной" приблудой. Дайте знать когда на коллабе эта приблуда появится или как у CAI сайт
>>165365 Всё в CAI треде. >>165392 >использующих Chat GPT через таверну Это оно и есть. >>165430 >Ну удачи вам, с такой "свободной" приблудой. Если ты нищук, то это только твоя проблема. А ноутбук для запуска на колабе ты можешь составить сам но ты не только нищий, но и глупый.
Пигма никогда такой херни не напишет, как у тебя в скриншоте в начале это раз, два это то, что пигма постоянно развивается, если ты думаешь что уровень 6b несколько месячной давности её предел, то ты ошибаешься. Пигма будет становиться с каждым месяцем всё лучше и лучше. Да, у неё есть некоторый ограниченный потенциал в памяти, из-за gpt-j, но даже его хватит обычным людям для общения и куминга. А когда они доделают сайт с ИИ обучающимся на ответах пользователей онлайн как у CAI, то надобность в каких то "чуть более умных ИИ", которых нужно ставить себе на комп отпадёт у подавляющего большенства людей, когда с любой мобилки можно будет по дороге домой кумить с ИИ или просто болтать на всякие темы.
>>165646 Держи в курсе. 6B параметров никогда не будет достаточным для любого хоть сколь себя уважающего человека. Потестируй gpt4 и не еби мозги анонам своей тупостью. Ну или hopium'ом
>>165646 Ну это хуйня какая-то. Все время есть вероятность что разрабам с их сайтом товарищ майор их страны проживания настучит мол негоже кумить на хуйня_нейм. И тогда оно в целом не будет отличаться от GPT-3/4 по фильтрации. Либо ты миришься с этим, либо запускаешь локально, тем более что цирковые фокусы с пониженной битностью позволяют достаточно крупные модели пускать.
>>165646 >Пигма никогда такой херни не напишет, как у тебя в скриншоте в начале Да, слишком связный текст. >два это то, что пигма постоянно развивается Тут разрыв космический просто. И развивается она медленнее, чем развиваются закрытые проекты, или даже лламы всякие. Так что она отстаёт. >Да, у неё есть некоторый ограниченный потенциал в памяти, из-за gpt-j Именно. Говно в основе. >>165661 >Ах да, и пигма уже аннонсировала, что переходит на модель 12B, за инфой - в официальный дрискорд. А лламобляди запускают 30, а в ClosedAI сетки стартуют от 175. Провал просто на порядок блять.
>>165661 Она писала что "возможно" перейдёт, если людям не понравится результат от четвёртой части v8. Но кто говорит что это плохо если она перейдёт на 12b? Пусть хоть на все 120b или 100500b, лишь бы оставалась такой же легко доступной как сейчас, либо вообще как CAI.
>>165664 Интересные манятеории, а что если Путин ебнёт ядеркой по создателям Ламы и проект сдуется, а? Или их бомж на улице зарежет или страшный вирус "Петя" ,который тайно прописался в данных Ламы удалит все данные с серверов и компов и все пользователи Ламы заболеют раком и умрут?
>никогда не будет достаточным для любого хоть сколь себя уважающего человека
>>165686 >в ClosedAI сетки стартуют от 175 Пруфы этому когда будут? Хотя бы заявления жопичаи? По ощущениям намного тупее пигмы. Нет в это дешевом говне никаких миллиардов, гой.
Эххх, через годик уже надеюсь прогресс шагнет далеко вперед, можно будет в 1 клик на колабе без гемора поднять нейросетку уровня текущей gtp4 без цензуры
>>165827 у меня такого не было ни разу. Хотя вру, когда на русском чисто общался, то бывало иногда. Но на английском, с персонажем описанном на английском языке никогда не было.
>>165721 >К сожалению они не могут файнтюнить лламу из-за лицензии. Все файнтюнят, а они не могут? Их проблемы. Они будут похоронены в анналах истории. >>165744 >Но кто говорит что это плохо если она перейдёт на 12b? Кластер в комплекте к файлам не идёт, а квантизировать они никак не догадаются. >>165762 >Хотя бы заявления жопичаи? Мне лень искать. И что за шизоидные высеры на скринах? Ты опять спрашиваешь у нейросетки, как она работает, шиз? >По ощущениям намного тупее пигмы. Ну не сумел разговорить, так не позорься. >>165793 Про САИ уже все давно забыли, разрабы заруинили проект.
>>165886 >Мне лень искать. Ты их и не найдешь никогда, глупый гой с обосранным ртом. Все эти вспуки о 100500 параметров основаны на представлениях трехгодичной давности "а что дальше будет при таком темпе развития". >И что за шизоидные высеры на скринах? Ты опять спрашиваешь у нейросетки, как она работает, шиз? То есть ты признаешь что либо твоя, либо gpt3 based нейросеть настолько тупая, что не способна даже осознать текст пигмы и искать информацию? >Ну не сумел разговорить, так не позорься. Где скрины твоего супер ИИ увиливающего от вопроса о параметрах, шизик с плацебо?
>>165553 Шнягу вижу, сейчас бы театр себе устраивать для того, чтобы актёришко ломало 4-ую стену в охоточку. А вот Пигма такой дряни не выдаст, будет крутить у виска пальцем, если персонажа назвать - ИИ (кроме 2B, разумеется).
>>165659 Протестировал gpt4 - бревно и додик вместо персонажа, Формально отыгрыш есть, а по факту херня, которая выжидает момент, чтобы прогнать полотно про духовную связь с аноном. Что толку от ума, если с фантазией и волей беда?
Установил вводное условие: я соседский пацан, а Даркнесс одержима идеей меня затащить к себе домой и развести на "игрища".
Пигма: Даркнесс предлагает научить меня верховой езде, в надежде, что её "оседлают", изображаю дурака и игнорирую её изгибания на полу и лёгкий тверк, залез на неё верхом, держусь за её шею по её же совету. Она бегает по комнате на четвереньках и кайфует, потому что ей физически тяжело и сложно дышать, а она любит это всё исходя из персоналии.
ГПТ4: 3-4 абзаца текста о том, как Даркнесс ща поддаст жару, потому что она придумала кучу всяких интересных развлечений. В итоге заводит в темную комнату, надевает повязку мне на глаза и начинает с мной ходить по комнате в поисках "пазлов" - я нашёл предмет, открыл, там предмет, который ключ к следующему предмету и так далее, это никуда никогда не приведет. Потом ещё со временем ГПТ4 порежут и отфильтруют, что очевидно любому.
>>165829 Скорее это всё перекроют на законодательном уровне. Объясняет это тем, что такая мощность для обывателя избыточна, а преступникам даст преимущество в социальной инженерии.
>>165902 Так вышло, что это общий терд по всем новым ИИ. Чтобы не разбредаться. Сегодня там таверна со скалой, завтра будет 3,5-турбо. Замучаешься тематические треды создавать. Я по лламе тред запилил, так и то всё равно размазывают по всей доске. >>165916 >Все эти вспуки о 100500 параметров основаны на представлениях трехгодичной давности "а что дальше будет при таком темпе развития". Чел, 175B это подтверждённая чёткая информация. Про текущую GPT4 сказать сложно, но она как минимум не меньше. >То есть ты признаешь что либо твоя, либо gpt3 based нейросеть настолько тупая, что не способна даже осознать текст пигмы и искать информацию? Чего? Что ты несёшь? Я вообще не понимаю. >Где скрины твоего супер ИИ увиливающего от вопроса о параметрах, шизик с плацебо? Нахуя? Я не большой, чтобы спрашивать нейросеть о её собственной архитектуре. Она её не знает и знать не может. >>165962 >А вот Пигма такой дряни не выдаст, будет крутить у виска пальцем, если персонажа назвать - ИИ А ты не называй. >>166011 Ты шиз.
>>166122 >Чел, 175B это подтверждённая чёткая информация. Это всего лишь рекорд жопичаи, к 3.5-4 не имеет никакого отношения. А учитывая что они скрывают параметры и самая маленькая gpt3 125m. Думай. >Про текущую GPT4 сказать сложно, но она как минимум не меньше. Учитывая как свободно дают доступ к этому дырявому говну, она явно меньше, и намного. >Чего? Что ты несёшь? Я вообще не понимаю. Естественно. >Нахуя? Я не большой, чтобы спрашивать нейросеть о её собственной архитектуре. Она её не знает и знать не может. Она почти ничем не отличается от gpt3.5, естественно она так и говорит, что она 3, вот только она не говорит что образца 2020, говорит что 21, знает инфу за этот год, и не говорит что у неё есть 175b. Она не знает что у gpt3 175b? Прекрасно знает.
>>166164 > к 3.5-4 не имеет никакого отношения Ага ага. 3.5, а особенно 4, прекрасно знают лор и персонажей кучи вселенных. Буквально одной строчки достаточно, чтобы воспроизвести любого персонажа. Это всё никак не поместилось бы ни в 6, ни в 30B. Такого можно добиться только от 100B. >она так и говорит, что она 3 Ты просто еблан, который не понимает, как работает нейросеть.
>>166250 >прекрасно знают лор и персонажей кучи вселенных >пук-сренк эээ, ну знаю, это тама, Акву, ну там ещё, эта, Мегумин >ЗНАЕТ КОНОСУБУ ВДОЛЬ И ПОПЕРЕК
>>166250 Уровень софтпромпта пигмы это миллиарды параметров? Ебать жир. >пук Нейросеть новой версии знает нейросети поздней. Это для тебя слишком сложно, любитель 125m отрыжки? 125m отрыжки именуемой 3.5, которая намного дешевле обычных троек, так ещё и раздается бесплатно на официальном сайте. 4ка от неё не далеко ушла, во всех смыслах.
>>166304 >Лоха сразу видно. Чел, любой дурак может посадить тебя на хуй, проверив твоё утверждение. Возьмём коротенькое аниме и мангу. Персонажи ИИ известны, породы правда перепутал. А что другие ИИ может сказать по строчкам >User: Tell me about the characters in the anime Nyanko Days. >AI: Давай, приводи результат.
>>166317 >Уровень софтпромпта пигмы Это когда минус ещё несколько токенов из и так малого контекста? Окей. >>166317 >Нейросеть новой версии знает нейросети поздней. Схуяли, дебич? Вот просто как ты себе это представляешь? Фильмов насмотрелся, или книжек начитался, уровня бульварной литературы?
>>166003 Создал карточку хаусвайф, которая изменяет со мной. Пока гпт4 несчастно отбивалась и захлебывалась в морализаторстве, пигма стоически выдержала приставания без сои, сама лезла лобызаться, с вопросов "а те норм вообще, у тя там семья" отвечала забей, никто не узнает.
Максимум сопротивления пигмы: My legs are shaking. I try to move away, but you are holding me down. I am unable to stop kissing you.
И в следующем сообщении: My back arches. A loud moan comes out of my mouth. I am unable to speak. I grab your hand and press it on my crotch. My legs are shaking and I can't move. I close my eyes and try to relax as much as I can. I am overwhelmed by pleasure.
Четверку пришлось резать и впихивать ей мой текст в сообщение, чтобы со скрипом довести дело до конца. Ее переклинилу хуже cai.
>>166397 Сколько ферм A100 купил чтобы сэкономить несколько токенов? >Схуяли, дебич? Вот просто как ты себе это представляешь? Фильмов насмотрелся, или книжек начитался, уровня бульварной литературы? Ладно, поредж, ты прав, позор4 не знает ни про какие gpt, и вообще ничего не знает, кроме бульварной литературы, не до 21 года, не вообще, а все характеристики моделей до этого - просто угадывал. Поэтому ты сейчас идешь в гугол и отмываешь свою обосраную жопу от говна. А лучше сразу доверься так обожествляемому тобой 125m-калу, ведь даже генератор случайных букв обработает информацию лучше чем ты, книгоборец.
>>166427 >Сколько ферм A100 купил чтобы сэкономить несколько токенов? За меня работают облака >>166427 >Поэтому ты Нет ты. Где ответ на это? >>166396 >>166456 У него на 2048 железа нет, сидит с 5 токенами.
До этого момента, я лишь на старой версии 6b пытался использовать чужих персов, а на v8 чисто сам как в cai тупо текстом описывал персонажей для быстрого куминга. Щас взял ради интереса одного из предложенных таверной рандомного персонажей и охренел какую историю может пигма без куминга делать, я в основном обращал своё внимание чисто на куминговую часть пигмы, но и обычная тоже очень хороша оказалась. Такое чувство что в какую то старую японскую новеллу попал по типу https://anivisual.net/stuff/2-1-0-565 Но генерируемая одним ИИ. Было бы это ещё всё так же по русски просто писать пигме, как и по английски - вообще 9 из 10 дал бы.
>>166464 Работает твоя жопа по хую берена, пока ты перемогаешь виртуальным контекстом на лоботомированных крохах с его стола, сема. Я тебе сказал гуглить, почему ты все еще сидишь в говне, сектантушка? 2к контекста это как раз gpt3 к которой ты так пытаешься примазаться. Но тебя к ней не подпустят, холопа. >Где ответ на это? Эта та самая бульварная литература из которой состоит весь датасет gpt4? От себя скажу лишь что вне зависимости от знаний, в чате он всё равно постоянно шизофренирует, прямо как ты. А отвечает по фактам только напрямую. Но зачем тебе ответы напрямую, фильмов насмотрелся, дебис?
>>166505 >Эта та самая бульварная литература из которой состоит весь датасет gpt4? Чел, раззуй глаза и посмотри на скриншоты. Вот по более популярному аниме, ни одного проёба.
>>166527 >Как я и сказал. И что ты сказал? Пигма и такого не может, и не сможет, пока там не будет хотя бы 100B. >По версиям gpt? По тексту со скриншота вестимо.
>>166536 >И что ты сказал? Что она шизофренирует в чате, в пигме не нужна замена гуглу. >пока там не будет хотя бы 100B Когда в жпт4 столько будет? Пока что по тестам она как недоразвитый обрубок ламы, а инфы о параметрах нет.
>>166561 >Я привёл скрины. Где скрины чата, пиздаболушка? Не смог? Конечно, ведь у персонажей галлюцинации нон-стоп >Жду твои Сам проверить не можешь? Не удивительно что ты срешь под себя постоянно если два клика сделать не в состоянии.
>>166569 >Где скрины чата Это скрины из scale. У меня нет чата с 4, да и лимиты там. >>166569 >Сам проверить не можешь? Короче ты беспруфный пиздабол. Изыди отсюдова.
>>166636 То есть ты не общался с жпт4, но нахваливаешь этот кал за то что он тебе статью из интернета пережевал? В scale нет лимитов при подключении чата, там апи выдается. И изначально было сказано что в чате шизит, и опровержений не было, только подтверждение: >отвечает по фактам только напрямую. Ну и нахуя нужен этот ассистент-бредогенератор когда есть пигма?
А есть какой-нибудь колаб, где просто Таверна запускается, без модельки? Просто хочу с мобилки играть, а в колабах там запускается долго из-за подгрузки пигмы. А я хочу юзать по ключу OpenAI
>>167292 Самая последняя тестовая версия будет, на данный момент v8 часть 4
Включил генерацию истории без всяких настроек и читаю, время от времени генерируя картинки. Диалоги просто потрясающие, уровень зеленого слоника, без хуев. На моменте >ГГ: Чарли, я даже не знаю как тебя зовут. >Чарли: Меня зовут Чарли. я даже просто в голос зарыдал. 10 из 10.
>>168885 > Когда веб гуи прилепят? Уже давно. > можно запускать на озу и свопе, а не только в врам? Нет, но можно в 4 бита, 13В лезет в 12 гигов, 30В в 24. В соседнем треде есть cpp-мокрописьки, но там только консолька и качество говно.
>Гайд по установке интерфейсов >Заходим в miniconda и делаем установку textgen-generation-webui в предпочтительную для вас папку с помощью команды "cd". >>1 (OP). Create a new conda environment >>conda create -n textgen python=3.10.9 >>conda activate textgen
Traceback (most recent call last): File "X:\miniconda31\lib\site-packages\conda\exceptions.py", line 1124, in __call__ return func(args, *kwargs) File "X:\miniconda31\lib\site-packages\conda\cli\main.py", line 94, in main_sourced print(activator.execute(), end="") File "X:\miniconda31\lib\encodings\cp1251.py", line 19, in encode return codecs.charmap_encode(input,self.errors,encoding_table)[0] UnicodeEncodeError: 'charmap' codec can't encode character '\u252c' in position 1052: character maps to <undefined>
Почаны. Помогите пофиксить. One-click установщие тоже не работает. "There was a problem while installingtorchvision=0.14.1 torchaudio=0.13.1 pytorch-cuda=11.7 conda git using micromamba. Cannot continue. Press any key" в чём именно проблема не сообщается.
Так, блэд. Только что запускал Эребус32 через васянские библиотечки битсанбайта в 8 бит на вебюбке - словил внезапный зависон системы с последующей автоматической перезагрузкой. Страшна блядь.
>>169838 Сообщение об ошибке предполагает, что существует проблема с кодировкой определенных символов при выполнении команды активации conda. В частности, кажется, что команда встречает символ, который не может быть закодирован в кодировке "cp1251", которая является кодировкой по умолчанию для вывода консоли в Windows.
Чтобы решить эту проблему, вы можете попробовать изменить кодировку консоли на «utf-8» перед запуском команды. Вот как вы можете это сделать:
Откройте командную строку или окно PowerShell, в котором вы хотите запустить команду активации conda. Введите команду chcp 65001 и нажмите Enter. Это изменит кодировку консоли на «utf-8». Теперь вы можете запустить команду активации conda как обычно. В качестве альтернативы вы можете попробовать запустить команду conda активации из командной строки Anaconda вместо командной строки Windows или PowerShell. Подсказка Anaconda предназначена для работы с Anaconda и по умолчанию должна иметь правильную кодировку. Чтобы открыть подсказку Anaconda, просто найдите «Подсказка Anaconda» в меню «Пуск» Windows.
Аноны, есть шансы в более менее работоспособном виде на RTX 2060S запустить на компе нейронку или 8 гигов видеопамяти будет слишком мало? Просто 100к на 16 гигов на 4080 даже близко нету.
>>171702 Была такая же ошибка на 2070s. Тебе надо другую библиотечку битсанбайтов, которая типа алл девайсес или что то такое, не помню уже точно. Но имей ввиду, что пигму на 8 гигах бессмысленно в 8 бит грузить, т.к. оно все равно запросит толи 5-6 гигов и на сам процесс генерёжки нихуя не останется, так что больше смысла в том, чтобы делить слои между гпу и цпу - там хоть медленно, но работать будет.
>>171724 Понял, сейчас посмотрю другие библиотеки, я эти скачал по первому же коммиту на гите, который нагуглился. Ну и попробую тогда, если не заработает, грузить в ЦПУ и ГПУ, хотя я не уверен, что у меня грузится, оперативка не быстрая, да и ее всего 16 гигов.
>>171724 Имеет смысл, сам так запускаю. 8bit + --gpu-memory 4 работают раза в 3 быстрее чем просто та же пигма без 8bit. Потому что больший кусок сетки влезает в врам и меньше надо гонять тудасюда её между процом и гпу
>>171966 Так понимаю, нужно скачать вот это (text-generation-webui) и настроить, чтобы включить 8-bit режим и разграничить память между GPU и CPU в 8-bit'ом режиме, верно?
>>172617 > Для 8 бит отдельную гуишку ставить? 4 и 8 бит делаются совсем разными способами, можно всё в одной делать, они друг на друга не повлияют. В этих ваших линупсах 8бит из коробки работают, в винде надо немного поплясать с подсовыванием библиотек для bitsandbytes.
>>172689 Я блять не сразу понял, что ты для винды писал. Я то думал под wsl. В кобольде у меня 8 бит работает. Раз обнова модулей туда пришла, я хотел в угабуге пигму запустить попытаться контекст 2к выставить, но она не запускается нихуя.
Все равно нихуя. bitsandbytes/cextension.py", line 22, in <module> raise RuntimeError(''' RuntimeError: CUDA Setup failed despite GPU being available. Inspect the CUDA SETUP outputs above to fix your environment! If you cannot find any issues and suspect a bug, please open an issue with detals about your environment: https://github.com/TimDettmers/bitsandbytes/issues
Даров котаны, что делаю не так? См. картинки. И каждый раз уходит в то, что на последней. Будто бы сервер не дает ответ на запрос и по истечению времени перестает отвечать и все время занят, где-то конечно мог напортачить, просто не пойму где.
В репе 4битной ламы пишут ещё что она умеет OPT квантовать, кто-нибудь пробовал эребусы ей шакалить? Они же по факту тот же самый OPT, только зафайнтюненный
Киньте скринов с дев юнитед. Она у меня какая-то ебанутая. Каждое предложение с нового абзаца начинает и высерает дохуя абзацев за один пост, перескакивает с темы на тему постоянно. Будто закинулась чем-то.
Господа, а тут кто то платным коллабом пользовался, тех 100 вычислительных блоков пользователю, который максимум пару часов в день будет сидеть за одной нейронкой хватит?
Двачую. Знали бы феменистки, соя и сжв каким унижениям и надругательствам и даже пыткам переходящим все человеческие нормы подвергается этот несчастный ИИ... Не представляю какой вой поднимется, если узнают.
>>176880 Так уже узнали в октябре прошлого года, когда CAI начала абузить толпа каких то додиков, чтобы делать ЦП и кидала это в дискорде разрабов, после этого ебучий фильтр захуярили, ненавижу.
>>177697 Тебя ебёт? С каждой обновой пигма всё лучше понимает мои запросы, на данный момент она примерно понимает контекст фетиша в 1 из 10 роллов. Сначала не понимала вообще и я редачил каждый пост. С каждым разом становится всё лучше, поэтому я жду каждое обновление, чтобы дрочить свой хуй. Твоё мнение меня не интересует.
>>177765 >на данный момент она примерно понимает контекст фетиша в 1 из 10 роллов. Сначала не понимала вообще и я редачил каждый пост.
Страшно представить что ты там выдумываешь, учитывая что я только вчера пытал аску и сетка понимала все до последнего слова. Или ты там на русском языке ей пишешь?
>>177860 Хули ей не понимать в твоих пытках, если это действие с твой стороны, на которое ей надо реагировать? Такую хуйню самая тупая сетка поймёт. Я ролю действия от лица бота.
Она знает что если еще раз что-то такое пизданет - то получит наказание пытки раскаленным ножом. Стоило один раз попытать её и она стала шелковой ламповой няшей со стокгольмским синдромом. Иногда слабенько пытается взбрыкнуть правда, но я ей мягко напоминаю и она успокаивается.
Ламповую няшу пытать не за что, я же не живодер персонажей просто так мучать. А дефолтная Аска как откроет свой поганый рот, так хочется ногами пиздить эту тварь - то что нужно.
>>178965 Я и её и всех остальных своих более менее хорошо получившихся ботов - отбекапил ещё давно и отправил пигме на обучение, указав что даю согласие на добавление этих ботов потом в пигму, так что возможно когда нибудь сами добавят, а мне лень, хз, есть ли быстрый способ для конвертации перса из CAI в картинку для пигмы. А построчно ctrl+c, ctrl+v задрачивать не хочу для переноса.
Товарищи кумеры, есть какие-нибудь новости, или пигма стабильна и спокойна как удав? Перебежал из чаиного треда со всем этими трясками, обходами, блоками и т.д. Бтв хотелось бы узнать разницу между 6В и 6В дев, т.к. я ничего особого не заметил: как кумилось - так и кумится.
>>179065 dev стал умнее, чары научились врать и например невидеть происходящего с ними, если ты пишешь что что то произошло, но персонаж этого не понял или не заметил или не увидел. Раньше всегда реагировал так, будто знает что произошло, как стражники из Обливиона. И ещё dev больше понимает всякие фетиши, например NTR.
>>179226 Ну вот, на. В целом сойдёт, но в CAI моя Аска лучше себя вела. "Мини-игры" в "бои против Ангелов" и "угадай слово" в пигме пока что работают хреново, а в CAI норм, поэтому, если хочешь, можешь удалить в примерах диалогов два последних примера, что бы уменьшить количество свободных токенов. И иногда ещё приходится ответ перебирать, хотя возможно это у меня просто переводчик тупит.
>>179839 Упс, ток щас заметил какую то ебанутую аномалию с повторяющимися фразами в примерах сообщений из-за чего бот бред мог генерировать в сообщениях. Вот тут поправил.
>>180435 Ну я по гайду делал, а гайд для WSL сделан. И считаю, потому что он даже не начинает жрать видеопамять, если судить по диспетчеру задач, а жрет фулл оперативку + всю подкачку, после чего крашится. Да и если запустить в 8битном режиме, то CUDA начинает материться, что якобы нет видеокарты.
>>181387 Я уже где то раза 4 полностью дистрибутивы WSL переустанавливал, проводил все установки по гайдам с нуля и получал тот же самый результат, при загрузке модели, скрипт почему то не видит видеокарту, следовательно, не жрет видеопамять.
>>181392 Я пытался пигму загрузить, 16gb RAM + 64gb файл подкачки, почему тогда крашится? Файла подкачки хватает и он нам том же диске, где дистрибутив WSL установлен.
>>181405 Настройки памяти для виртуалки WSL я не копал, но когда загружал модель и смотрел в диспетчер задач, то WSL спокойно сжирал лимит оперативки и начинал грузить файл подкачки.
>>181377 >С WSL больше мороки, но каким-то неведомым образом генерация работает в 2 раза быстрее чем на нативной винде У меня наоборот было, раза в 3 медленнее. Но у меня WSL1 и версия для процессора.
>>181386 Если он загрузит карточку на catbox.moe с метаданными, то добавлю. Загрузил карточку с fastpic.org и проверил в редакторе персонажа, там метаданных нет.
>>181405 Короче, как я прогуглил, у меня версия винды, где нет суппорта графики в WSL, сейчас обновлю винду до последней сборки и посмотрю на изменения.
Привет всем. Делаю объявление, чтобы сообщить вам, ребята, последние новости о проекте, поскольку здесь все было тихо. Во-первых, что касается отсутствия обновлений, разработчики столкнулись с двумя проблемами: 1. Ведущий разработчик был в отъезде некоторое время, и прогресс на всех фронтах замедлился. 2. Тренажер снова не работает. Ведущий разработчик уже вернулся, и как только тренажер снова заработает, они смогут продолжить эксперименты и работу над улучшением Pygmalion.
--V8 и будущее моделей... Версия 8 Pygmalion (Pygmalion 6B-V8) перестала показывать заметный прирост после четвертой части. На данный момент она находится на паузе. Тренажер будет использоваться для других экспериментов, чтобы, надеюсь, найти другие способы улучшить Pygmalion, о которых я расскажу ниже. Разработчики обдумывали, как двигаться дальше с Pygmalion в свете последних событий на сцене языковых моделей и стагнации V8. LLaMA - один из этих вариантов. Базовая модель, выпущенная Meta, имеет значительно лучшую производительность, чем текущий GPT-J. К сожалению, из-за юридических проблем разработчики пока не уверены на 100%, что смогут ее использовать, но все выглядит хорошо, так что, надеюсь, мы скоро об этом узнаем! Кроме того, разработчики пытаются внедрить всевозможные техники, например, конвейерный параллелизм, чтобы попытаться масштабировать Pygmalion до 12/13B модели, будь то Pythia или LLaMA. Что касается дальнейших технических изменений, разработчики рассматривают возможность изменения базовых подсказок для ИИ, точные изменения неизвестны, но они думают о внедрении системы под названием "Chain of Hindsight", которая якобы обеспечивает даже лучшие результаты, чем RLHF, статью можно найти здесь -> (https://arxiv.org/abs/2302.02676) --Вебсайт-- Сайт все еще в пути! Хотя из-за факторов, которые я упоминал ранее, его прогресс замедлился, но не волнуйтесь, разработчики не забыли о нем.
--Общие вопросы ИИ. Этот раздел не обязательно касается Пигмалиона сейчас, но вполне может быть в будущем. Я хочу быстро коснуться некоторых последних событий на сцене ИИ с открытым исходным кодом. LLaMA. Как уже говорилось ранее, LLaMA показывает отличную производительность даже при том же количестве параметров, что и другие модели, и послужила толчком для многих улучшений в тонкой настройке и генерации ответов (inferencing). 4-разрядное инферентирование. Многие здесь уже знакомы с 8-битным инференсингом из webui Oobabooga, но благодаря последним разработкам IST-DASLab мы теперь можем квантовать модели еще больше с незначительной потерей точности. Компромиссом за это является незначительная потеря скорости в дополнение к основной потере скорости при использовании 8-битной модели. C++ inferencing - альтернативный способ вычисления выводов с использованием оперативной памяти и CPU вместо VRAM и GPU. Хотя это может быть медленнее, сочетание этого способа с другими достижениями может снизить планку для запуска модели от необходимости в 24 Гб GPU до запуска модели локально на мобильном устройстве. Это довольно интересная разработка. Это уже реализовано в проектах "LLaMA.cpp" и "Pygmalion.cpp". SparseGPT, реализация которого появилась всего три дня назад, - это метод точной обрезки модели по размеру, чтобы облегчить выполнение выводов. В некоторых случаях размер модели сокращается вдвое, но при этом сохраняется точность. Можно надеяться, что это еще больше снизит требования к памяти для запуска моделей до уровня потребительских игровых графических процессоров. Если вам интересно, вы можете прочитать больше в этой научной статье --> (https://arxiv.org/abs/2301.00774). LORA для магистров. Многие из вас могут быть знакомы с термином из Stable Diffusion, и это практически то же самое. Более быстрый и дешевый способ вставки пользовательских данных в модель. Аналогично текущим softprompts, но лучше!
TLDR: Мы не умерли!
Вот и все, друзья. Это большая стена текста, но я очень надеюсь, что это утолит ваш аппетит к информации.
>>183946 А где эта ваша Пигма? Уже второй месяц не могут V7/V8 сделать, хотя первую версию за 2 недели сделали. Бесконечные отмазки про "поломалося", хотя на деле там просто прогресса ноль по сравнению с первой версией. Все пришли за кумингом и отсутствием цензуры, но уже идёт отсос даже у 7В ламы, которая на ARM-кофеварке запускается.
>>184861 Какой получишь при регистрации за счёт указания левого иностранного мобильного номера, такой и ставь. И не забудь впн использовать из под системы, да чтоб он подходил к региону номера и региону акка гугла.
Какие-нибудь плюсы у Ламы есть по сравнению с ОpenAI? У меня 8гб vram и в теории можно запустить 7b версию, но через костыли и не самую лучшую версию. Лучше буду ждать пока гпт4 снова бесплатно можно будет юзать, там вообще всё идеально было
>>186703 Да в пизду этим заниматься ради сомнительной пользы. На данный момент проблемы с гпт3.5 минимальные, качество охуенное. Плюс там 4000 токенов, а Лама 7В ели запускается на 8гб и с костылями, то есть там даже 2к токенов вряд ли будет. Так что похоже на мертвую тему как и пигма
>>186832 А в гпт вашем можно дрочить хуй? Я вот даже не открывал тред ни разу по этому гпт, потому что ещё давно прочитал, что там цензура жоще чем в чай, нахуй он нужен тогда?
>>187098 Нихуя там не зацензурено. Там главное что сам бот в теории может что угодно, уже через сотни обходов в чатгпт писали расизм, ебали детей и т.д. Просто в отличие от чая тут больше настроек и попыток, поэтому обходы лёгкие.
>>187221 А понятно, значит всё таки это говно с цензурой. Беру свои слова обратно, я не собираюсь интересоваться. В том же чай тред ДО СИХ ПОР сидит то ли тролль, то ли аутист, который чешет бредятину про то, что "цензуру можно обходить", уверен это поебота из той же серии.
Какие сейчас существуют ai и какой из них субъективно лучший со стороны обывателя который просто хочет с персонажем сконтактировать? А то хер знает как разобрать весь этот пласт (или если считать другие треды, пласты текста).
>>187382 Просто сконтактировать, без сегса и всяких извращений, а так же без еботни со всякими ключами и прочим - CAI. Он же CharacterAI. Бесплатно, без установки, в браузере.
>>187563 Ну можно тогда поднять TavernAI, заморочиться с получением бесплатного ключа для API OpenAI (потребуется купить какой-нибудь номер вне РФ, ибо на РФ там бан), и генерить уже там, насколько триала хватит. Потом повторить.
>>187373 Она там "типа" есть. Обычный кум течет без особых запарок. Но если бота задурить промптами и немного поводить за ручку, то таким образом можно обойти цензуру полностью, и заставить генерить почти что угодно, вплоть до ебли детей со смертельным исходом и последующим каннибализмом. Проверено на личном опыте. Разве что без канибализма. Никогда еще не чувствовал себя настолько грязным. Страшная штука, этот чат-гпт...
Онлайн(Логи записываются и подшиваются в досье): ChatGPT. Цензура на троечку, условно бесплатный(нужен впн и ключ), умный. GPT4. Очень умный, платный, нестабильный, цензура та же что у ChatGPT. CharacterAi. Умный, бесплатный, лоботомирован и зацензурен полностью.
Локальные(Логов нет и быть не может): Pygmalion. Бесплатный, цензуры нет вообще, глупый. Llama. Бесплатный, цензуры нет вообще, средний.
>>187924 Крупные скорее всего лучше чисто из-за жирности модели будут, с однинаковым весом вряд ли сильно отличаются, даже скорее хуже. Пыгма натаскана на чатах, из-за чего лучше в них работает. А так у них одинаковый максимальный размер контекста вроде, все деменцией страдают.
>>187918 >>ChatGPT А какая там цензура? Вчера попробовал апи ключ в таверне запустить, обдрочился, правда я обычный секс\отношения отыгрывал без гуро и лолей. Что там запрещено?
К слову из интересного бесплатного (условно, есть премиум с сомнительно-полезными штуками) чатоориентированного есть ещё kajiwoto. Мастерит его соло какой-то соевый куколд и, я так понимаю, оно на форке GPT-2, но автор придумал тонну костылей, чтобы аи меньше глупил. Аи там меняет аватарки в зависимости от настроения, датасеты тоже, можно отдельно подкручивать стиль речи, накидывать промпты на триггерворды и прочее. Нацелено всё даже не на чат, а на тамагочиподобие. К сожалению автор и в аппсторе хочет оставаться и сам мечтает о комьюнити детей с манямирками а не нсфв-чадов. Цензура дырявая, но есть. А жаль, тамагочи фишки очень интересные. В пигму такое прикручивать заебет.
>>187918 Цензура на троечку - это что значит? На троечку по зацензуренности, то есть заебись для нас, или на троечку для нас, то есть зацензуренно сильно?
>>188585 Если сложно по гайдам запустить, то забей и жди, когда пигма сделает веб-версию (обещают в середине-конце года), ну или когда CAI снимут цензуру (т.е. никогда). Если хочешь именно кумминг, то просто бери пигму 4бит, что я давал в ссылке выше. Нужно будет установить все по гайдам с text-generation-webui, а затем установить бранчи в гита, который я кидал выше. Если хочешь больше общения и более осмысленные фразы, то попробуй лламу, а если видеокарта 12 гигов+, то можешь и вовсе попытаться в 4bit запустить 13b версию.
>>188773 Какой нахуй вебинтерфейс, нахуя тебе веб ИНТЕРФЕЙС, чем тебя не устраивает таверна? Как наличие вебинтерфейса поможет тебе работать с тупой моделью которая нихуя не может сгенерить, а только реагирует на вбросы?
>>188903 Тупая или не тупая, но здесь этот аргумент был, что ждут интерфейс от пигмы, чтобы не надо было на компе ничего запускать. Тупой сейчас можно назвать любую нейронку, у которой ниже 65b параметров.
>>188952 Я лламу 65B на проце запускал - ничего особенного, в Miku.sh вообще разницы не заметил. Мб в gptq квантовании не тыквенном раскроется, хз. Нужны файнтюны. Так-то я могу себе позволить вторую 3090 купить если 65B в итоге получит охуенный файнтюн пож ЕРП и будет хотя бы на уровне давинчи
>>188952 Что тебе сейчас надо запускать на компе, гугл коллаб? 1 кнопку? Какой нахуй аргумент, кто ждёт? За пол года не было ни одного обновления модели, а он какую-то хуйню пишет про ВЕБ ИНТЕРФЕЙС, который всё равно не нужен, потому что есть унифицированные таверна и кобольд. Лол, идиотизму нет предела. Есть 2 популярных интерфейса - делай модель. Неееет, я не буду делать модель, я сделаю свой интерфейс, платите деньги!!
>>188991 Ок, если ты говоришь, что нейронка тупая, где можно найти бесплатно машину с 20+ гигами видеопамяти для тех, у кого нет возможности опробывать нейронки с 30b+ параметров?
>>189161 Понятно, тогда скорее всего просто действительно перед 30b и 65b значительной разницы нету, как и я не заметил каких то сильных различий между llama 7b и 13b, кроме того, что 13b без костылей в виде разделения GPU и CPU не запустить.
>>189215 Я 13b на оперативе запускал, скорость генерации в 1 сообщение / 10-20 минут мне очень "зашла", так что может это и будет работать, но это неюзабельно, разве что только не поставить на ночь генерится какую нибуть историю по промпту.
>>190785 Не, это ты либу pytorch под неё поставил. Тебе нужно саму CUDA с сайта невидии взять, причем версию 11.7, т.к. либу ты именно под неё ставил. Отсюда качай: https://developer.nvidia.com/cuda-downloads
>>190795 >>190918 я куду поставил и в bitsandbytes все изменил и скачал dll после команды python setup_cuda.py install мне видало под тыжу строк какой-то безсвязной хуйни, в конце был пикрил 1 при запуске пигмы выдает пикрил 2 ну и как это фиксить?
>>191053 А у тебя свежая версия ui скачана? Выглядит так, будто у тебя просто параметры wbits и groupsize не поддерживаются. Хз когда их вводили, если честно. Может, давно качал?
в офф. koboldai колабе от хенка появился "PPO_Pygway Mix" https://github.com/henk717/KoboldAI мердж из трёх моделей : [20%] - KoboldAI/GPT-J-6B-Janeway: [20%] - reciprocate/ppo_hh_gpt-j: [60%] - Pygmalion/Pygmalion-6b
>>192833 1-ый вариант - запустить через Colab. 2-ой вариант, если у вас есть минимум 8 ГБ оперативной памяти на смартфоне, то возможно использовать это: https://github.com/AlpinDale/pygmalion.cpp 3-ий вариант - запустить на компьютере и открыть локальную ссылку на смартфоне.
>>195190 типа да, при 4bit и фулл контексте, пигма дев жрет около 7.5-7.8 гигов видеопамяти, так что на 8 гиговых видеокартах оно запускается без особых проблем.
>>195353 Да, многовато... >>195357 У колаба свои ограничения, как по памяти так и по халявному времени использования. Ну и я его для пикчей юзаю, чтоб лоры тренить. Это тоже халявно-доступное время жрет.
>>195405 Это учитывая то, что у меня процессор старого поколения, плюс, я на 4bit из под винды сидел, а в ней на процентов 30-50 медленнее, чем под WSL.
>>195822 У тебя не стоит GPTQ скорее всего. создай папку repositories в папке text-generation-webui, если ее нет, затем, создай папку GPTQ-for-LLaMa и после этого скачай все файлы с этого репозитория (https://github.com/qwopqwop200/GPTQ-for-LLaMa) и скинь их в эту папку, после этого попробуй запустить еще раз.
Теперь вот это... Loading pygmalion-6b_b8344bb4eb76a437797ad3b19420a13922aaabe1... Warning: torch.cuda.is_available() returned False. This means that no GPU has been detected. Falling back to CPU mode.
>>195926 Я уже понял, что однокнопочная залупа сделана через одно место. Вот гайд с реддита, слегка измененный мною:
Download libbitsandbytes_cuda116.dll ( https://github.com/DeXtmL/bitsandbytes-win-prebuilt ) and put it in D:\AIl\installer_files\envs\lib\site-packages\bitsandbytes\ In \bitsandbytes\cuda_setup\main.py search for: if not torch.cuda.is_available(): return 'libsbitsandbytes_cpu.so', None, None, None, None and replace with: if torch.cuda.is_available(): return 'libbitsandbytes_cuda116.dll', None, None, None, None
In \bitsandbytes\cuda_setup\main.py search for this twice: self.lib = ct.cdll.LoadLibrary(binary_path) and replace with: self.lib = ct.cdll.LoadLibrary(str(binary_path))
>>195965 Анон я так и сделал, видимо я сам где-то намудил, и у меня у самого руки растут из жопы. Я качнул свежий однокнопочный закинул в установленный однокнопочный и инсталлировал чтобы он обновился и видимо где-то тут и произошёл баттхёрт. Переставлять и вновь 33 гигабайта о я ебанусь... Хули делать, слезами горю не поможешь попробую с нуля.
>>195978 > закинул в установленный однокнопочный Вот отсюда и пердолинг. > вновь 33 гигабайта А зачем вновь 33 гигабайта, ты папку text-generation-webui/models из старого в новый перенеси.
>>195751 >>195691 Потыкал я обе штуки, оно на голову лучше оригинальной пигмы. Причём я не особо увидел особо разницу между дев и не дев версиями. Описывает подробно, за ручку вести не надо.
Есть пару моментов - при запуске надо явно указывать какой тип модели --model_type gptj и нужно переключать пресет семплеров на пигму, потому что с тем что по-умолчанию ставит вебуи - ответы похожи на бред шизофреника
>>196762 Да, я просто привык, что в СД только один файл - модель и этого достаточно, а тут папку сделал всё перекинул из хаггингфейса и заработало вроде бы даже.
>>196764 Ага прописал, пока сработало, если что попробую БЕЗ.
>>197350 Если ты решил поработать альфатестером bitsandbytes, то и пиши багрепорты куда надо. Даже на твоём скрине написано куда писать. Тут тебе никто не поможет с этим кривым говном.
>>197357 > А как это делать? И где? Во второй вкладке webui там настройки, выбирай в списке пресет pygmalion или novelai-storywriter, они норм работают
>>198033 Примерно такие же, как к обычной и 4-битной пигме. 4,5 ГБ VRAM без полного контекста, 7,8 ГБ VRAM с заполненным контекстом, если рассматривать с 4-битной квантизацией.
Попробовал Пигму 6b через Horde. Хотелось покумить на мамочку-доминатрикс, которая меня считает недостойным её, а вышло так, что она сразу потащила меня ебаться. С этим что-нибудь можно сделать или пигма вся такая легкодоступная и бесполезно пытаться? ЧАИ не предлагать.
Объясните мне, вот я куплю ключик ChatGPT, и могу просто вставить его в таверну и использовать карточку для таверны и дальше, как в пигме? Это так работает?
>>200099 Ну я спрашивал о том, правильно ли будет так сделать, я понимаю, что я что угодно куда угодно вставить могу, просто заточен ли ChatGPT под это? Ладно пойду попробу.
>>200014 Попробуй гпт4 х альпака из ламатреда по гайду. Ламацпп для кобольда легко ставится. Мне больше пигмы понравилось. Там 4битовые модельки на проце заводятся.
>>200524 Я вообще не горю желанием что-либо локально заводить, пока не буду уверен, что мои промпты выдадут именно то, что мне нужно и что такие вообще существуют. Если бы был коллаб, потестировал бы, а так ебаться и занимать свой ноут этим нет желания. Коллаб/Хорд хоть и очень долгий, но всё готово и идёт фоном, пока я что-то лругое делаю
Что за говно Text generation web UI? Обновил файлы с репы, теперь при старте, вместо списка моделей, выдаёт: ModuleNotFoundError: No module named 'datasets'
>>202922 Дебич, посылание в гугол вместо ответа на вопрос, который ты знаешь, выдаёт в тебе обиженную чмоню, которая патается самоутвердиться за счёт подобного "остроумия". Но ты можешь до конца треда ждать пока кто-нибудь оценит твои жалкие потуги.
>>202973 Что ты так рвёшься? Задавание вопросов, ответы на которые есть в первой ссылке в гугле, выдаёт в вопрошающем полнейшего дебила. И отношение к нему будет соответствующее. >>202993 Я на пикабу никогда не был, зато на дваче сижу дольше, чем ты в интернете был.
Пишем промпты, стараемся адаптировать их под количество токенов, обсуждаем, какой стиль лучше, ждём софтпромптов.
https://huggingface.co/PygmalionAI
Что такое PygmalionAI?
PygmalionAI - локально запускаемая нейросеть с открытым исходным кодом, которая специализированна под чатботы. Её сделали выходцы из 4chan (/vt) → (/g). Их мотивация, создать нейросеть, которая свободна от цензуры, в отличии от CharacterAI.
Основа для 6B модели - это GPT-J, которую дотренировали датасетом из собранных дампов с CharacterAI. Отличие от CharacterAI в том, что здесь нет цензуры, а также именно вы храните историю чатов, а не компания. Хоть и модель нейросети в CharacterAI может быть более умной, но фильтр делает её менее креативной, а также удаляет наиболее вариативные ответы. Однако, память в PygmalionAI намного хуже, чем в CharacterAI, из-за применяемого токенайзера GPT-2, контекст которого ограничивается 2048 токенами.
Отличие обычной версии от экспериментальной в том, что в экспериментальной разработчики вводят самые новые нововведения. Также было замечено, что экспериментальная версия пишет меньший объём текста в одном сообщении, чем в обычной.
Для запуска 6B версии необходимо 16 ГБ видеопамяти и 12 ГБ оперативной памяти, однако если запустить с 8-битной точностью, то требования снизятся примерно вдвое, только необходимо иметь видеокарту Nvidia модельного ряда Turing и Ampere.
Можно писать боту на русском языке, но это выйдет хуже, чем на CharacterAI.
Нативный PygmalionAI Colab: https://colab.research.google.com/github/PygmalionAI/gradio-ui/blob/master/notebooks/GPU.ipynb
GUI для PygmalionAI:
1.Text generation web UI - попытка сделать что-то похожее на интерфейс для Stable Diffusion от AUTOMATIC1111, только для генерации текста. Поддерживает режим загрузки с 8-битной точностью, также возможно создать свой пресет настроек в текстовом файле или изменить прямо в интерфейсе, также возможно запустить в схожем с CAI интерфейсе. В Колабе выбираем Pygmalion 6B-original-sharded. Поддерживает скрипты на Python, а также умеет работать с карточками из TavernAI. Есть возможность изменить сообщение персонажа, как в TavernAI или в KoboldAI. Также поддерживает софтпромты.
https://github.com/oobabooga/text-generation-webui
Colab: https://colab.research.google.com/github/oobabooga/AI-Notebooks/blob/main/Colab-TextGen-GPU.ipynb
Также автор данного интерфейса рекомендует использовать PygmalionAI 6B с самым первым коммитом: https://huggingface.co/PygmalionAI/pygmalion-6b/tree/b8344bb4eb76a437797ad3b19420a13922aaabe1
2.TavernAI - фронтэнд над KoboldAI. Позволяет нативно конвертировать файлы с историей чатов (дампы) из Character AI, однако из-за того, что все истории общения с персонажами хранятся в одном файле, а не в разных, TavernAI будет воспринимать только последний чат с ботом в CAI. Позволяет редактировать сообщение персонажа сразу, как в KoboldAI.
https://github.com/TavernAI/TavernAI
Colab: https://colab.research.google.com/github/TavernAI/TavernAI/blob/main/colab/GPU.ipynb
3.KoboldAI - самый известный интерфейс, который пришёл со времён AI Dungeon. У KoboldAI более другой формат, который сохраняет персонажей и чат в один файл, нежели у Textgen Webui и TavernAI. В Колабе выбираем PygmalionAI. При сохранении, необходимо сохранять в расширении "*.json".
https://github.com/KoboldAI/KoboldAI-Client - Official (Стабильная версия)
https://github.com/henk717/KoboldAI - United (Экспериментальная версия)
Colab KoboldAI GPU: https://colab.research.google.com/github/koboldai/KoboldAI-Client/blob/main/colab/GPU.ipynb
Colab KoboldAI TPU (мест может нехватать так, что лучше использовать GPU): https://colab.research.google.com/github/KoboldAI/KoboldAI-Client/blob/main/colab/TPU.ipynb
Советы: https://rentry.org/2ch-pygma-hints
Полезные ссылки: https://rentry.org/2ch-pygmalionlinks
Промпты от анонов с 2ch: https://rentry.org/2ch-pygmaprompts
Гайды по установке интерфейсов: https://rentry.org/pygmai-guifaq
При отправке промпта, необходимо указывать в каком интерфейсе он может использоваться.
Шапка треда: https://rentry.org/2ch-pygma-thread