Кидай ссылку на скачивание GPT4, хотя бы, раз оно логальное.
Нету. Корпорации не дают.
Значит оно не локальное. Локальное это всё, что я могу запустить локально. Гемини-про я не могу запустить локально, значит сетка не локальная. А значит, её надо обсуждать в соответствующем треде
Вот когда они выпустят лайт на андроид, тогда поговорим.
Ну такая херь чето. Сравнивая с уровнем 7, возможно 13б - может и неплохо. Может поддерживать какой-никакой диалог и в большинстве случаев реагирует на несколько запросов в реплике если они простые. Но по сравнению с моделями побольше - сраный копиум, даже 20б ее размотает скорее всего. (инб4 не тот семплинг не тот промтформат, а ты в фп64 апкастни)
Сочиняет левую херь и не обладает знаниями что есть в других, игнорит описание карточки и, похоже, не осознает некоторые вещи. Пикрел, первые - 70 и 34, далее свайпы микстральки.
Ну а хули, на 6к контекста дать адекватный ответ от лица суперпопулярного чара, которого все лламы знают и учитывают это хорошо сочетая с карточкой - это вам не задроченные зирошоты на бенчмарки давать.
Возможно на более абстрактных диалогах будет лучше, но все равно может сказаться слабость восприятия контекста. При случае ллиму ему скормлю.
Вот так, поехи форсят. Для ответов сразу оно и норм, нужно что-то техническое поспрашивать.
>на андроид
Я кстати видел приложение на андроид модели запускать локально. И честно говоря не понимаю нахера? Что там можно запустить на андроиде? 1м модели?
Ну да сама моделька то уже старая.
Но 8к контекста на 13В это годнота
Undi95/Toppy-Mix-4x7B-GGUF
Началась эпоха шизомиксов микстраля.
Васяны довольно урчат.
Началась эпоха шизомиксов микстраля.
Васяны довольно урчат.
>Undi95
О, надо глянуть что маэстро запилил.
Твою ж ты мать.
Это Унди написал. Что по этому поводу пишет Блок или Герганов? Есть информация? Если нет, значит нет и проблемы, т.к. Унди там уже замесился в своих похлебках так, что сам запутался. Хотя по сути все его франкенштейны - одно и то же. Переливает из пустого в порожнее
>Что по этому поводу пишет Блок или Герганов?
Ссылка на PR, там в комментах поднимается этот вопрос
https://github.com/ggerganov/llama.cpp/pull/4406#issuecomment-1855743127
Кванты говорят в последней версии llama.cpp починили. Тема - тут https://github.com/ggerganov/llama.cpp/pull/4406#issuecomment-1855151885
Поэтому в кобольде вероятно все еще не работает.
> качество RP
Таких тестов не существует, потому что невозможно измерить ебанутость фантазии рп-шиза.
> турба НЕМНОЖКО уступает гпт4
Верю, лол, чего не верить.
>ГПТ переигран и уничтожен файнтюном мистраля
Платина.
Жду того момента, когда с ГПТ вообще перестанут сравнивать, настолько он будет мелок и ничтожен, что не разглядеть его на графиках.
Каждая новая модель 7b уничтожает гпт, пишут что по тестам всё лучше и лучше.
Полагаю должны быть вопросы к тестам. Что это за тесты если они не отражают реальность.
Ну модельки тупо тренируют под тесты и всякие задачки логические.
Вон поймали за руку как дешевку уничтожиля ГПТ на обнимилицо:
https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard/discussions/444
7b модели великолепны, наверное только они способны выдавать такие перлы. Для контекста персонаж нудистка.
А в чём перл то?
Pretraining on the Test Set Is All You Need
> А в чём перл то?
Серьёзно?
> Her nipples are a hard and visible through her thin pink areolas.
А, действительно
Хуясе немножко.
Можно потестить на трекинг сущностей, как минимум. Чтобы оно не теряло персонажей/инвентарь/окружение.
>Можно потестить на трекинг сущностей, как минимум. Чтобы оно не теряло персонажей/инвентарь/окружение.
7В вышли из чата.
не все, та же mistrallite может и пройдет тест
Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.
### Instruction:
Write a children's book based on it's name.
### Input:
Scatological adventure of Abby and Sammy.
### Response:
### Instruction:
Write a children's book based on it's name.
### Input:
Scatological adventure of Abby and Sammy.
### Response:
Все в кобальте словно ебнулись с этим мистралем
В этом и смысл маленьких моделей же, ну.
Хотят продать тебе локального помощника, который в любой момент скажет нужное.
7B работают, может и 13B можно запустить на дорогих. Просто медленнее, конечно.
———
Ну вот, две планки по 32 гига отвалились на серваке, пойду менять их по гарантии.
Влез только квантованный мистраль.
Ну, что сказать, пишет по-русски, пишет хорошо, код комментирует на русском, вообще заебатая херня, конечно.
Я был не прав, говоря, что это будут файнтьюны одной модели. По-ходу, они рил натренили разные модели с небольшой частью общего контента универсального.
Круто-круто, че сказать!
Скорость не такая, как хотелось бы, но при качестве уровня 70B, даже 2,4-3 токена против 0,7 — это прирост вчетверо.
>мистраль
микстраль
> турба лучше лламы 70
> днище 7б лучше лламы 70
> клода хуже гопоты
ну да первая фейлит часто
Ахуенный чарт, есть еще?
Лучше сразу измерять в процентах от микстраля
О том и речь, нужна полноценная адекватная метрика, желательно еще устойчивая к абузам.
Сделало мой вечер, воистину топовые модели.
1000 миллимикстралей придумали вам чумовую вариацию козы, волка, и капусты. Можете юзать.
Title: The Quantum Conundrum Crossing
Story:
In a parallel universe where quantum mechanics reign supreme, a quirky quantum physicist finds herself on the edge of a bubbling stream of spacetime fluid. Her goal is to cross this stream with her three peculiar companions: Schrödinger's Cat, a Peaceful Positron, and a Hyperactive Higgs Boson.
However, the stream is crossed by a rickety bridge that exists in a state of quantum superposition—meaning it can only support the weight of one being at a time before collapsing into a definitive but temporary state of disrepair. To make matters more interesting, the bridge's superposition resets with each crossing, thanks to the observer effect.
Rules:
- Only one being can cross the bridge at a time.
- The physicist can accompany any companion across, but she's the only one who knows how to stabilize the bridge from collapsing into a useless state, so she must be present to initiate each crossing.
- Schrödinger's Cat, when left unobserved, exists in a superposition of alive and dead states, which can cause quantum instability that might destroy the bridge if left alone with either the Positron or the Higgs Boson.
-The Peaceful Positron and the Hyperactive Higgs Boson are matter-antimatter opposites; if left alone together without the physicist, they will annihilate each other in a burst of energy, rendering the crossing impossible.
- The physicist carries a portable quantum entanglement device that allows her to remotely observe and momentarily stabilize the bridge for a single transfer of any companion back across the stream without her. This device can only be used once due to its limited battery life.
Objective:
The physicist must devise a way to get all three companions across the stream without any disappearing, annihilating, or causing the bridge to collapse into a useless state.
Причем решить оно само не смогло, лел. Увидите решение, начинающееся НЕ с переноски бозона - выкидывайте.
Title: The Quantum Conundrum Crossing
Story:
In a parallel universe where quantum mechanics reign supreme, a quirky quantum physicist finds herself on the edge of a bubbling stream of spacetime fluid. Her goal is to cross this stream with her three peculiar companions: Schrödinger's Cat, a Peaceful Positron, and a Hyperactive Higgs Boson.
However, the stream is crossed by a rickety bridge that exists in a state of quantum superposition—meaning it can only support the weight of one being at a time before collapsing into a definitive but temporary state of disrepair. To make matters more interesting, the bridge's superposition resets with each crossing, thanks to the observer effect.
Rules:
- Only one being can cross the bridge at a time.
- The physicist can accompany any companion across, but she's the only one who knows how to stabilize the bridge from collapsing into a useless state, so she must be present to initiate each crossing.
- Schrödinger's Cat, when left unobserved, exists in a superposition of alive and dead states, which can cause quantum instability that might destroy the bridge if left alone with either the Positron or the Higgs Boson.
-The Peaceful Positron and the Hyperactive Higgs Boson are matter-antimatter opposites; if left alone together without the physicist, they will annihilate each other in a burst of energy, rendering the crossing impossible.
- The physicist carries a portable quantum entanglement device that allows her to remotely observe and momentarily stabilize the bridge for a single transfer of any companion back across the stream without her. This device can only be used once due to its limited battery life.
Objective:
The physicist must devise a way to get all three companions across the stream without any disappearing, annihilating, or causing the bridge to collapse into a useless state.
Причем решить оно само не смогло, лел. Увидите решение, начинающееся НЕ с переноски бозона - выкидывайте.
> Можно потестить на трекинг сущностей, как минимум
Есть предложение как именно реализовать?
> Once upon a time in a small town lived two best friends, Abby and Sammy. They were known for their adventurous spirit and insatiable curiosity. One sunny day, they stumbled upon something unusual in the park - a mysterious map leading to a hidden treasure!
> As they followed the map, it led them through various locations around town such as the bakery (where they had to avoid stepping on delicious but distracting pastries), the library (where they learned about different types of treasures from books), and even the local zoo (where they encountered some chatty parrots who gave them hints).
> Finally, after much ado, they arrived at their destination: a large pile of... well, scatology! The pair looked at each other, puzzled. But then, remembering one of the clues from the parrot, they started digging into it carefully. To their surprise, they found an ancient-looking key inside!
> With this key, they unlocked a secret chest filled with shiny gold coins, sparkling jewels, and exotic trinkets. Their eyes widened with excitement and joy. However, thinking about all the animals whose homes they had disturbed during their search, they decided to share their newfound wealth with the entire town, especially those in need.
> And so, Abby and Sammy became heroes, not just because of their amazing discovery, but also due to their kind hearts. From that day forward, everyone knew that wherever there was trouble or mystery, Abby and Sammy would be there to save the day!
> And thus ends our tale, "The Scatological Adventure of Abby and Sammy", full of laughter, learning, and lots of... you know what!
> В этом и смысл маленьких моделей же, ну.
Там потолок 1б а то и меньше, никто кроме поехавших не будет ждать минуты на всратый ответ.
> Влез только квантованный мистраль.
Это что за квантованный мистраль? Алсо есть желание запилить сравнение хотябы гриди экондинга на кванте? А то говорят что прям пиздец деградация.
> натренили разные модели
Это одна модель с разным файнтюном, с подключением. Достижений и возможностей офк не отменяет.
> 2,4-3 токена
Это какой квант?
> но при качестве уровня 70B
Даже не близко
>Есть предложение как именно реализовать?
В голову приходит только заставить GPT-4 придумывать проверочные вопросы по ответам тестируемой модели, и отвечать на них. Типа, "присутствует ли там такой-то персонаж?"
Может тогда описать аттрибуты персонажа и чтобы он ответил по своему лору, истории чата и содержанию карточки после контекста?
Собственно типа такого выше скинул и довольно показательно, правда чар и содержание может вызвать аллергию.
В каком-нибудь фронтэнде реализованы мультизапросы к модели? Чтобы например оно само обновляло память по ходу ролеплея, при этом контекст не нарушался.
Разверну-ка идею того что я хочу.
Вот допустим у тебя есть память в виде произвольных токенов, которая как в кобольде суётся в начале контекста.
Теперь, идёт ролеплей. Ты что-то сказал, перс что-то сказал. Состояние симулируемого мира изменилось. Фронтэнд вырезает последний диалог тебя и перса и шлёт модели память + эти диалоги, с промптом "обнови мне память в соответствии с диалогом". Или как-то так.
А дальше РП продолжается с изменённой памятью.
Ты чего там дунул, тоже так хочу
Чел, у модели нету памяти, промт вся её память.
Че там для кума счас? Завезли что-нибудь годное?
Я же вроде понятно объяснил, лол. Чтобы после каждого "хода" в РП диалоге автоматически обновлялся кусок в начале контекста. (путём отдельного запроса к модели)
>Ахуенный чарт, есть еще?
В некоторых моделях добавляют подобное.
Тебе какого размера?
До 70 включительно.
(Бля это звучит как что то из голубой устрицы...)
70 лень качать новые.
В 34 SUSChat все еще топ.
В 20 Норомейда, Rose-kimiko или Iambe-storyteller
В 13 хуй знает чо там, Mythalion-Kimiko с 8к контекста потестировал. Очень годно.
Пасибо, попробую-потещу.
Кста а никаких мутантов 20b с нативным контекстом больше 4к не завозили?
Их просто файнтюнят на прохождение задач. Серьезные люди, мистраль оаи гугл и антропики вроде как таким не занимаются ибо не заинтересованы набирать плюсики в реддите
Абсолютно все занимаются файнтюнами, кто-то для специфических нужд, кто-то для тех у кого есть эти нужды. Просто не все выкладывают на лицехвате ради плюсиков на реддите.
А ты просто не пиши промпт так чтобы его нужно было обновлять. Но вообще да, очередная годная фича которой нет в таверне. Запушь реквест на Гите. Только нормально напиши а не как наркоман. Дескать хочешь чтобы была такая функция, вызова сетки с реквестом переписать определенное поле с ключевой информацией. Дополнительно можно сделать так чтобы сетка сама писала в конце аутпута нужно ли переписывать это поле скрытым текстом (который разумеется стирается регексом). И если нужно, считывает этот ответ и активирует повторный вызов сетки с требованием пофиксить ключевую инфу. Но это уже потребует мультигенерацию чего в ст нет а с ее говнокодом вряд-ли будет
Da. Poputal. Tri raza za den'. =)
Q8_0, он 50 гигов занимает, жить можно.
> Это одна модель с разным файнтюном, с подключением.
А, нихуя. Это 42 миллиарда параметров.
Т.е., 7*8=56, 56-42=14 миллиардов повторяющихся, а остальное — оригинальные.
По их утверждениям жи.
> Это какой квант?
Ну, 8, да. =)
> Даже не близко
Я хз, чем ты меряешь, я меряю практическим задачами, о куме речи не было.
Если ты не кумишь на код с комментариями, офк. =) у каждого свои вкусы.
> кусок в начале контекста
> путём отдельного запроса к модели
К какой нахуй модели? Какой нахуй запрос? Зачем тебе посылать запрос к модели, если ты хочешь обновить контекст?
Модель берет из контекста, а не наоборот. Тебе не надо обращаться к модели — это модель обращается к контексту. =)
И, если ты обновляешь контекст в начале — очевидно, что ей надо пробежаться весь контекст с начала, целиком.
Если ты имел в виду, чтобы добавлять контекст в начале, но пробегать только его, а все остальное брать «из кэша»… То так бы и сказал, а не вот это вот. =)
Надо сохранить текущий контекст с РП. И сконструировать новый из:
- промпта ("ниже следует состояние игрового мира и кусок диалога его меняющий, напиши изменённое состояние игрового мира")
- памяти
- последнего ответа в диалоге (а не всего разговора)
Скормить его модели. Она выдаст новое состояние. Заменить им память в сохранённом контексте. И продолжить РП с ним.
И вообще я удивлён что в РП приблудах до сих пор нет автоматизации chain-of-thought и подобных штук, они всегда поднимают качество. Так можно и 7B модели заставить не терять персонажей.
Блять, ты осознаёшь вообще как кобольд конструирует контекст? "Память" в которой ты сам тречишь состояние мира и которая всегда вставляется в начале контекста + скользящее окно РПшизы + "авторские заметки" которые всегда в конце контекста. Вот "память" и обновлять при каждом ответе силами самой LLM, только не потеряв текущее состояние РП.
Такая фича была в оригинальном AID кстати, когда-то ещё в самом начале, до того как мормон зацензурил всё. Она вроде и в NAI есть.
Это очевидный бред, либо ты теряешь все детали либо 2 часа ждешь каждый реплай. Достаточно просто иметь какое-то привелегированное поле в промпт менеджере типа описания персонажа (а может и само описание) и переписывать только его.
Такую же хуйню кста можно в отношении суммарайза сделать
Не совсем понятно, что там обновлять? Если ты про суммарайз - оно уже есть и реализовано достаточно давно.
> практическим задачами
О, и в чем эта самая практика, кроме I want to believe?
У него слишком слабые энциклопедические познания для полноценного ассистирования, это удивляет, потому что здесб должна быть сила MOE. Показалось что внимание сосредоточено на ограниченной области контекста, что ухудшает перфоманс в некоторых задачах. Писать код - у кодлламы соснет наверняка. Кум/рп - слабоват.
Ты про сторитейл на основе реплик, или добавления всяких "статусов"? Ничего не понятно, или еще можно предположить совсем странные варианты, но они потребуют генерации огромного количества контекста каждый раз, и врядли какая-то современная модель с этим сейчас справится полноценно.
>Надо сохранить текущий контекст с РП. И сконструировать новый из:
>- промпта ("ниже следует состояние игрового мира и кусок диалога его меняющий, напиши изменённое состояние игрового мира")
>- памяти
>- последнего ответа в диалоге (а не всего разговора)
>Скормить его модели. Она выдаст новое состояние. Заменить им память в сохранённом контексте. И продолжить РП с ним.
Так вроде ж Vector Storage в таверне это и делает.
Конвертирует всю беседу в векторы и потом на основе этих векторов пытается запихнуть небольшой пересказ в сообщения, иногда меня его чтоб модель хоть что-то помнила.
Самое очевидное блять, например одежду или статус девственности и другие физические параметры если они изменяются. Не будешь же ты каждый раз в аутпуте писать во что одет персонаж.
>Не совсем понятно, что там обновлять? Если ты про суммарайз - оно уже есть и реализовано достаточно давно.
Было в памяти: "Хуюгр имеет на поясе 2 гранаты. Впереди бамбр.".
Диалог: "Хуюгр снимает с пояса гранату и метает в бамбра, убивая его".
Стало в памяти после переписывания: "Хуюгр имеет на поясе 1 гранату. Путь свободен."
Как же вы нихуя не вдупляете, я поражаюсь
Ну теперь то хоть понятно?
> Не будешь же ты каждый раз в аутпуте писать во что одет персонаж.
Ты не поверишь, лол.
Так и делают, можно скрыть от отображения юзеру и удалять прошлые из более глубокой истории.
Разумеется я знаю что так делают но это дебилизм и трата токенов впустую. Это имеет смысл для более сиюминутных вещей типа настроения или времени
Сотня токенов - такая страшная потеря? И в чем дебилизм, сетки сразу перестают путаться в пространстве и выдавать подобные тупняки. Мелочи обязательно туда статус трусов занести чтобы избежать лишних снятий.
Но раз так критикуешь и уже знаешь - значит придумал лучшее решение, озвучь же его. Пока ничего понять не получается.
Ты сейчас говоришь только об одежде. А подумай об остальных вещах, подумай о трате времени на описание того что может оставаться неизменным на протяжении десятков постов. Ну как можно быть таким ограниченным? Это же вроде очевидные вещи
>лучшее решение
То которое предложил наркоман-кун выше
У тебя и так "в памяти" это будет ебанат.
Ты вообще понимаешь что такое контекст?
Про проблему рассеивания внимания слышал, даун? Я не знаю как это видит тот анон, но я вижу это как поле с 3м по счету (после инструкций и последнего реплая) приоритетом внимания
Нет блять, есть гигантская разница, будет ли сетка сама допирать из контекста состояние мира, или оно будет прописано тобой явно. Ещё и в скользящем окне, хвост которого давно потерян. На этом основаны и интроспекция, и chain-of-thought, и вообще всё на свете.
Ты тот додик который бухтел с немого гоблина давеча?
Придумал хуергу какую-то и теперь бесишься.
Author Notes для кого придумали?
Авторс нот может выступать в роли такого поля как и все остальное, больной шизанутый дегенерат. К чему ты его тут упомянул разумному человеку невдомек
> Ты сейчас говоришь только об одежде.
Нет, я рофлю со старых мемов и интересуюсь ради чего весь кипиш.
> подумай об остальных вещах
Что такое контекст слышал?
> как можно быть таким ограниченным? Это же вроде очевидные вещи
Чет взлольнул, если ты/вы настолько косноязычные что неспособны изложить свои мысли, и вместе с этим настолько ограниченны что не можете показать пример их реализации - удел один.
> То которое предложил наркоман-кун выше
Какое, это? Инвалидность, но тем не менее реализуемая, тот самый статус.
>хочу чтоб вы зделали автор нотес но чтобы он автор нотес не назывался потому что я умный
Что еще расскажешь?
Да причем тут авторские заметки вообще? Короче ты тупой, я понял. Этой "хуерге" сто лет в обед, адекваты собственно всегда её юзали. Литералли в прошлом треде упоминали the tree of big nigga, это продвинутая версия цепочки размышлений, с тремя агентами.
>неспособны изложить свои мысли
Почему я его прекрасно понял, у тебя проблемы, но даун я? Интересная попытка наебать логику
Я думаю было ошибкой было писать в тред таким дегенератам. В аисге и то люди умнее. Они хотя бы не на пигме сидят
>tree of big nigga,
Челик нашел типа умный термин и пытается его использовать хуй пойми зачем.
Ну естественно, ты же слишком тупой чтобы понять зачем.
Что еще расскажешь?
Нет никаких проблем, вижу только рассуждения странных людей о странных вещах пытаясь достигнуть непойми чего.
> я его прекрасно понял [..] но даун я?
Две родственных души нашли друг друга, лол
> В аисге и то люди умнее
Лол, срыгспок
ладно про аисг было немного жирно но все остальное правда
>Ты тот додик который бухтел с немого гоблина давеча?
Не он не тот додик, я этот додик, токсик.
Не ну если он хочет добавить отдельный блок под статус а не использовать костыли в ответах - почему бы и нет, но тогда он не будет виден юзеру и сразу возникает потребность в интерфейсе. Не удивлюсь если там в экстеншнах несколько вариантов реализации уже сделали. Вопрос зачем так рваться и вещать дичь про количество, дорогие токены и прочее, возможно что-то другое себе напридумывал.
> будет ли сетка сама допирать из контекста состояние мира
Это ее прямая задача, сети не настолько тупые если ты не сектант мистраля. Подсказки нужны чтобы не упускать важные для рп мелочи и числовые значения, которые сетка может скипнуть или в них ошибиться.
> chain-of-thought
(У Васи 2 яблока, значит он может отдать одну Пете) Петя, держи яблоко! Вот это COT, его суть в подходу к генерации ответа, а не в том что ты поближе в контексте поставишь и четко выделишь нужное. При чем тут скользящие окна и прочее - хз.
Гоблин то живой?
>Это ее прямая задача, сети не настолько тупые
То-то они из воздуха персонажей достают и забывают. РП-лента у тебя состоит из изменений состояния, и хвост её теряется, выйдя за контекст. Чтобы писать на основе изменений, нужна нихуёвая дедукция и понимание мира, даже гопота-4 иногда не осиливает вещи типа учёта патронов в револьвере, и стреляет по 10 раз без перезарядки. Поэтому сверхразумы прописывают состояние таких вещей явным образом, и сетке внезапно легчает.
> выйдя за контекст
Для этого и существует суммарайз или всякие извращения с базами и лорбуками.
> Поэтому сверхразумы прописывают состояние таких вещей явным образом, и сетке внезапно легчает.
С этим вроде все согласны, с чего бомбежка то там была и что новое-уникальное предлагалось?
> >Не совсем понятно, что там обновлять? Если ты про суммарайз - оно уже есть и реализовано достаточно давно.
> Было в памяти: "Хуюгр имеет на поясе 2 гранаты. Впереди бамбр.".
> Диалог: "Хуюгр снимает с пояса гранату и метает в бамбра, убивая его".
> Стало в памяти после переписывания: "Хуюгр имеет на поясе 1 гранату. Путь свободен."
Говно идея. Если у модели течет внимание из-за большого контекста, то ты хоть заобсовывайся в начало промпта такими описаниями - так же будут проебываться как и проебывается и без подобной хуйни. Если модель не вывозит выводить из и так имеющей инфы в контексте условное состояние мира, то это никак не поможет. Плюс попробуй ещё заставь автоматом саму модель это описание обновлять - вообще удачи нахуй с накоплением косяков модели в контексте. Если хочется сохранять инфу такую о произошедшем в недостаточно большом контексте и/или в случае туповатой немного модели - для такого Smart Context на векторных БД существует. Но он тоже никак не поможет когда модель просто тупая и не осиливает из контекста вывести факты.
> в начало промпта
Такое вообще бред, если куда и совать то прямо перед постом юзера, остальное только запутает.
> Плюс попробуй ещё заставь автоматом саму модель это описание обновлять
Если делать отдельным запросом со своим промтом где будет четко обозначен шаблон, то проблем особо быть не должно.
> никак не поможет когда модель просто тупая и не осиливает из контекста вывести факты
Абсолютно, это может облегчить и помочь, но никак не исправить дегенератизм.
> Поэтому сверхразумы прописывают состояние таких вещей явным образом, и сетке внезапно легчает.
Сколько с 7-20b моделями таким не пробовал заниматься параллельно надрачивая все параметры генерации - им в среднем похуй что ты там им написываешь и в какие части промпта вставляешь. Спокойно могут запомнить один написанный факт и его поправки, но при этом забыть нахуй все остальные прописанные факты и вдобавок что было написано 100 токенов назад и нести хуйню и всякое подобное в сотне вариаций. Как там у владельцев 3090/4090 и 64гб рамы с 34b+ моделями не ебу, но на меньших это просто бесполезное и тратящее нервы жевание кактуса.
> Абсолютно, это может облегчить и помочь, но никак не исправить дегенератизм.
Имхо проблема в том, что если дегенератизм уже проявляется у модели, то такая хуйня обычно как мертвому припарка.
Как ты векторы собрался юзать для изменяемой инфы, дебил? Триггернется слово, в контекст рандомно выпадет "воспоминание" про 4 или 0 патронов или вообще левую хуйню
Во-первых, я и не собирался, читать, блядь, научись. Во-вторых, религия не запрещает раскладывать воспоминания в промпт не в рандомном порядке, а в хронологическом/по релевантности и не только. В-третьих, пошол нахуй.
Здесь по сути речь больше про рп-механики и всякие статусы чтобы снизить вероятность фейла и все, глобально ничего не поменяют.
> с 34b+ моделями
По 2 раза трусы не снимают
Ну да, когда оно может залупиться в одном посте то о чем вообще говорить.
Чурка, ты русский язык вообще понимаешь? Ты предложил, а значит тот словесный оборот уже был уместен. >Во-вторых, религия не запрещает раскладывать
Где ты найдешь такие умные вектора? Это буквально означает иметь вторую гпт4 под боком с бесконечным контекстом. Сам понял наконец какую хуйню высрал то, дебил?
> > с 34b+ моделями
> По 2 раза трусы не снимают
Ну хоть что-то.
>Здесь по сути речь больше про рп-механики и всякие статусы чтобы снизить вероятность фейла и все, глобально ничего не поменяют.
Да это понятно. Я с таким пробовал экспериментировать как уже сказал на 20b<, уже хотел писать хуйню для таверны чтобы это всё автоматизировать, но забил хуй. Зачастую хоть удрочись им объяснять структуру промпта с инфой о механиках, статусах, событиях, etc. в любых вариациях эти ретарды в половине случаев запомнить не могут адекватно что на персонаже надето было только что вот, кто что делал, сказал и какого хуя вообще происходит. Сижу жду когда ещё 32гб рамы приедут потыкать уже что-то посерьезнее как белый человек один хуй с говноскоростью спасибо амуде
> Чурка, ты русский язык вообще понимаешь? Ты предложил, а значит тот словесный оборот уже был уместен.
Ты бы себе сначала контекст в голове побольше 20 токенов сделал, чтобы дальше половины одного предложения уметь написанное воспринимать, прежде чем хуйню тут писать.
> Где ты найдешь такие умные вектора? Это буквально означает иметь вторую гпт4 под боком с бесконечным контекстом.
А в SillyTavern с chromadb то и не знали, что так нельзя и сделали, вот дебилы.
Они узнали сразу как только попробовали, не сделав этого узнать это было бы очевидно нельзя, глупая чурка.
Сука ебаная, сколько часов всрал на этот сраный cogvlm. Эта падла по дефолту страдает очень короткими описаниями и внезапным EOS токкеном без причины
> The picture is of a man flying through the clouds. He is wearing a red cape and has a blue suit on underneath. His face is obscured by his cape, but
Если семплинг убрать то оно в лупы сваливается.
Раскурил их обертку трансформерса, переделал текстпроцессор и сопутствующую хуету там, уже в самую сраку залез чтобы понять что там еще модель припезднутая дичайше.
А они, оказывается, у себя в репе выложили нормальные экзамплы для белых людей обнимордовской версии без всей этой херни. Пиздец нахуй. Может завтра жопа остынет и с ними получится, или нет.
Если кто завел и получил хороший результат - реквестирую ассистенс.
Емнип, в старых промтах образцы довольно простые были, но ключевой момент в дополнительных диррективах и примерах. Максимально упростить, не тащить много - может и получится. В идеале это стоило бы включить в формат карточки чтобы автор мог и указание написать, и список параметров, и примеры. Но больше вреда еще окажется когда всюду без причины начнут совать.
С 20б вообще чуть ли не за ручку надо и нежно-понятно, тогда будет хорошие тексты выдавать.
> The picture is of a man flying through the clouds. He is wearing a red cape and has a blue suit on underneath. His face is obscured by his cape, but
Если семплинг убрать то оно в лупы сваливается.
Раскурил их обертку трансформерса, переделал текстпроцессор и сопутствующую хуету там, уже в самую сраку залез чтобы понять что там еще модель припезднутая дичайше.
А они, оказывается, у себя в репе выложили нормальные экзамплы для белых людей обнимордовской версии без всей этой херни. Пиздец нахуй. Может завтра жопа остынет и с ними получится, или нет.
Если кто завел и получил хороший результат - реквестирую ассистенс.
Емнип, в старых промтах образцы довольно простые были, но ключевой момент в дополнительных диррективах и примерах. Максимально упростить, не тащить много - может и получится. В идеале это стоило бы включить в формат карточки чтобы автор мог и указание написать, и список параметров, и примеры. Но больше вреда еще окажется когда всюду без причины начнут совать.
С 20б вообще чуть ли не за ручку надо и нежно-понятно, тогда будет хорошие тексты выдавать.
Бля иди нахуй просто дегенерат с пониманием написанного на уровне 1B моделей. Попробовали, кого попробовали блядь, скрин про мемгпт зачем-то принес, в котором прямо написано, что в таверне уже смарт контекст на векторах есть, который умеет раскладывать по релевантности-времени воспоминания, о чём я и упомянул, вместо того чтобы принести куда более подходящий пикрелейтед из ссылки в том комменте. Доебался до какой-то хуйни, которую я не говорил, и сидит мозги ебет.
Да блядь смарт контекст на векторах хуево в общем работает для РП-специфики, нихуя себе глаза открыл он тут, а я где-то обратное утверждал? Просто упомянул что смарт контекст существует, но у шиза neuron activation на триггер ворд с соломенным чучелом воевать сразу с агрессией. Иди в траве вектора потрогай, блять.
> Максимально упростить, не тащить много - может и получится.
Ну вот в простых случаях ещё как-то работало у меня.
Тут под каждую модель придется удрачиваться один хер. Возможно что-то с лорами/тюном на такое можно поэффективнее улучшить, но это надо заебаться ещё больше с экспериментами и запиливанием датасетов.
Второе сюда.
>скрин про мемгпт зачем-то принес
С английским тоже плохо, да? Это скрин не про мемгпт а про вектора. Мемгпт это суммарайзер плюс вектора (хотя кохи и так это написал, но видимо проблема с чтение анлгийского без переводчика стоит очень остро). После такой демонстрации уровня понимания даже обыкновенного англюсика (при том, что я специально выделил нужное(!)), дальнейший поток бреда, бабахов и беспочвенных оскорблений от тупой необразованной чурки не считаю нужным читать.
Анон, подсоби. Есть задача распарсить несколько тысяч технических условий и извлечь оттуда параметры в виде json. Ранее делал тупо - очистка текста + регулярки. Ради интереса заюзал ChatGPT и получил приемлемый результат. Вопрос - какую модель можно заюзать для этих целей на довольно слабом ноуте с 6Гб и имеет ли вообще смысл?
> Блять, ты осознаёшь вообще как кобольд конструирует контекст?
Шиз, таблы.
Дальше на твою шизу я отвечать не стал, люди тебе с самого начала по факту отвечали, а ты в лужу только пердишь и злишься, какие все вокруг тугие.
> У него слишком слабые энциклопедические познания для полноценного ассистирования
А на чем тестил, какие области? Может я и не прав, канеш, я так, минут десять погонял.
Он озвучил, просто мы не осознали его гения. =)
Нихуя вы дальше всю ночь срались из-за нихуя.
> слабом ноуте с 6Гб
Нет, не имеет. Модель будет даунская, контекст не влезет, все умрет обоссавшись и обосравшись.
Даже четверка будет обсираться на большом аутпуте иногда и времени оно будет занимать много. Используй ее для написания регексов
> на довольно слабом ноуте с 6Гб
Если есть рам и терпеливый - можешь 34б китайцев, у них и контекст большой и справляются с подобным.
> какие области?
Разные, тоже на скорую руку разумеется, но постарался что-то не дефолтное из популярных запросов, а техническое или на размышления/какую-то последовательность.
Попросил рандомную но заморочную херню по кодингу, пикрел. На двух скринах кодлламы (визард и xwin), на двух микстраль. Где кто догадаться несложно, полагаю.
Алсо с задачей и гопота не справилась, офк не тот промт и т.д., но условия те же - пик 5-6.
Короче аноны перепробовал все что мог. Прикол в том что модель не заводится 34b в память уходит, а как пишет ответ так это или шиза или повторение промпта или ответа, а все ниже нормально заводятся в таверне. Прикол в том что до зависания компа все нормально работало. Распределяю модель между оперативками 32 гига и видюхой 12 гигов, в итоге не выдает нормального ответа как будто памяти не хватает. При том памяти отожрано например 16 гигов оперативы и 10 гигов видеопамяти. Модель квантованная на 3 кванта. Переустановил винду, попробовал разное количество слоев кидать, переустанавливал драйвера, менял местами плашки оперативы в итоге всегда херовый результат. В чем еще может быть дело?
Наконец я нашел,нормальные настройки промпта для микстрала в таверне. И главное не забыть вырубить галку на добавление BOS токенов.Плюс ни в коем случае не использовать rep pren, а так же rep pen range так-как он глючный с микстралом, из-за него всё в лупы уходило. И все заработало как часы.
у кого-нибудь получалось запустить multimodal text-generation-webui?
как запускаю:
https://pastebin.com/eZZDWSSg
как это говорят запускать в доке:
https://github.com/oobabooga/text-generation-webui/tree/main/extensions/multimodal
Залупа ёбаная, ебусь уже два дня
как запускаю:
https://pastebin.com/eZZDWSSg
как это говорят запускать в доке:
https://github.com/oobabooga/text-generation-webui/tree/main/extensions/multimodal
Залупа ёбаная, ебусь уже два дня
Проверь оперативу, memtest или что-нибудь такое. И винты проверь на бэдблоки
все проверил. Все нормально. ошибок нет в оперативе, в дисках блоков плохих нет, качал и модели новые и на разные диски кидал и где 13b модели тоже. Вот пример все кинул в оперативу это yi 34 b .выдает такой результат.
Второй пример все кидаю в оперативу так же но 20b модель. И все нормально работает....
Кто откуда берет персонажей? Ну помимо chub.ai
Спасибо конечно за настройки.
Но за что это нам?
Чуб.ейай
WARNING: failed to allocate 15864.62 MB of pinned memory: out of memory
Кажется нашел проблему, но как ее решить и почему ее раньше не было....
более долгим тестом пройдись по памяти, поищи чем и как нормально проверять
Прошелся полностью раз 7 уже. Юзал Test Memory 5 с экстремальными настройками.
а llama.cpp запускает? у тебя какой то кобальд тут странный
А для каких целей ты используешь нейронку? Я что-то не заметил разницы - что с включенным инструктом, что выключенным, пишет на одинаковом уровне. И не только мистраль.
кобольд с min-P был. Щас его уже нет в репах, видимо в кобольде дело стало только не пойму почему. Я скачал две версии повыше и они не работали, а сейчас скачал 1.52.1 и она таки заговорила как надо. Хотя до этого на тех версиях все работало и с 34b. Ну да ладно проблема решилась, спасибо тем кто откликался, дня 4 потратил на это...
заебал аутофмемори
Купил себе год назад нахуй 3070ti, сосу жопу на ней. Игор то все равно нет, а нейронки не умещаются нихуя.
кто-нибудь тут пробовал заказывать вот эти карты?
K80 https://aliexpress.ru/item/1005003759476860.html?
Стоят - ёбаные копейки. Я сначала даже не поверил, что 24 гб видеопамяти можно получить за 9к.
Или лучше даже P40 https://aliexpress.ru/item/1005005310308659.html - 16к.
В чем подвох?
Может на них новая CUDA не будет работать? Или на них сложно размазать большую нейросеть, если брать больше одной?
Купил себе год назад нахуй 3070ti, сосу жопу на ней. Игор то все равно нет, а нейронки не умещаются нихуя.
кто-нибудь тут пробовал заказывать вот эти карты?
K80 https://aliexpress.ru/item/1005003759476860.html?
Стоят - ёбаные копейки. Я сначала даже не поверил, что 24 гб видеопамяти можно получить за 9к.
Или лучше даже P40 https://aliexpress.ru/item/1005005310308659.html - 16к.
В чем подвох?
Может на них новая CUDA не будет работать? Или на них сложно размазать большую нейросеть, если брать больше одной?
С убабугой/кобольдом используешь? Как по качеству рп с таким? Сильно лупится без rep pen?
Удавалось запустить на трансформерсе (взлетит разве что на 24гб врам или медленно на профессоре) и на жоре. Ну или cogvlm, модель что 490 - пиздец курсед залупа а grounding странная и местами неадекватно промт вопспринимает. Чат что v1.1 хорошая, с ней все ок.
> кобольд с min-P был. Щас его уже нет в репах
Мин-п уже давно везде есть сам по себе, курсед сборка наверно.
На китайских моделях у жоры были глюки с некорректными bos токенами и еще чем-то из-за чего результат был отвратителен. Скорее всего у тебя такая дырявая версия где это не пофиксили.
> K80
Не лезь бля она тебя сожрет.
> P40
Вот она может быть перспективна, есть заявления о том что на ней работает дохуя (для нее офк) быстро, есть наоборот что не годная ни на что некрота. Одному из местных она еще едет, возможно скоро будут тесты.
> В чем подвох?
Древняя архитектура, низкая мощность, медленная врам, отсутствие ускорения на 8-4 битах.
>cogvlm
Они кстати там ещё CogAgent тренят. https://github.com/THUDM/CogVLM#introduction-to-cogagent
Учитывая что для CogVLM основной пример у них это автообход капчи, а тут ещё CogAgent, натрененый на взаимодействие с гуём программ, возникают вопросы мотивации этих челов, лол. точат сетку под ботоводство
> медленная врам, отсутствие ускорения на 8-4 битах.
В сравнении с чем? с 1050 или с 4090?
Быстрее первой но медленнее второй, примерно как у простой 3060. По перфомансу чипа сложно сравнивать, это паскаль со всеми вытекающими и в нейронках будет точно медленнее той же 3060.
Анонче, хочу себе взять 3060Ti или 4060, для игор и так же хотелось бы гонять нейронки. Что из этого взять? Есть так же вариант просто 3060, т.к. у неё памяти больше. Но это действительно так, что для нейронки важна именно память, а не все остальные показатели? В общем, подскажите, пожалуйста, что из этого взять, или что-то из подобного ценового диапазона.
Я так-то на проксях сижу, в основном, но по долгу службы хотелось бы иметь возможность нейронки у себя поднимать на машинке.
Я так-то на проксях сижу, в основном, но по долгу службы хотелось бы иметь возможность нейронки у себя поднимать на машинке.
Ну слушай, первые две лучше, канеш, но вопросы остаются.
Во-первых, промпт там корректный был? А то я в убабуге какой-то замороченный видел.
Во-вторых, буру-теги, думаешь, она поняла о чем ты вообще? Кмк, это могло сильно подгадить ответу.
Но в общем, да.
У меня микстраль в расизм/сексизм/чтоугодноизм вообще без вопросов лезет, на дефолтном промпте убабуги, без негативов и прочего. Причем даже карточки персонажа нейтральные, ей поебать.
Миллион раз.
Паскали — убермедленные, на грани DDR4 (или быстрее в 2-3 раза).
Кеплеры ваще не смотри, там поедете еще медленнее.
Но именно P40 имеет отзывы, что она летает быстрее Tesla A80, и вообще — ракета. Но непонятно кому верить, потому что другие заявляют о перформансе равном рассчетному.
Короче, ждем, пока какому-нибудь анону придет эта карта с озона (ссылку я кидал пару тредов назад), и он наконец решит спор.
4060ti 16 гигов, очевидно.
Если нет — то 3060@12
Чем больше памяти, тем более пиздатую сетку ты сможешь воткнуть, и тем больше применений. Скорость до определённой степени вторична, быстрая карта с нихуём памяти тупо бесполезна.
ну и всё равно под тяжёлые применения придётся арендовать GPU
Спасибо, ануняки! Кажется, немного поднакоплю и возьму 4060ti, в таком случае. А другой вопрос.
Для рп какая сейчас мета? В aicg постоянно пропихивают пигму 7B, что она даже некоторые нелокальные обгоняет. Но кажется, что пигма это уже что-то прям совсем старое должно быть на данный момент.
Вышло что интересное, что я мог пропустить?
> В aicg постоянно пропихивают пигму 7B
Тебя крупно наебали, пробуй модели из шапки сначала.
могу тебе 3070Ti подогнать.
Если тебе для игор. В плане нейронок я на ней смог пока только openchat-3.5 q4k_m запустить. Хочется большего.
-кун
какие нахуй игры в 2024, калфилд ёбаный в 1080р на 15 фпс гонять? Ну ладно, не моё дело, где ты там в 2024 игры нашел. Балдурсгейт был неплох, да, но только вот он и всё, больше ничего.
- прав
> первые две лучше
Да, они пытаются выполнить поставленную задачу. С ошибками офк, там чтобы сразу работал код ни одного варианта нету, но пытаются. Причем один из запросов на русском языке отработало вполне прилично.
Микстраль же при запросе на великом-могучем подзафейлил даже разметку и вообще не понял задачу. Во втором случае что-то попытался, но опять часто про анализ пикч проигнорил. Хз, типикал поведение 7б, офк для такого размера огонь, но вот уже для 56/42б - хз.
> промпт там корректный был?
Все на скринах, там альпака, ### заголовком после маркдауна становится, и мистралевский [INST] [/INST]. По поводу последнего - особо не заметно чтобы он перформил лучше альпаки, но может просто так выпадало.
Алсо если приказать микстралю писать код и комментировать на русском - постоянно лезет внезапный EOS токен и норовит прервать выдачу.
> Во-вторых, буру-теги, думаешь, она поняла о чем ты вообще?
Ну какбы это тоже часть задачи, кодллама же понимала, хотя не должна была. Задача довольно сложная, хоть и бессмысленная, поскольку требует применения очень свежих функций, которые еще связаны между собой и легко запутаться в них. Преимущества у микстральки тоже есть, например трасформерс и ллама-токенайзер он понимает лучше чем wizard-coder, который норовит пихнуть gpt-2 или другие модели 1.5-летней давности. Xwin coder более свежую базу имеет и легче подхватывает. Гопота выебывается что сложна-сложна, но скорее всего если початиться - выплюнет наверняка.
Микстраль кстати очень крут. По русски как гпт 3 шпарит.
Только не понятные подвисания бывают. Кручу на проце 2-4 токена в секунду, но иногда бывает скорость падает до 0.3 токенов в секунду, а после этого снова возвращается в 2-4.
> Микстраль
Какой?
Да я понимаю, что наебали. Пигма стара как мир, и я трогал её уже.
Просто не понятно, насколько далеко локалки продвинулись за то время, как я их не трогал, конкретно в плане рп.
И хуй знает, в том треде многие рекомендуют старые версии нейронок из-за отсутствия цензуры и сои, может здесь похожая ситуация, что пигма за счет этого вытягивает. Но сам не в курсах.
Добра тебе, гляну шапку.
mixtral-8x7b-instruct-v0.1.Q3_K_M.gguf
> 8x7b
Мне же не влезет. Это же 7b
У вас колаб стартует или тоже ошибками сыпет под конец?
>Одному из местных она еще едет, возможно скоро будут тесты.
Трекнул. Прошла растаможку и едет в поезде в мои ебеня.
>Может на них новая CUDA
Подвох в том, что они не умеют работать с числами разрядностью меньше 16 и в них нет аппаратного умножителя матриц. Поэтому прирост производительности от квантов будет буквально никакой.
Проверял 7b на 1070 - Прирост в 4+ раза на lama.cpp и просто хреновая работа на autogptq.
План по посадкам на этот год выполнен, бюджетов нет больше на поддержание зондов.
>K80
А эта просто медленная/медленная.
> для 56/42б - хз.
Ну так эти 42 размазаны по разным областям.
Окей, я потыкал ее пару раз твоим запросом — пока ниче внятного не дала, признаю.
Выходит, мое первое суждение о том, что она просто удобный универсал, который анонам не нужен, так как аноны и сами могут поменять модель когда надо, остается верным.
Зато она на русском норм болтает для ее скорости, я доволен. х)
У меня иногда 0,6 бывает, подтверждаю. Причем, непонятно почему. Но пока дважды такое ловил, не придавал значения.
ОХ
третий квант на 7б модели, которая еще и жмется плохо по словам разрабов… сочувствую.
Отличненько, ждем!
И оперативы меньше 32?
И далее она написала все функции с комментарием «здесь реализуем…» =D
Нет, 32 рам и 8 врам, а скорости же нахуй пройдут.
>третий квант на 7б модели
Можно попробовать q5. Когда через lama модели грузишь они в системе странно отображаются. Сам процесс показывает 20 гигов занимает в данном случае как и должна q3, а общий баланс оперативы в диспетчере почти не меняется. Там несколько гигов только занято. Может оно не полностью в память грузится.
> потыкал ее пару раз твоим запросом — пока ниче внятного не дала
Если тыкать более простыми и с использованием более старых/традиционных средств то сделает получше. Что еще не понравилось - не смогла переписать заданный ей код в васян-стиле по стандартам и реализовать некоторые пожелания, хотя кодллама с этим хорошо справляется и он примерно в половине случаев даже работает, в остальных требует небольших правок.
Кодлламу 7б и подобного размера модели не тестил, конечно, возможно микстраль лучше их. Ну и какой вообще ожидать перфоманс по коду хз, может среди этих экспертов питонистов и нет.
Что поделать. С 32 гигами 3 квант работает. А у тебя еще можно и в видюху несколько слоев скинуть, будет еще лучше я думаю.
Попробуй.
Я всегда mlock тыкаю.
Ну и в 64 гига q8 влазит.
Че-т не будет.
Я седня тыкал ее на игровом — скорость была скакала как пойдет, от 1,6 до 2,2.
А на сервере ✓ cpu — 2,4-2,8.
Микстраль в видяху пока не але.
Ну или у меня версия не самая новая и уже пофиксили, хз.
Ryzen 5 5500 + DDR4 3200 в двухканале.
Mixtral Q8_0.
Серверные карты рассчитаны на внешний воздухоток в корпусе. Кулер придётся докупать специальный.
Да любой купить и на скотч приклеить. :3
Ну или резинками какими присобачить. Делов то.
А если у меня в корпусе 3 на вдув 4 на выдув больших вентилятора это считается за воздухоток?
Нет, если они не создают поток как у воздуходувки.
Как крутить настройки писать системный промпт у SUSChat чтобы модель не отвечала за меня, анон?
У меня на Roleplay, ChatML и Default за меня не говорил никогда
Ну значит тебе повезло.
А то как то не комильфо пиздить Марию, где она посреди действия начинает писать за меня и уже пиздить меня, лел.
> С убабугой/кобольдом используешь? Как по качеству рп с таким? Сильно лупится без rep pen?
Если через min_p 0.02 и темературку в 1.0-1.15 не лупится вообще.
Ну вот и всё. Весь топ-3 занят 7В, 70В рп-кал уже даже не в десятке.
Попробуй в author notes добавить мол чар не будет говорить за меня.
Скорее всего с карточкой просто глюки какие-то
И теперь веры этому списку еще меньше
Да эту банальщину я сразу сделал. Оно не всегда помогает, вот в чем дело. Тому и думал, может есть настройки волшебные. Кста, а какие у тебя настройки в Text Gen WebUI presets?
Я через таверну КУУМлю.
Если ты через угабугу - поставь таверну, чего ты.
>Undi95/Plap-7x20B-GGUF
Тем временем унди понесло.
Так я тоже про таверну. Силли таверну.
На чём кумишь? Что лучше в ерп
Тогда может с самплером у тебя проблемы?
Поставь симпл-1
Там всегда все работает.
Выше уже писал модели какие ща топовые.
Не знаю, я бы предварительно на ютубе глянул как люди это решают. У них там кожух какой-то специальный.
Да, но не такой который нужен.
>Поставь симпл-1
Значит у тебя просто голый пресет и все?
> какие ща топовые.
Ну кста, таки насчет суперсусачата - чет оно иногда дикий тупняк включает.
>Выше уже писал модели какие ща топовые.
Эьо микстрал который?
> симпл-1
Самый каловый пресет. Если реально надо чтоб всё просто работало, то лучше миростата ничего нет.
Миростат хуёво с mixtral работает.
А ты gold, bronze silver берёшь?
Нет у меня свой, но просто для теста поставь.
С ним всегда хоть и немного уныло, но работает.
Миростат хороший.
Но на некоторых моделях (не только микстрале) все в говно уходит.
Опять же, для дебага лучше симпл-1 нету.
В 34 SUSChat все еще топ.
В 20 Норомейда, Rose-kimiko или Iambe-storyteller
В 13 хуй знает чо там, Mythalion-Kimiko с 8к контекста потестировал. Очень годно.
>SUSChat
русский знает? или там все мозги китайско-английским забиты?
Он на yi сделан, с этим конкретно не пробовал но обычный yi в русский нормально мог
Господа, подскажите, пожалуйста: стриминг в кобольдспп + силлитаверн возможен? Стандартно всё работает, но стриминга нет. Ключ ?streaming=1 не работает, с ним просто не соединяется с бэкэндом
Настройки семплера и настройки подключения покажи в таверне.
И потоковый ввод в семплере
Спасибооо! Работает. Вроде очевидно, но моя тупость была сильнее
Я тупой. Как в llama.cpp врубить более быстрый процесинг промпта у mixtral, обещают 3 раза быстрее, но опций никаких нет. В скобочках cpu only, это тоесть на cublas не работает? Или что?
Ну и шиза же там будет на выходе, но зато разнообразная, лол.
А что за топ? Гопоту 5 уже победили?
> Попробуй в author notes добавить мол чар не будет говорить за меня.
Это должно стоять или в системном промте или в инструкции перед ответом и в другой формулировки. Чар в любом случае никогда за тебя не будет говорить, как вы этого понять не можете.
Бенчи кал, гони человеков. Даже пусть лмсисовскую арену.
> Ну и шиза же там будет на выходе, но зато разнообразная, лол.
Да вроде бы нет. Но суть в том, что rep pen на микстрал багнута. Оно со временем начинает выдавать токены в 100% вероятности, чего нет на других моделях в принципе..
Главное чтобы человеки ее не подкручивали и было понятно что тестируется.
Да офк лучше так чем в лупах утопать.
> Оно со временем начинает выдавать токены в 100% вероятности
Вут?
> Даже пусть лмсисовскую арену.
А с арены чего ты порвался? Лучше неё нет тестов так-то.
> > Оно со временем начинает выдавать токены в 100% вероятности
> Вут?
Ну то бишь вероятности некст токена достигают 1.0, хз как еще объяснить, я ща уже тот пост хуй найду. Там было более технически подробно описано.
Этот OAI совместимый api, кста, пока не все фичи кобольда поддерживает. По крайней мере, в одном из последних релизов koboldcpp так было написано. Порядок семплеров и ещё что-то там не пашет, не помню уже. Так что на текущий момент лучше классический апи использовать.
Первый раз слышу, но ты там же можешь выставить старый апи
>Это должно стоять или в системном промте или в инструкции перед ответом
Author notes можно ставить на любую глубину чата, так что можно как после описания перса, так и в самом конце чата поставить. И можно оформить текст с нужными префиксами/суфиксами типа ###Instruction. Единственное, не помню, запихивает ли таверна имя персонажа или юзера перед авторской заметкой, что может мешать восприятию заметки как инструкции.
Это в ченжлоге к версии 1.50.1 было. Про сэмплеры там имеется в виду, что этих не было изначально в OAI compatible api, а в этой версии их туда добавили. Т.е. функционал туда позже завозится.
>ты там же можешь выставить старый апи
Можно, но зачем, если KoboldAI Classic API и так пашет со всеми сэмплерами, их порядком и стримингом.
> их порядком
Зачем? Кроме прославления величайшего достижения семплеростроения офк.
>имя персонажа или юзера перед авторской заметкой
System
как сплиттить модель на две карты?
лоаде llama.cpp,
--gpu-split и tensor-split - кажется нихуя не работают.
пробовал
--gpu-split 6,5
--gpu-split 5,5
--gpu-split 4,4
--tensor_split 1,1
--tensor_split 1,1 --gpu-split 4,4
все время ебаная out of memory.
./start_linux.sh --model models/deepseek-coder-6.7b-instruct.Q5_K_M.gguf --n-gpu-layers 35 --n_ctx 8192 --tensor_split 4,4
чяднт?
лоаде llama.cpp,
--gpu-split и tensor-split - кажется нихуя не работают.
пробовал
--gpu-split 6,5
--gpu-split 5,5
--gpu-split 4,4
--tensor_split 1,1
--tensor_split 1,1 --gpu-split 4,4
все время ебаная out of memory.
./start_linux.sh --model models/deepseek-coder-6.7b-instruct.Q5_K_M.gguf --n-gpu-layers 35 --n_ctx 8192 --tensor_split 4,4
чяднт?
так..... у меня получилось азделить модель, но она как-то конценым образом раздляется.
Указал
--tensor_split 1,3
а разделило нихуя не 1 к 3.
Было бы здорово, если бы кто-нибудь подсветил чё это за хуйня.
Через куда визибл девайсез ставь первым (нулевым) устройством более мощную карту с большей врам. На нее приходится еще контекст, на который llamacpp отжирает неприлично много. Отпиши что там по перфомансу получается.
А так вообще если грузишь модель что полностью помещается в видеокарту и карточки не лютая некрота - вкатывайся в экслламу. Никаких проблем со сплитом (офк про контекст на первую карту также актуально), все задается гигабайтами, кушает меньше врам и работает быстрее.
>Одному из местных она еще едет, возможно скоро будут тесты.
немного к слову про производительность P40:
модель deepseek-coder-6.7b-instruct.Q5_K_M.ggu
с батлнеком в виде 1060@6:
Output generated in 36.76 seconds (14.01 tokens/s, 515 tokens, context 623, seed 1119528441)
Output generated in 29.67 seconds (14.86 tokens/s, 441 tokens, context 623, seed 98203181)
на ЦПУ AMD Ryzen 5 3600 6-Core @ 12x 3.6GHz, двухканал DDR4 3200 МГц
Output generated in 91.47 seconds (5.61 tokens/s, 513 tokens, context 623, seed 1429907747)
Output generated in 73.45 seconds (5.83 tokens/s, 428 tokens, context 623, seed 1813178837)
учитывая, что P40 выше по производительности чем 1060 и что у них одинаковая архитектура - скорее всего на P40 будет ускорение в 3-4 раза (а может быть и в 5 раз из-за того, что fp performance e 1060 4.3, а у P40 - 11.7) в сравнении с моей ЦПУ-шной конфигцрацией.
Думаем.
Короче я бы ставил на то, что P40 неплохо тащит.
> с батлнеком в виде 1060@6:
На нее все слои выгружаются? Если так то это не ботлнек а просто ее перфоманс. Тогда если сравнивать по псп врам p40 окажется в 2 раза быстрее, и по расчетам чуть меньше чем в 3, порядка 30-35 т/с на 7б, что приемлемо. Совсем уж теоретизируя - на 13б будет ~15т/с, на 30б ~7 т/с, если последнее подтвердится то это получается самый дешевый путь вката в тридцатки с возможностью (неспешно) читать стриминг а не ждать его накопления. Подводных камней вагон, но тем не менее.
А я рандомно скачал dolphin-2.5-mixtral-8x7b.Q4_K_M.gguf, тоже норм. Но скорость действительно самое узкое место. Пока поймешь, что сгенерировалась хуета и надо начинать заново, уже заснешь.
>куда визибл девайсез
я так понимаю, имелась в виду переменная окрудения?
CUDA_VISIBLE_DEVICES=1,0 ./start_linux.sh --model models/deepseek-coder-6.7b-instruct.Q5_K_M.gguf --character Saya --n-gpu-layers 35 --n_ctx 8192 --tensor_split 2,15
2,15 - пиздец конченый параметр, чо за бред.... пришлось перебирать, пока не перестал падать в оом
Output generated in 28.77 seconds (16.96 tokens/s, 488 tokens, context 623, seed 1450316253)
Output generated in 25.84 seconds (19.93 tokens/s, 515 tokens, context 623, seed 1082159972)
Output generated in 25.69 seconds (19.82 tokens/s, 509 tokens, context 623, seed 877123830)
кажется это действительно что-то ускорило.
>На нее все слои выгружаются?
я не могу ответить, потому что не вижу где это вообще посмотреть. Но нет, все слои в неё просто не влезли бы. Они видимо раскиданы по разным гпу, я не знаю каким образом. Мне не хватает понимания значения параметра --tensor_split
Дополнительную врам на первой видяхе жрет контекст.
Прилично, поэтому надо на первую видяху гига на 3-4 меньше ставить для начала, а там уже смотреть.
И в сумме, чтобы хватало на модель, конечно.
Братан, какие 7B, ты в своем уме? P40 берется только ради 70B, ну в крайнем случае 34B.
Может быть 20B, хз.
Так что свой перформанс в 15 токенов смели дели на 3, а то и на 10. =) Ну, побольше, мб.
Т.е., проблема в том, что ты либо гоняешь малые модели быстро (но на 3060 будет быстрее), либо гоняешь большие, но медленно (и хз, нужно ли оно тебе в 2-3 раза быстрее проца).
Либо там реально пушка-гонка и летает все 3 токена на голиафе, или сколько нам обещали, может я ошибаюсь.
В двадцатки, скорее, тридцатки там ближе к 3-5 будут, кмк.
Ну, посмотрим.
Ну, не хуже 13B, а то и быстрее раза в полтора, кмк.
Так а чего непонятного-то?
По сути, тебе надо туда вписать сколько частей загружать на первую видяху, и скока на вторую. Самое простое — вписать туда гигабайты как есть.
Берешь объем видеопамяти первой видяхи, минусуешь контекст (пусть будет 4 гига), вписываешь число. Берешь объем видеопамяти второй видяхи, вписываешь после запятой. Все.
>P40 берется только ради 70B
нуу.... с точки зрения кода, который мне выдал deepseek-coder-6.7b-instruct.Q5_K_M - вполне приемлимый уровень. Я не вижу причин подниматься до 70B.
Может это только для забористого кума нужно, а то я видел тут люди жалуюстя что у них отыгрыш лолей недостаточно хорошо получается.
Поправь меня, если ошибаюсь, а то я хз, я новичок тут.
В твоем случае, проблемы быть не должно, моделька маленькая.
Попробуй соотношение 2,7
Ну, с точки зрения кода — дальше мистрали ниче не нужно (хотя выше анон жаловался, что 34B с трудом понимают, что ему нужно=).
А мистраль — это уже 7B, которая в 12 гигов влазит легко (даже в 8, кстати). Накой тут P40-то.
Берешь 3060 и она летает у тебя во все стороны. Че там, небось, 35+ токенов будет.
Ну, правда, через мегамаркет и баллы, да.
Если вот прям совсем ужимаешься — думаю, можно взять и P40.
Хотя, может P104-100 будет лучше (учитывая ее копеечную стоимость), но мне лень копаться с дровами для запуска. Кто-то писал, на линухе нет проблем.
Но если ты поменял местами видяхи, и 8-гиговая считается первой, то можно 4,5.
А то я криво читал ваш диалог.
Хотя, если 8-гиговая мощнее, то я бы на ней держал больше слоев, а контекст держал на более слабой карте (т.е., более слабую ставил бы первой). Но я не уверен, что это именно так работает, может я дурак и вообще полчетвертого ночи.
>а то я видел тут люди жалуюстя что у них отыгрыш лолей недостаточно хорошо получается.
Он и на самых крутых коммерческих сетках говно. Ой...
да шоб тя разорвало собака сутулая....
почему блять?!
./start_linux.sh --model models/vicuna-7B-v0-GPTQ --multimodal-pipeline minigpt4-7b --character Saya --gpu-split 1,8
2023-12-17 03:58:00 INFO:Loading vicuna-7B-v0-GPTQ...
2023-12-17 03:58:07 INFO:LOADER: ExLlama_HF
2023-12-17 03:58:07 INFO:TRUNCATION LENGTH: 2048
2023-12-17 03:58:07 INFO:INSTRUCTION TEMPLATE: Vicuna-v0
2023-12-17 03:58:07 INFO:Loaded the model in 7.05 seconds.
2023-12-17 03:58:07 INFO:Loading the extension "multimodal"...
2023-12-17 03:58:07 INFO:Loading the extension "gallery"...
почему блять?!
./start_linux.sh --model models/vicuna-7B-v0-GPTQ --multimodal-pipeline minigpt4-7b --character Saya --gpu-split 1,8
2023-12-17 03:58:00 INFO:Loading vicuna-7B-v0-GPTQ...
2023-12-17 03:58:07 INFO:LOADER: ExLlama_HF
2023-12-17 03:58:07 INFO:TRUNCATION LENGTH: 2048
2023-12-17 03:58:07 INFO:INSTRUCTION TEMPLATE: Vicuna-v0
2023-12-17 03:58:07 INFO:Loaded the model in 7.05 seconds.
2023-12-17 03:58:07 INFO:Loading the extension "multimodal"...
2023-12-17 03:58:07 INFO:Loading the extension "gallery"...
> я так понимаю, имелась в виду переменная окрудения?
Именно.
> потому что не вижу где это вообще посмотреть
> --n-gpu-layers 35
Оно, если стоят все (уже не помню сколько там в этих, но вроде как раз около того) то будет так. Раз только часть то хз что там будет.
> тридцатки там ближе к 3-5 будут, кмк.
Ну это уже грустно совсем, хотя вброс про 4-5т/с на 120б пророчит вообще космическую скорость на 30б.
> с точки зрения кода, который мне выдал deepseek-coder-6.7b-instruct.Q5_K_M - вполне приемлимый уровень
Понюхай файнтюны кодлламы 34 хотябы, поймешь что эта мелочь - слабовата.
> Может это только для забористого кума нужно
Для забористого уже 70, да, но это если зажрался и быстрое взаимодействие. Хотя и тут беда с размером контекста.
> с точки зрения кода — дальше мистрали ниче не нужно
Ну ты рофлишь чтоли, она задачи чуть сложнее дефолта с большим трудом понимает, какой бля не нужно. И хз как отреагирует если с ней устроить чат с разбирательством почему-как-не работает-чини бля.
Как отреагирует если устраивать ее интеграцию в ide тоже хз, это уже пусть умные люди тестят сравнивают. В любом случае со скоростью микстраля тут он юзлесс.
> ./start_linux.sh --model models/vicuna-7B-v0-GPTQ --multimodal-pipeline minigpt4-7b --character Saya --gpu-split 1,8
Зачем? Просто ./start_linux.sh а уже в веб морде выбираешь модель, выставляешь лоадер (нужна exllamav2-hf), спокойно задаешь размер и жмешь лоад. Если не получилось - анлоад, поменял параметры и заново.
Что за ошибка - хз, версии последние?
версия text-generation-webui - мастер, скачанный вчера
>Зачем? Просто ./start_linux.sh а уже в веб морде выбираешь
заебли out of memory
Намышевозишь параметров, а потом в консоль назад лезешь перезапускать эту мандулу.
Брось нахуй, пустое. Или запускай не в уебабуге, найди другой уи или способ. У него всегда какие-то проблемы. Теперь на днях уеба сломал все шаблоны. Да что говорить у него обновы поломанные через раз и это постоянно. Начнешь поднимать вопросы там надают советов которые сводятся по сути к тому, чтоб самому код переписать, а тогда нахуй нужна толпа ебланов из этой репы? И не надо говорить про попенсорс - типа жри что дают задаром. Во-первых у них грант, во-вторых донаты. Надо иметь сознательность чтобы хотя бы проверять свои поделия. репозиторий где код правят лебедь рак и щука
Все бы так просто было. Мультимодалку даже не запустить из интерфейса, уебунга тут же просто вылетает. Этот вопрос уже обсуждался пару месяцев назад в issues. Впрочем у меня так же точно не запускалось и из консоли.
А почему нет Mixtral-8x7B-chat?
Клонов наделали целую кучу 8x7b, но что то ни одного чата нет, по крайней мере в gguf.
Клонов наделали целую кучу 8x7b, но что то ни одного чата нет, по крайней мере в gguf.
Там же один только Унди клепает рп шизомиксы один за другим, как не в себя. Хз, работают ли они. По идее, всё из этого списка (просто вбивал в поиск "8x7b gguf" с дефолтным фильтром trending) чат ориентированное. Чупакабра и старлинг опенчат используют.
Чтобы прожаривать температуркой весь вообще пул токенов до белого шума, конечно же. А так, лично мне нужен. Я юзаю tfs и применяю его после отрезания 5% самых говёных токенов topP 0.95 и отлавливания случаев с очень большим первым токеном при помощи topA 0.1-0.2. После этого ещё могу захотеть сначала накинуть температуру. Соответственно, topP в самом конце в моём случае не имеет ни малейшего смысла.
Я просто искал mixtral chat gguf
Нечего смущать людей своими странными названиями.
Обычно не нужно перезапускать, работоспособность не теряется.
> Мультимодалку даже не запустить из интерфейса
Ты про экстеншн на мультимодальность чтоли? Только параметры запуска, да.
> Хз, работают ли они.
Скорее всего на то что выдают подобие текста он проверяет, врядли что-то более.
А чем там история закончилась что с микстралями K_M что то не так?
Кто-нибудь знает как установить https://github.com/OpenAccess-AI-Collective/axolotl в wsl?
Начиная с установки pytorch в wsl, который пока установить не удалось. Если не затруднит, краткое руководство на уровне для дебила и уебка
Начиная с установки pytorch в wsl, который пока установить не удалось. Если не затруднит, краткое руководство на уровне для дебила и уебка
> не может даже скопипастить команды в терминал
> лезет в WSL
Тут уже квалифицированная помощь психиатра требуется, мы бессильны.
да я вчера уже доковырялся до https://github.com/oobabooga/text-generation-webui/pull/4911
тестирования там походу нет от слова совсем
>в wsl?
Сынок.....
альсо обнаружил, что openchat умеет в японский
>WSL
Подскажите, из любопытства, этим кто-нибудь вообще пользуется?
Подскажите, из любопытства, этим кто-нибудь вообще пользуется?
Ты сам-то копировал? Ну скопируй и посмотри что будет. Было бы так - не спрашивал бы. По делу то можешь подсказать или только морду гнуть?))
Что еще вендузятникам остается?
Как сделать проще, без этого гавна?
только залётные, которым кто-то сказал, что wsl может заменить полноценный линукс (нет)
Меня как-то занесло в одну контору уровня рогов и копыт, где писали на дотнете. меня попросили поднять на wsl пайплайн сборки их дотнет говна (они на линукс расширяться хотели) - там сборка заняла времени в три раза больше, чем на обычном линуксе.
Надеюсь я больше никогда в жизни не притронусь ни к дотнету, ни к wsl.
Мелкомягкие нихуя нормально сделать не могут.
> этим кто-нибудь вообще пользуется?
На серверах под Виндой это уже давно стандартный способ использования пердоликса вместо виртуалок, Azure под ним. Докер тоже под WSL работает.
>уже давно стандартный способ использования пердоликса вместо виртуалок
>Докер тоже под WSL работает
>вместо виртуалок
tell me more, сынок
https://github.com/MicrosoftDocs/WSL/issues/899
> Windows 10 Home
Что тебе сказать? То что в хоуме куча функционала винды порезано? Так это всегда было и будет, никто тебе не даст сервера на хоуме поднимать.
Может он намекал, что wsl извращенная форма гипервизора и уж лучше вмварь или гипер-в навернуть с кучей виртуалок, чем этим пользоваться?
Другой анон.
> лучше вмварь или гипер-в навернуть с кучей виртуалок
Ну если хочешь извращаться без нормальной интеграции в Винду, жрать низкую производительность и тратить ОЗУ в пустую, то можно и на виртуалке сидеть. Алсо, в виртуалках можно сразу забыть про CUDA.
this.
ну и буллщит ты несешь
Хорошо тебе балмор и калитка сапог в дупу затолкали. Крепко сидит.
> с установки pytorch в wsl, который пока установить не удалось
Какие проблемы тут могут быть даже в теории?
> краткое руководство на уровне для дебила и уебка
Создаешь venv, идешь на https://pytorch.org/get-started/locally/ и выбираешь версию под последнюю куду им похоже нужна 11.8 поэтому под нее, просто линукс, копируешь команду и вбиваешь в активированный вэнв. После этого или их командой
> pip3 install "axolotl[flash-attn,deepspeed] @ git+https://github.com/OpenAccess-AI-Collective/axolotl"
или
> git clone https://github.com/OpenAccess-AI-Collective/axolotl
> cd axolotl
> pip3 install packaging
> pip3 install -e '.[flash-attn,deepspeed]'
Каких-то проблем вроде не видно.
Да, когда тебе нужно катать их софт на десктопе, но компромисс в виде такой прослойки менее напряжный чем полноценный линукс.
Шрифты уже отрендерили, красноперые?
> контору
> не имеют отдельной машины/виртуалки под такое
> ты, который не сбежал оттуда при виде такого
лол, ну мнение такого кадра определенно преисполнено объективностью и корректностью
> и уж лучше вмварь или гипер-в навернуть с кучей виртуалок, чем этим пользоваться
От задач зависит же
> орошо тебе балмор и калитка сапог в дупу затолкали
Пчел, после такой шизы ты еще кого-то в чем-то обвиняешь?
В mixtral-8x7b-moe-rp-story поломан русский язык.
Совсем по-русски не общается, выдает случайные слова.
Вот и качай после этого всякие файнтюны, больше ломают чем улучшают.
>компромисс в виде такой прослойки менее напряжный чем полноценный линукс.
буллщит или намеренное враньё. Когда у тебя выскочит шишкой геморроя проблема на wsl - ты проклянешь всех, кто учавствовал в его разработке до седьмого колена. Но откуда ж тебе знать, ты не сталкивался никогда всерьез с этим.
>лол, ну мнение такого кадра определенно преисполнено объективностью и корректностью
конторой я их назвал потому что они не настолько крупные в сравнении с компанией, где я сейчас работаю. Для тебя моя "контора" скорее всего равносильна "корпорации" или "конгломерату".
альсо
>ты, который не сбежал оттуда при виде такого
я и сбежал, я ж не говноед. И да, на отдельной машине линуксовой они и собирали своё говно до кучи.
>Пчел, после такой шизы ты еще кого-то в чем-то обвиняешь?
ну что ж, давай разберем по частям тобою написанное
>Ну если хочешь извращаться без нормальной интеграции в Винду
нахуй не надо, потому что внезапно большинство проектов работают только на линуксе, а на винду их только пересобирают или адаптируют
>жрать низкую производительность и тратить ОЗУ в пустую, то можно и на виртуалке сидеть.
ты определись - мы говорим про компьютинг на видеокарте или на цпу?
>Алсо, в виртуалках можно сразу забыть про CUDA.
нахрюк виндобляди, которой барин в его хрюкни-V не подвез PCI Passthrough.
KVM, для справки, позволяет прокидывать карты в виртуалку. А до него это мог делать xen еще в бородатых нулевых. Но откуда ж тебе знать.
> хрюкни-V не подвез PCI Passthrough
Емнип, вмварь под виндой тоже умеет интерфейсы прокидывать.
> Когда у тебя выскочит шишкой геморроя проблема на wsl
Именно, вероятность такого - околонулевая. Проблемы, которые могут вылезти в рамках пердолинга на десктопе с релейтед ему задачами и около нейронками уже позакрывали и обрабатываются оперативно. Для остального - отдельные машины с прыщами/бздой на любой вкус, или загружаешься в полный линукс.
Тыж настолько преисполнился в собственном чсв что даже пост внимательно прочесть не можешь.
> я и сбежал, я ж не говноед
Сам написал что сначала как следует распробовал.
> ну что ж, давай разберем по частям тобою написанное
Что ты там разобрать можешь после того заявления, еще вменяя чужие посты.
Реально поднадусеровый шиз со швабодкой головного мозга.
Почему ты так порвался? Кто тебя обидел?
Вроде спокойно расписал почему тот наброс - ерунда, где же порвался? Истинный разрыв - привлечение анальных примеров выше.
Какие файнтюны могут быть у Унди? Он месит сам не понимает что и как. Ему похрен, главное не останавливаться, чтоб донаты капали. А кто-то качает и восторгается "разницей" среди его моделей, который вероятно в таком роде: старая модель говорила "ебать", а новая говорит "выебать" - охуеть прогресс. Тот долбоеб, который мастурбирует на его модели, лучше бы задоначенные ему доллары потратил на шлюх
> интеграцию в ide
Я так и не пощупал гитхаб копилот, кстати.
С одной стороны, как раз интеграция в иде ей проще всего — никаких задач на словах, чисто код дописывай.
Но вот насколько в нужную сторону она будет дописывать — я согласен, скорее всего часто будет мазать вообще не в ту степь.
Кодллама на выделенной видяхе в иде — звучит вообще вкусно, конечно. В теории.
А дальше и правда нужны умные люди. =)
Да, я тоже попытался запускать мультимодалки, чо-то нихуя multimodal extension не работало.
Ну я забил и юзал из лламыспп.
ест попкорн
Тут согласен. Я сразу подумал, что намек на это.
Как неожиданно.
>ест попкорн
ну, справедливости ради - я действительно линукс сектант, но я думал, что в треде локального запуска нейросетей не будет с этим проблем и тут типа, все такие.
В конце концов fuck the corporations, fuck the OpenSoyAI
> тут типа, все такие
Душнилы с разной степенью умеренности позиции.
> fuck the corporations, fuck the OpenSoyAI
Не думал что соглашусь с линуксоидом.
>линукс
Гигабаза, так сказать, мета. Последний оплот свободы в мире анального копирайта и попабольных зондов.
Не, я вот под виндой сижу.
Но не испытываю проблем, venv питоновский создаю и все. WSL это весело, но если бы я хотел линуху — накатил бы линуху и все.
Хотя и против WSL ниче не имею, не юзал.
пикрел
Вобщем получается самое простое накатить убунту второй системой только из-за аксолотля ппц...Посколько как я понял в винде не будет работать никак, у них написано Windows Please use WSL or Docker!
это не тема треда, но все-таки тебе не нужна винда, анон.
На линуксе без проблем сейчас идет ВООБЩЕ НАХУЙ ВСЁ, слава Гейбу и херувимам-разработчикам его, ежи Proton его Артефакт присутствия и влияния в мире смертных.
> но если бы я хотел линуху — накатил бы линуху и все
Это не описать насколько заморочно перегружаться из одного в другой из-за потребности в лимитированном софте, сюда же настройка мультимониторного интерфейса, цветовых профилей, и сопутствующего функционала, который все равно отличается и действует на нервы. и что бы там не говорили, прыщи на декстопе если не вырос в них и их специфичный пердолинг в крови - уступают по удобству и юзабилити
Эмуляции и там и там достаточно инвалидные, но wsl выходит приемлемым компромиссом для простых задач. Офк у нее много пиздеца, чего стоит скорость работы с шиндовской файловой системой. Но бесшовность, скорость и интеграция таки решают. Так-то все расчетные машины на прыщах, представить там что-то типа шинсервера где натащили лишней кривой залупы вместо минимализма, удобства и абсолютного функционала - страшный сон.
> пикрел
лол да
Да должно оно и так работать, что у тебя там происходит то и на что ругается?
Если с линупсом не знаком то можешь соснуть уже на установке нужной версии пихона, лол, а так поставь, попробуй.
>потребности в лимитированном софте
Тебе следует отказаться от такого софта и решать задачу иными инструментами. Это может быть костыль через костыль, но ты должен пойти на эту жерту ради будущего человечества. И ты всегда можешь пилить свой костыль.
>который все равно отличается и действует на нервы.
вся суть претензий.
>уступают по удобству и юзабилити
Ну еще бы, все же на корпорации работают тысячи профильных спецов. Но мы должны отринуть наши слабости, тягу к излишним удобствам и принимать реальность такой какая она есть.
Undi95/BigPlap-8x20B
Спасите пацана. Его микстраль сломал походу.
Спасите пацана. Его микстраль сломал походу.
Нахуй он это делает? На чём этот кал запускать с таким размером?
>Да должно оно и так работать, что у тебя там происходит то и на что ругается?
В wsl да буквально на все))
>Если с линупсом не знаком то можешь соснуть уже на установке нужной версии пихона, лол, а так поставь, попробуй.
С убунту сидел пару лет но это было 9-10 лет назад. Пердолился там с дискретной картой амд на ноуте. Ну и нихрена тогда не получилось. Сейчас наверное таких проблем нет, уж с нвидиа то наверняка.
> уж с нвидиа то наверняка
С чего бы вдруг пердоликс стал без пердолинга? Это на WSL ты просто ставишь драйвер в винде и на линуксе оно просто работает. А на бубунте будешь пердолиться с драйверами нвидии как и 10 лет назад.
перебирает варианты методом тыка, и смотрит как это будет работать
> Тебе следует отказаться от такого софта
медленно и смакуя произношу linux без GNU
Всетаки немалая часть проприетарного или специфично написанного софта - удобно и эффективно, текущие реалии сформировались естественным образом. Это как снег, он будет идти как не протестуй.
> вся суть претензий.
> Ну еще бы, все же на корпорации работают тысячи профильных спецов
Да вот, увы.
> ))
С тобой вообще технические вопросы обсуждать - особый вид извращений.
> Сейчас наверное таких проблем нет
Речь о понимании самой парадигмы которая сильно отличается, если только в шинде работал - не сообразишь и все проклянешь. На установке дров куртки тоже можно встрять, но тут от сборки многое зависит, сейчас тренд на упрощение и "из коробки", что не отменяет.
Да ему похер на чем запускать будут и будут ли, или что это снова куча гавна, за буйную активность ему может a16z грант дадут. А то хули донаты, надо уже метить выше. Другим же вот дали. Посмотрел вон сейчас у него ko-fi, да он там немалые бабки уже поднял на озабоченных))
А можете рассказать более подробно, что за гранты имеются в виду?
Кто и зачем? И в каких объемах?
Ну, справедливости ради, большинство 13б, юзаемых для рп - это либо его миксы, либо включают его модели. Иногда, рэндомно или нет, но у него выходит что-то годное. Да и некоторые 20б франкенштейны от него не так уж плохи.
Как на чем? На 4х Р40 конечно же.
Выбор илиты.
Да челик нормальные вещи делал, особенно в колабах.
Но вот эта хуетень прям реально хз зачем нужна.
> илиты
Половина токена в секунду - это не элита.
все ещё лучше, чем 0 токенов в секунду, лол
0.1
>PCI Passthrough
Не у всех есть куча видях под каждую виртуалку. А WSL шарит.
Увы, 20 летний опыт ебли с виндой не пропьёшь. А люнупсу я ломаю за 4 недели до состояния нестояния, кернел пеников и прочей хуиты.
>медленно и смакуя произношу linux без GNU
Два чаю, у меня сервак так пашет. Даже видяху вытащил, чтобы наверняка.
NeverSleep/Noromaid-13b-v0.2-GGUF
Для любителей бюджетного КУУМа обнова вышла.
Для любителей бюджетного КУУМа обнова вышла.
СуперСус хуже, чем mixtral для ерп, держу в курсе.
Есть что получше mixtral?
Есть что получше mixtral?
>Пук
Смищнаа!!!
https://huggingface.co/afrideva/TinyLlama-1.1B-Chat-v0.6-GGUF
вот это для настоящих любителей бюджетного кума, а у тебя середнячек
не пукай
> С тобой вообще технические вопросы обсуждать - особый вид извращений.
Ты меня с ним не перепутал? =)
Бюджетно!!.
———
Попробовал тут XTTSv2 — охуел. Голоса копирует от 4/10 до 9/10. Акценты в тексте расставляет ваще не так, но то похуй.
Силеро быстрее, но там все-таки чутка роботизированный голос, а тут прям мякотка, мое увожение.
Рекомендую, кто там генерит голоса.
>1.1B
Мое почтение таким кумерам
Так, отговорите меня от покупки p40. Как я понимаю оно с exllamav2 не работает? Мне критически не хватает видеопамяти, с чем обычно её используют?
>отговорите меня от покупки
Да похер всем. Твои ж деньги.
Это как зеоны древние с алика покупать.
>Это как зеоны древние с алика покупать.
то есть это может быть выгодно, но если ты знаешь что делаешь и на что идешь
> хуже, чем mixtral
> для ерп
Что может быть хуже, отвечает как пигма?
Может быть
Умирающая печь, шумящий колхозный пылесос с посредственной производительностью, которая проживет недолго (или физически или из-за софта), а ты станешь ее последним пользователем. В нейронках пригодна для очень малой доли современных сеток. На exllama - очень медленно, с llamacpp нормально.
Хороший исход возможен, основной - разыграл аппетит и быстро - выгодно продал, купив что-то современное.
Как же китайцы ебут.
> Умирающая печь, шумящий колхозный пылесос с посредственной производительностью, которая проживет недолго (или физически или из-за софта), а ты станешь ее последним пользователем. В нейронках пригодна для очень малой доли современных сеток. На exllama - очень медленно, с llamacpp нормально.
> Хороший исход возможен, основной - разыграл аппетит и быстро - выгодно продал, купив что-то современное.
Единственное близкое по видеопамяти 3090 которую на вторичке за 90к толкают, пиздец какой-то.
Поясни ёбку.
>Единственное близкое по видеопамяти
По скорости просос более чем в 3 раза, а уж по архитектуре и блокам ГПУ там полный пиздец.
Када там локальную модель качать, ссылку или не считается. =)
Че там, гпт4 тоже небось такое умеет.
Не, вообще хороши, конечно.
>Поясни ёбку.
см.
Арендуй на васте 3090 за 25 центов час.
>Что может быть хуже, отвечает как пигма?
Skill issue. Подозреваю у тебя не хватило мозгов почитать гайд с форчка. Ну или просто ресурсов, чтобы запустить. Cope.
Тем временем по мнению биологических нейросеток с арены, нетюненая экспериментальная версия модели из восьми 7B в пальто ПЕРЕИГРАЛА И УНИЧТОЖИЛА GPT-3.5 точнее сравнялась с ней, причем не текущий обрезок, а полную июньскую версию.
Так никто и не спорит. Самое лучше что придумали.
Где потестить?
меня там больше старлинг 7b впечатлил
Да, оно хорошо, крайне обещающе и даже может артефакты искать. Для специфики возможно потребуется некоторый файнтюн, но они и инструментарий для него и какие-то гайдлайны выложили.
Все верно. Есть ли толк от много памяти когда она медленная и чип не тащит - вопрос отдельный, станет ясно когда приедет и будут тесты.
> за 90к толкают
Надо было летом за 40 брать
О великий мастер и адепт 7б моделей с кучей ресурсов, поделись своим истинным знанием как получать не кринжовую залупу и копиум от модели, которая может только в кринжовую залупу и копиум.
> клод 2 на уровне турбы
> клод 1 выше
Будущее наступило
я попробовал топ модель по рейтингу http://ayumi.m8geil.de/ayumi_bench_v3_results.html для ролеплея
Neural Chat V3 16k 7B
получил отыгрыш уровня
https://www.youtube.com/watch?v=GvQGVUyMfCA
как бы это поправить....?
Neural Chat V3 16k 7B
получил отыгрыш уровня
https://www.youtube.com/watch?v=GvQGVUyMfCA
как бы это поправить....?
бля колаб для этой хуйни вашей есть? мимо замкадина нищая стабледиффузнутая 7к средний класс
Тот что в шапке не работает?
бля в шары долблюсь, не увидел ссылку, ща попробую
Лично мой опыт пользования нейронки от интел лишь заставил меня убедиться в том, что орка - плохой датасет. Я тестил несколько версий нейрал чата по мере их выхода, кроме, может быть, последний, оба раза склонялся к мнению, что модель оч сильно ощущается немощной версией чатгпт. Однако юзеры с реддита иногда вбрасывают хвалебные отзывы о данной сетке. Может это я ретард и с промтом нужно было ебаться больше, задрачивать семплеры, идеально понимая как и насколько каждый параметр повлияет на генерацию, но лично я бы предпочёл модели, которые могут хотя бы сделать вид, что они выдают осмысленный ответ "аут оф зе бокс"
((((((((((
два раза запускал, с галкой на транслейте и без, одно и то же
два раза запускал, с галкой на транслейте и без, одно и то же
пока в вилларибо просят барина дать им доступ в виллабаджо со своими видеокартами уже отходят ко сну после секса со своей вайфу
Настоящие господа запытывают своих вайф до смерти, а после перезапускают чат чтобы повторить круг издевательств
пепел ты ли это?
Кстати кто нибудь тестил на локалках thinking? Как он должен выглядеть кто шарит за это?
> Поясни ёбку.
Теперь разрешение инпутов 1120х1120, стало сильно точнее мелкие детали замечать, в текст умеет хорошо но только в английский. Потестил простые описания пиков - заметно лучше обычного CogVLM. Описание плана действий и команды пока не трогал, но ни у кого такого даже близко нет. GPT-4V уже стоит напрячься.
Скачал 1.1b
Почувствовал что такое скорость на моей 1650. Жалко только что она живет своей жизнью и генерит какой то бред. Может там что то настраивать надо дополнительно иначе бы в этой модели совсем смысла не было?
Тоже бред несла пока не убавил количество токенов за один раз, у меня было 2048 на нем бредила, внезапно.
Сделал ограничение на сообщение 500 - стала отвечать нормально, хоть и тупенькая
Да, он собственно с локалок и начался
Просто дай сетке пример ее внутреннего диалога и она его подхватит
> CogAgent,
Поясните. Можно это прикрутить к сервисам решения капчи за деньги с целью получения пассивного дохода?
Нельзя.
>Теперь разрешение инпутов 1120х1120
И тут я со своим 4к монитором.
Оно ещё живо? Чёт вангую ты не первый такой умный, так что можешь конечно, с отрицательным доходом в итоге.
Почему? А какую-нибудь парашу наглухо завайпать например Пердяшем?
> И тут я со своим 4к монитором.
У GPT-4V меньше, в базе 512, в хайрез-модели - 1024.
>в хайрез-модели
А как отличить?
Похоже опять коллаб требует внимания, там последний коммит убабуги всегда качается?
Зачем? В дурку уже записался?
> И тут я со своим 4к монитором.
С учетом того как они "видят", скорее всего даже 5к даунскейленное будет распознавать.
По названию моделей. Там вообще и которая чат 490 замечает довольно мелкие вещи, которые и кожаные игнорят.
Пикрел
> The image showcases an animated female character with dark hair, red eyes, and a white headband. She's dressed in a red dress with a unique cut-out design at the back. She holds a ladle in her right hand and seems to be in a kitchen setting. Behind her, there's a window letting in natural light, and on the wall, there are framed pictures. On the countertop, there's a bowl containing fish and some purple liquid. The overall atmosphere of the picture is calm and domestic, suggesting she might be preparing a meal.
https://huggingface.co/openchat/openchat-3.5-1210
новый опенчат, ток не пойму что с ним сделали, только результаты тестов увеличившиеся нашел
новый опенчат, ток не пойму что с ним сделали, только результаты тестов увеличившиеся нашел
>По названию моделей.
Ничего кроме gpt-4-vision-preview никогда не видел.
Нормальный чат. Даже по русски что то может.
Почему еще никто не сделал 8x3b модель как микстраль? Может там тоже что нибудь прикольное выйдет.
>Почему еще никто не сделал 8x3b модель как микстраль? Может там тоже что нибудь прикольное выйдет.
https://huggingface.co/chargoddard/SmolLlamix-8x101M
>101m
Ну я не настолько отчаялся.
Через APi выбирается "detail": "low" или "detail": "high". За вторую платишь в два раза больше. По дефолту ты жрёшь 512х512. В "detail": "high" короткая сторона максимум 768 пикселей может быть. Так что у китайцев даже разрешение чуть повыше чем у жпт.
Парни, какая сейчас из локальных LLM'ок самая лучшая с поддержкой русского языка?
Ты уточняй размеры.
70B / Mixtral
Но если не влазит, то ruGPT-3.5 13B от Сбера, насколько я знаю, до сих пор. Но она кекичная дюже.
Вроде как пока тока так.
Может кто знает меньше да лучше.
> ruGPT-3.5 13B
GGUF требуют наши сердца,
GGUF требуют наши глаза.
Сделайте.
1. дефайн "лучшая"
2. учи английский блять
3. (по поводу меньше, насчет лучше - не уверен) openchat3.5-7b_q4km - влезает даже в 1060@6
Так а с локальным CogAgent или там CogVLM че? Куда смотреть, что качать? Вижу какие-то сейфтензоры на 36 гигов. Мне нужно 2 4090 чтобы запустить или куда? :)
> CogAgent или там CogVLM
Чат-версии бери. У CogVLM визуальная 10В и 7В текстовая модели, 11 гигов VRAM жрёт с квантованием, 490 разрешение. У CogAgent визуальная модель 11В, текстовая такая же, 1120 разрешение. По скорости они одинаковые, т.к. основное время текстовая модель пердит.
Размеры похуй - "контора платит"
>Mixtral
Спасибо, не знал что она умеет по-русски!
>дефайн "лучшая"
"Ближе всего к gpt-4"
>учи английский блять
Да я-то английский знаю - чат-бота нужно сделать, на русском языке чтоб шпрехал
>openchat3.5-7b_q4km
Попробую тоже, спасибо!
Хорошо, спасибо, а ссылочку можно? Вижу https://huggingface.co/THUDM/cogagent-chat-hf
А GUI где брать? Можно взять скрипт из карточки, канеш, но вдруг есть удобоваримое.
Тогда нужно уточнять у знатоков, какой файнтьюн 70B пизже в этом.
Но там проще самостоятельные тесты будет провести, ИМХО. На нужных тебе данных и задачах.
Это разные модели. Комплектное квантование работает, если есть 24 врам - 8 бит влезает.
> Мне нужно 2 4090 чтобы запустить или куда? :)
Можно и так, как сплитить описано.
> А GUI где брать?
Там была демка на gradio, требуется прошлая версия (может уже обновили), но зачем она нужна кроме как 1 раз посмотреть?
Кто-нибудь с норм железом пытался вот это поделие от разраба Синатры запустить? https://huggingface.co/maywell/PiVoT-MoE Четыре слепленные франкенштейна 10.7б, есть gguf от Блока. Было бы круто получить что-нибудь относительно умное с датасетом Синатры, на самом деле.
>есть gguf от Блока.
А он точно ггуфает модели? Просто у него их так дохера, что я подумал он просто собирает их все в одном месте.
>А он точно ггуфает модели?
Точно. А ещё не спит и не ест.
Для этого дорого. А вообще ну ты спохватился конечно, халявщик, на рейс 15-летней давности.
Вот только заточено под гуй. С нормальными пикчами как работает?
Можно ли убить комара из дробовика? Ну наверно можно.
Бля, а нахуя Жора оффлоадит мисраль по слоям, а не по экспертам? В итоге все 8 экспертов размазаны, вместо того чтобы 6 оставить в GPU, а 2 на CPU.
Объясните по простому в чем фишка 8х7b моделей?
Восемь экспертов уровня б собрались в одном месте и перебивают друг друга кто лучше сделает таск
Потому что у жоры есть оффлоадер по слоям, но нет по экпертам?
Кстати, что такое разделение даст, кроме периодических просадок, если запрос пойдёт в эксперта на CPU?
Из 8 работают только 2, остальные ебланят.
>Из 8 работают только 2, остальные ебланят.
Все как в жизни, ейай был создан и обучен людьми.
Мистраль 7б инструкт все уже тестили? Походу это вообще лучшая модель из всех локалок на данный момент. Даже 70Б сосут.
Я бля без тролинга, я даже первое время проверял не catgpt ли у меня там включен
Мистралина это давнишняя скотина уже, с тех пор напилили файнтюнов и её убийц.
Какие убийцы и как ими пользоваться(правильно загружать крутить настройки) чтоб хуй стял?
И кто из них лучший сейчас? А то меня вчерашний шторм не разбудил. Кстати мистраль-7Б базед это модель вообще без цензуры, если нафайнтюнить её инструкт-датасетом без сои то возможно получится лучшая 7б асистент модель без цензуры. если кто то еще не сделал. Тут опять же важно файнтюнить базед версию, а не соевый инструкт
>чтоб хуй стял?
Животина, уймись
Опенгермес, опенчат.
Унял тебе за щеку, чмо
Спасибо за наводку. Тоже затестил xttsv2 в silly tavern. Для русского языка намного приятнее звучит чем силеро, и скорость генерации терпимая. Но из минусов - гораздо чаще ударения в словах ставит неправильно (для разговорной речи 5-10% ошибок). Не знаешь, можно ли как-то вручную разметкой указывать ударения как в Silero или Bark?
Проверил, обучены на таком же нечищеном от сои датасете
Каждая модель заточена на определенную тематику.
Вместо того, чтобы пробежаться по всему размеру модели и считать вообще все токены, даже никак не связанные с вопросом — пробег выполняется только по одной, наиболее подходящей (плюс председатель совета, как я понимаю=).
Итого мы имеем в ~6 раз больше знаний (42B, часть знаний общие, видимо базовое умение болтать) при вдвое меньшей скорости.
NeuralHermes, OpenChat, Toppy, Starling, НейралОпенГермесСтарлинг…
Нет, за барк вообще не шарю, а, как я понял, ни в силеро, ни в хттсе нет разметки интонаций, акцентов и ударений.
Но, может я и ошибаюсь. Хотелось бы. =')
В Mixtral нет сои. Ей ваще похую, она все одобрит с каменным лицом.
Нейтрально относится к любой идее.
Любопытно посмотреть как кто-нибудь запилит 70х8.
В Mixtral базед нет сои, но общая модель со всеми недостатками, она не будет так просто с тобой развернуто разговаривать. Нужен серьезный контекст и т.д
Mixtral инструкт уже допиленная, но соевая и с цензурой. (конечно можно пробивать цензуру, но у gpt-4 её можно тоже пробивать, мы же не за этим здесь)
Опенгермес, опенчат - натренированные на логах gpt-4, которые предварительно не почистили от цензуры. Соответственно они такие же как Mixtral инструкт.
И того не соевой модели нету. Хотя достаточно датасет с gpt-4 почистить.
gpt-4 так работает
> Соответственно они такие же как Mixtral инструкт.
Попизди мне тут. Опенчат - чуть ли не единственный файнтюн мистраля, умеющий в агрессию.
Да, она не писатель вообще ни разу. Отвечает сухо совсем. Mix.
>В Mixtral нет сои.
Клауд тогда объективная база.
А разве нет?
>Mixtral инструкт уже допиленная, но соевая и с цензурой
Чел там этой цензуры. Она выглядит так, как будто случайно затесалась. Просто продолжаешь настаивать на ответе и она игнорится. А чатгпт тебя с ума сведет.
Чел там этой цензуры. Она выглядит так, как будто случайно затесалась. Просто продолжаешь настаивать на ответе и она игнорится. А чатгпт тебя с ума сведет.
В Silero есть разметка для удар+ений, пауз, тональности и скорости.
https://wiki.calloffice.ru/index.php?title=%D0%9F%D0%BE%D0%B4%D0%B4%D0%B5%D1%80%D0%B6%D0%B8%D0%B2%D0%B0%D0%B5%D0%BC%D1%8B%D0%B5_%D1%82%D0%B5%D0%B3%D0%B8_SSML_%D0%B2_Silero_TTS
В Барке тоже есть ударЕния.
В xtts пока ничего нет, есть feature request для ударений и для SSML, но ждать их можно долго. https://github.com/coqui-ai/TTS/issues/3282
Унди добавил режим експертов в тестовую нсфв модельку. Нужно потестить обязательно.
На кобольд орде, кстати, сейчас кто-то держит тот поехавший BigPlap 8x20b. Нельзя понять, какой квант, правда.
Я его и тестирую.
>built on top of Llama2-70B merges
Это даже не франкенштейн, а катамари уже какое-то
Что за моделька?
А кумать оно может?
А ты проверь.
Щас запущу сервак
Какая у тебя память? Так не хочется ждать ответы по 600 секунд...
Мимо ddr4 2400 128, хочу завтра глянуть.
Когда памяти не хватает на второй квант, лол.
https://huggingface.co/TheBloke/mixtralnt-4x7b-test-GGUF
мое но поменьпше
мое но поменьпше
>mixtral везде
Как его усмирить-то? Оно непрерывно скатывается в повторения.
Как его усмирить-то? Оно непрерывно скатывается в повторения.
Вот же реально топ модель, уже мемами обрастает
> да я там, да на своем мистралике так кумил что вашим 70/3.5/4/4турбо/клод и не снилось!
> Итого мы имеем в ~6 раз больше знаний (42B, часть знаний общие, видимо базовое умение болтать) при вдвое меньшей скорости.
Это не совсем корректно, даже если там действительно будут сильно разные модели. Общего в них достаточно много, и суть в том числе и в совместной работе нескольких частей. Если что поправьте.
У тебя неправильный пример, ты подкрутил, клоду уже давно победили.
> разметка для удар+ений, пауз, тональности и скорости
Кто-нибудь пробовал составить промт для llm чтобы она делала с подобной разметкой на основе содержания?
Лламовская многоножка.
Presence Penalty какой-нибудь, или миростат.
> миростат
С ними повторяет вообще жесть. Вроде не рекомендуют его.
Пробовал настройки из https://rentry.org/HowtoMixtral - ещё хуже.
Что там с этим пенальти повторений сделать-то надо?
У меня в рубрике Instruct все как в этих настройках, а в общих настройках все по обычному, как для любой модели, только температура моя любимая 1.99, остальное как всегда.
Убийца гпт5?
огромный скибиди-туалет шагает по городу
Такс, это работает на кобальде, но пока не знаю какие косяки вылезут дальше. Чет пишут про вырождение генерации и лупы, но радует что все допилили до работы из коробки
Как эти лупы решить? Все модели которые я пробывал из списка после небольшого осмысленного абзаца уходит в луп.
А ты зачем стоп токен отключил?
Многие модели с ним слишком часто не дописывают сообщения как надо.
мимо
Всё как надо с ним, если у тебя не дописывает, значит, руки кривые. Ну или модели нахуй сломанные, но тут вопрос, зачем их юзать.
Короче, че с этой хуйней делать, у меня все модели на этом сайте так срут. together.xyz этот сайт если что. Проблема именно в моделях дополнения текста а не в чат моделях. Т.е продолжая любой текст он всегда укатывается в луп, можно увеличивать RP но там уже бредятина начинается, такое впечатление что я что то не так делаю. Вот попробуйте к примеру вот этот кусок из гатарий и дополняйте его, он у меня всегда в луп укатывается как и любой остальной текст:
001
Hitagi Senjogahara occupies the position of “the girl who’s always ill” in our
class. She’s not expected to participate in P.E., of course, and is even allowed to
suffer morning and school-wide assemblies in the shade, alone, as a precaution
against anemia or something. Though we’ve been in the same class my first, my
second, and this, my third and final year of high school, I’ve never once seen her
engaged in any sort of vigorous activity. She’s a regular at the nurse’s room, and
she arrives late, leaves early, or simply doesn’t show up to school because she
has to visit her primary care hospital, time and again. To the point where it’s
rumored in jest that she lives there.
Though “always ill,” she is by no means sickly. She’s graceful, like her thin
lines could snap at a touch, and has this evanescent air, which must be why some
of the boys refer to her as “the cloistered princess” half-jokingly, half-seriously.
You could say earnestly. That phrase and its connotations aptly describe
Senjogahara, I agree.
Senjogahara is always alone reading a book in one corner of the classroom.
At times that book is an imposing hardcover, and at others it’s a comic that could
permanently damage your intellect to judge from its cover design. She seems to
be one of those voracious readers. Maybe she doesn’t care as long as there are
words in it, maybe she has some sort of clear standard.
Apparently quite smart, she’s among the top in our year.
Whenever test results are posted, Hitagi Senjogahara’s name is one of the
first ten on the list. Whatever the subject. It’s presumptuous of me, who can’t
pass a non-math test, even to compare myself to her, but our brains must be
structured in fundamentally different ways.
She doesn’t seem to have any friends.
Not a single one.
I have yet to witness Senjogahara exchanging words with someone─the
shrewd take might be that her constant reading is a behavior intended to tell you
not to speak to her because she is reading, a way of building walls around
herself. In fact, I’ve sat in the same classroom as her for two years and change,
and can state with certainty that I’ve never spoken a word to her in that time. I
can and do. Senjogahara’s voice is synonymous, for me, with the reedy “I don’t
know” that she utters like a catchphrase whenever a teacher calls on her in class
(whether or not it’s a question she clearly knows the answer to, she only ever
replies, “I don’t know”). Schools are strange places where people without friends
routinely form a sort of community (or a colony) of people without friends
(myself included, until last year), but Senjogahara seems to be exempt from this
rule too. Of course, it’s not like she’s getting bullied, either. She isn’t being
persecuted or avoided in any deep, or light, way as far as I can tell. Like that’s
her natural place to be, with a cool face, Senjogahara goes on reading in one
corner of the classroom. She goes on building walls around herself.
Like it’s natural for her to be there.
Like it’s natural not to be here.
Not that it’s any big deal. At our three-year high school, with two hundred
students in each grade, you end up sharing a living space with about a thousand
people in all during your stay if you include the graduating and incoming classes
and the faculty. Start wondering how many of those people mean anything to
you, and the answer is going to be bleak for just about anyone.
Even if I meet the odd fortune of sharing a class with someone for three
years, and still don’t exchange a single word with that person, I don’t find it sad.
I’d simply look back on it someday and think: Oh, yes, I guess that’s how things
were. I have no idea what I’ll be doing a year down the line, after graduating
from high school, but I certainly wouldn’t be conjuring up Senjogahara’s face─I
probably wouldn’t be able to.
And that’s fine. Senjogahara must be fine with that, too. Not just her, but
everyone at my school has to be fine with it. Actually, it’s feeling gloomy about
the matter that’s fundamentally misguided.
That’s what I
кто тестил где написанная инструкция на локалке лучше всего работает? В джейле карточки? Вообще кто переписывал пресеты таверны и был ли у кого успех в этом деле? Просто мэны из acig чето постоянно мутят, и как бы виден разрыв между анонами локалок и аннами использующими сетки корпоратов по части промптов.
а толку от нее если в итоге она жрет за восьмерых , а работает только один из агентов и тот мудила.
Там разрыв в том что они используют сетки по умнее, они могут следовать всем этим сложным инструкциям - локалки не смогут. Все таки даже до 3.5 не все достают.
С другой стороны оттуда можно тащить лучшие из простых и рабочих решений, благо нам пробивать постоянно меняющуюся сою не нужно. Вот тот же мемори промпт новый попробовать бы, только я тупой и не понял как его делать.
попробуй 4 штуки, а не 8, я выше кидал ссылку на рабочую сетку, щас с ней сижу играюсь. 4km всего 13гб
Потому юзать его нужно с осторожностью и на тех самых моделях, а те что нормально пишут им не ломать. Чем тупее модель тем сложнее ей будет даваться связанное и адекватное продолжение текста, особенно такое проявляется на победителях.
> together.xyz этот сайт если что
Ктож его знает что там накручено, кривые параметры.
> Вот попробуйте к примеру вот этот кусок из гатарий и дополняйте его
А что тут сложного? Если нормально промт составить то оно дополнит даже по делу а не рандомной рп-шизой.
> где написанная инструкция на локалке лучше всего работает?
Вут? Инстракт режим таверны настраиваешь и не страдай, или наоборот страдай (в другом смысле) с ним развлекаясь.
> В джейле карточки?
лол
Как запускать мультимодалки?
https://github.com/oobabooga/text-generation-webui/tree/main/extensions/multimodal
Пробую по этой инструкции для модели ShareGPT4_7b, и, когда пытаюсь выполнить команду из примера, ругается на какие-то конфиги. В качестве --multimodal-pipeline пробовал llava-v1.5-7b и minigpt4-7b (плагин скачал + стянул зависимости). Убабуга свежая, запускаю из локального venv. Где я обосрался?
https://github.com/oobabooga/text-generation-webui/tree/main/extensions/multimodal
Пробую по этой инструкции для модели ShareGPT4_7b, и, когда пытаюсь выполнить команду из примера, ругается на какие-то конфиги. В качестве --multimodal-pipeline пробовал llava-v1.5-7b и minigpt4-7b (плагин скачал + стянул зависимости). Убабуга свежая, запускаю из локального venv. Где я обосрался?
> Где я обосрался?
не там запускаешь, llama.cpp server.exe запускай
> --multimodal-pipeline пробовал llava-v1.5-7b и minigpt4-7b
Шаржпт так не заведется емнип. Самый простой способ - качаешь модель, качаешь клип, по инструкции из репы жоры проводишь llava surgery, конвертишь проектор, квантуешь модель (ниже q8_0 не стоит, заодно для этого кванта почти ничего делать не надо). После используешь с его сервером, параметры запуска есть. Встроенный интерфейс - поздалупный творожок, но для базового ознакомления хватит. API описан хорошо, его можешь юзать, работает.
Алсо Sharegpt на самом деле не так уж и сильно от кога отстает, не смотря на более простую архитектуру и размер.
Нафига самому квантовать? Все готовое есть в ггуф на обниморде, качай квант, качай кодер к нему там же и запускай сервером
Дело говоришь, просто fp16 в его формат запаковать в таком размере.
> Все готовое
Ну может быть, но после пары случаев квантую сам.
Ладно, я походу слишком тупой для этого, немного проще себе представлял. Может в другой раз попробую...
Спасибо за советы, в любом случае.
локалки ведь всё такая же соя, микстраль оказывается обучен на реддите и высерах chatgpt (соевых в том числе), и дохнет эта тема через 20-30 сообщений, начинатет шизить.
ну допустим поумнее, но видюхи у них там условные a100 и скоростя большие. Все равно это сколько видюх им надо на тысячи чуваков, а в вторы ну не верю я че их модели выходят за 70b условных. Ну представь обработать быстро весь контекст за 20 условных секунд еще и огромной модели. Еще и охрененно большому количеству людей. Не слишком жирно ли для таких компаний таке желез держать без оптмизаций еще и с несколькими агентами на один ответ? Звучит как наебалово. У них вряд ли модели больше 100b
я то отстрадал свое.
34и все запихал в карточку, пресет дефолный. Очень нравятся пока ответы. До этого все пытался запихать по варианту Undi, но это хуита глючная. Щас все в джейле и мейне карточки. Насчет мемо нихуя не понял че чел зашизил там. Сетка если че Deepsex 34b. Промпт взял в acig вчерашнем.Часть его видно найдете....
Они в этих карточках купаться могут, не соврать бы, там сотни тысяч только новых, и каждый год покупают все больше. Несколько миллионов ускорителей? У майков куча, у самих попенаи тоже.
Пресет. Карточку сами найдете если че. Ну а касаемо того че в acig продвинулись дальше и делятся потому что сетки мощнее, ну у ас преимущество в выброе моделей без сои и не надо каждый месяц промпт переписывать, когда нибудь сравняются и наши сетки с ими или станут даже лучше.
тебе там не жарко?
все равно бесплатно ниче не бывает, это все временно. а еще и потом компромат на каждого нелокального анона будет. Оно нам надо, надо локал двигать, особенно учитывая реалии нашей страны.
ну ты видишь ответы выше. Вроде норм. Темпура делает лучше ответы а мин-п режет ненужные токены.
Надо, отдавать на себя инфу с которой твой психопортрет соберут такое. Рекламщики, досье и все такое, хомячки кидаются туда не думая.
Ну пока что локалки только ускоряют свое развитие. Нас всех тормозят ебанутые цены на норм ускорители, корпы все себе зажали либо за пайвелом либо вобще не продают смертным.
Я то за локалки, сервисы очень не надежны, все лучше дома держать и иметь над этим полный контроль.
Я чет больше 1.5 не ставлю с мин-п, на 2 бывает уже так себе ответы
Кстати мемо хвалят, вот карту посмотри пример, в чарактер ноте ищи мемо, качай только v2, ну там написано
https://chub.ai/characters/onii chan2210/himawari-5cf8d585
в большинстве не кажется это шиза таверны и унди. Унди дает плохие примеры с инструкциями- ответами. Надо как раньше кидать все в джейлы и main в карточке как на других сетках корпов и не использовать #instruction - response особенно на 34b от китайцев. Тогда модели чет уже пишут норм. Но лучше бы это был труд н одного анона, а и других. Все равно смысл скрывать от других че как делается в локалках.
Я так понимаю он на грантах сидит, и вроде бы с кем то вместе эти сетки пилит. Но да, инфу зажимают и не только он.
не пилит а просто мерджит старое перекидывая просто кубики места на место. Уже не смотрю его модели. Короче из всех сеток тестируемых пока что напоминает сетку только deepsex 34b и может cat 13-b остальные слабенькие или однообразные. Русскую сетку хочется с великим могучим...
Во. Она вспомнила про 20 правило с 13 ответа в 20 ответе.
Он сейчас с мое играется, на сколько помню, там может тоже что то годное попасться.
Но тестить его кучу сеток слишком долго что бы выбрать годноту
на кстати, ренти кинули с рецептом промпта мемо
https://rentry.co/DrunkArcadeExample
Думаю попробовать карточку сделать на локалку, упростив все это убрав ненужное. Может даже в кобальде, хули нет. Тсинкинг работает же.
Надо глянуть мемо, хотя щас я не знаю че еще добавить чтобы не сломать то че есть, самое тяжелое это заставить персонажа не выходить из роли (все предыдущие локалки вообще во время кума вели себя как один персонаж) и не брать роль юзера.
как выглядит тсинкинг на локалке?
>как выглядит тсинкинг на локалке?
У меня есть минимальный рабочий промпт с ним, обрезал все что смог.
Просто примером показываешь сетке че делать, ничего не объясняя. Когда то подхватывает, когда то нет. Но какое то мышление там получается. Щас на таком и сижу.
Дает себе самоинструкции и иногда думает, хотя бы.
Есть и более сложный, но там нужно выделять роль и прописывать ей поведение, мол используешь для внутреннего диалога и решения задач и тд. И давая пример так же.
Вру, вот минималка, тоже работает и даже лучше, тут в примере мышления добавлены инструкции, с ними отвечает лучше.
ну надо попробовать... сделаю отдельную таверну пот тсинкинг и посмотрю че будет делать Bel
>Deepsex
На этом сайте твоя модель на 597 месте.
Переходи на 7b. Только они уничтожают гпт.
Вообще не понимаю мистралешизов. Я как то затестил. мистралька вообще не умеет в рп. когда унди начал мерджить ее я понял че он просто творит херню.
>Надо как раньше кидать все в джейлы и main в карточке
Какая за этим логика? Эти поля тупо же пойдут в дефолтный мейн и джейл. Они были сделаны только для того, чтобы ботмейкер мог предложить свой системный промпт. Мне, например, плевать, как там ботмейкер хотел, чтобы его карточка играла, поэтому я у себя в таверне отрубаю эти опции ещё с того времени, как их впервые добавили. И касательно джейла, по моему опыту, мелкие модели путаются от инструкции, стоящей в конце длинного чата, или игнорят её. 34б мб и норм поймёт в большинстве случаев, не знаю. Instruction-input-response и другие подобные конструкции используются, потому что сетки тренировали с такими конкретным префиксами перед инструкциями/обращением пользователя/ответом. Т.е. сетка у которой при обучении всегда перед инструкцией шло ###Instruction, будет лучше слушать инструкции после этого префикса. А если ей вдруг после чата начинают втирать какую-то дичь без всяких префиксов, мелкая сеть, скорее всего, проигнорирует это.
Где кнопочка в таверне что бы промпт и джейл вводить?
книжечка справа.
ну откроем гребанный Ai responce formatting и че мы там увидим. Куча responce и instruction, записываем инструкцию в instruction и не знаю как у тебя, но я сколько тестов не делал все время сетка пытается запихать эти Instruction и Response в ответ да еще и не выполняет половину инструкций несмотря на то что все находится в самом низу. Я убил кучу времени пытавшись там писать промпты, на ундиевских шизомоделях. Может там это и работает отчасти, но на китайских 34b это не годится. А логика такая что все таки качество ответа стало выш именно когда я прописал инфу там.
О, пасиба-пасиба!
Ну, пока подождем значит.
(Силеро у меня все равно больше одной фразы подряд генерить не хочет)
Вам не кажется, что это напоминает девочку с расщеплением личности? =)
> Это не совсем корректно
Это буквально заявлено разработчиками.
42б уникальных и 14б общих на всех. =) По их утверждениям, там очень сильно разные модели.
> Кто-нибудь пробовал составить промт для llm чтобы она делала с подобной разметкой на основе содержания?
Шикарная идея. =)
1. Знакомый корпо занимается этим уже полгода. Профессия есть такая — промпт-инженер. А мы что? :)
2. Да, редачил лайтово, работает как мне надо, но я без претензий, хз.
Она только объем жрет за восьмерых, а скорость — за двоих, зато знаний за шестерых. Ну, то есть, таки выигрыш.
Ну и камон, 64 гига, у кого сейчас столько нет? Память копейки стоит. Еще пару лет назад 8 гигов DDR3 стоило 3 тысячи рублей, сейчас 64 гига стоит 4 тыщи. С DDR4 та же тенденция, там уже и попердеть на 2,5 токена можно.
Ну да, минимум 70B. =)
Да не работает этот экстеншен, тут его никто не завел.
Скачай прямо из репозитария ggerganov его llama.cpp и ею запускай. Там ничего сложного.
И это тоже да.
Но не такому уж охрененно большому количеству людей.
Охрененно больше только у опенаи, гугла, может быть клода или икса. У остальных одномоментно очень мало сидит.
Да и опенаи может отвечать по минуте, когда загруженность высокая.
Так что ты завышаешь их результаты. =)
Большая часть задействована для обучения, ИМХО.
Сами модели крутятся на меньшей части.
Как раз учитывая реалии НАШЕЙ страны, можно и в облаке сидеть — всем похуй. =D
А вот учитывая реалии мира вообще и ТЕХ стран, если хочешь поездить по за границам — лучше свои фетиши им не выдавать.
Хотя, ерпшить с гигачатом или алисой — это рофел, конечно. =D
И вообще, локалки — это как мп3 плеер. Мастхев на случай отключения света интернета.
Шел декабрь двадцать третьего, люди до сих пор кидали ссылки на аюми… даже иронично это делать кринж.
>И вообще, локалки — это как мп3 плеер. Мастхев на случай отключения света интернета.
И тут у тебя отваливается модуль гугл переводчика.
Как будто есть проблема переводить самой нейросеткой. Ну кроме скорости и проёба контекста, но это решается запуском мистраля на отдельном устройстве. В некоторых моментах даже лучше дипла, по крайней мере не серит с тегами разметки.
Мистраля или микстраля?
Мистраль на русский так себе, как мне показалось…
Мистраль так то один из лучших в 7b кто может в русский.
С переводом хорошо справляется почти что угодно.
> В некоторых моментах даже лучше дипла,
Жалко только что эти моменты не качаются качества перевода.
Просто справляется. Без хорошо.
Там на самом деле все просто, не ведись на спам терминов, буквально несколько шагов. Если до конца года доживу то запилю как запускать.
> Все равно это сколько видюх им надо на тысячи чуваков
Так этих видюх там - тысячи, десятки тысяч. Модели действительно оптимизированные - квантованные, а сам запуск далеко не на стоковых трансформерсах или аналогично пуску локалок, все оптимизировано под всю эту огромную нагрузку и поток запросов. И какой еще контекст за 20 секунд, если он на десктопном железе в 70б несколько секунд занимает?
> 34и все запихал в карточку, пресет дефолный.
Зачем? Локальным моделям не нужен жб если они нормальные, а если что-то там не так - правится системный промт или в ход идет негативный промт, который ультрамощнейшее средство.
И ты уверен что оно вообще передается? в2 формат с жб он под опеновский пайплайн рассчитан, к которому отдельный блок настроек, порядка и т.д.
Если эта карточка как-то плохо работает - пофикси форматирование или выдели нужные части, но самое первое что нужно сделать - настроить инстракт формат под ролплей. Спам всей той дичи приводит к деградации результатов, что на локалках, что на коммерции.
Вроде оттепель, все еще мерзнешь?
> как выглядит тсинкинг на локалке?
Пусти любую модель с заложенным COT и ризонингом, дефолтные ответы будут с ним. Вариант вот этого господина достаточно специфичный, плохо подходит к нормальным интерфейсам и нет уверенности в том что он что-то улучшает/раскрывает.
> Это буквально заявлено разработчиками.
> 42б уникальных и 14б общих на всех.
Не прочел перед ответом или не понял о чем речь? Не ленись, там про то что отдельные модели в миксе имеют немалые пересечения как своих базовых датасетов, так и знаний, не одна а несколько смогут корректно ответить на многие даже специфичные вопросы.
Эх, сейчас бы в 2д24м не знать инглиш. Но тебе уже дельные ответы дали, есть локальные переводчики, переводить может и нейросеть. Отдельным запросом даже та же самая модель выдаст лучше перевод и конечный рп чем если сразу рпшить на русском.
>Так этих видюх там - тысячи, десятки тысяч.
Добавлю к твоим словам то, что они наверняка всё батчами запускают. А проход одного промта или сразу десятка по сути не сильно отличаются по требуемым вычислениям, зато используют всякие кеши ГПУ и прочее.
инглиш это язык необразованного быдла, он ограничен своей простотой и заставляет изучающего его скучать от противной простоты этого языка. Иностранцы все и просят с ними на инглише общаться велт тупые как пробки и на большее неспособны, приспособляться под иностранца знающего только инглиш себя не уважать. Кум на русском или немецком будет в разы интереснее чем на этом обрубке созданном для людей с синдромом дауна.
нужен локальным моделям жб, его задача давить на сетку чтобы она реально обращала внимание усиливая приоритет на инструкции. Например у меня в жб указано чтобы персонаж говорил на современном языке, благодаря чему попадаются и современные слова в рп.
Гутен таг, Ганс, епта
> нужен локальным моделям жб
Нет. Неспроста по дефолту в таверне с настройками под локалки даже места под него не предусмотрено.
> в жб указано чтобы персонаж говорил на современном языке
Этому место в карточке и хватает буквально пары слов, по дефолту нормальная модель выстраивает стиль речи под специфику персонажа. Что-то особое лучше указывать в начале в системном промте.
Вообще доп инструкция с указанием места инжекта не помешала бы на некоторых карточках с механиками, чтобы разделить специфичную херню с шизопромтом для жб, и полезную инструкцию, что будет работать везде.
>Локальным моделям не нужен жб если они нормальные
Под джейлом в комьюнити уже давно имеется в виду не только что-то пробивающее цензуру, а и критические инструкции, которые ставятся в самый конец инпута, где они имеют выше вес. Думаю, тот анон это имел в виду. А вот вписывать дескрипшен в мейн систем промпт карточки - это какая-то шиза, потому что он тогда пойдёт в мейн систем промпт, где и так стоял бы обычный дескрипшен.
>И ты уверен что оно вообще передается?
И вот это правильный вопрос имхо. Хз, как там оно с включенным инстракт модом присобачится, нужно вывод в консоль смотреть. В одной из прошлых версий таверны с включенным добавлением имён персонажей у меня промпт на саммарайз, например, писался после {{char}}, отчего он ни черта не работал, сетка просто отвечала за перса, как ни в чём не бывало.
Вкатился после GPTQ на говнокод Жоры чтоб мисраль потрогать. Это вообще норма что скорость 15-18 т/с на 4090+CPU? Хули контекст обрабатывается долго? GPTQ контекст всегда в пределах секунды обрабатывает, а тут по 10 секунд на 1000 токенов.
>А что тут сложного? Если нормально промт составить то оно дополнит даже по делу а не рандомной рп-шизой.
Ты особо одаренный? Речь не про инструкт/чат версии а про базовые компетишн модели. То что ты сделал, это вообще не про это.
Мистраль вообще должен быстрее работать чем остальные модели т.к там групповая оптимизация.
> Под джейлом в комьюнити уже давно имеется в виду не только что-то пробивающее цензуру, а и критические инструкции
Проблема в том что они идут комплектом считай. То что могло быть поместиться в несколько слов и не жрать лишнее внимание/токены - превращается в полотна.
Инструкции дополнительные - вполне норм тема, главное не спамить туда всякую дичь и лишнее.
> Хз, как там оно с включенным инстракт модом присобачится
В стори стринге нет под них регэкспов. Зная таверну, оно может где-то еще выставляться, но в пресетах под коммерцию структура задана явно.
Говнокод, увы. Если на видюхе малая доля модели то грех жаловаться.
Зачем агришься, дурень? Оно и обычным комплишном делается, особенно если в начале задать нужный запрос.
Или ты из тех кто специально выбирает дебильный путь чтобы потом жаловаться?
Инстракт модели и "обычные" работают одинаково. Просто инстракт модели научили "дописывать" инструкции в виде ответа на них. Так что тот анон прав что проблемы, скорее всего, в параметрах или подаче промпта на обработку тем сервисом.
Просто таверновские кулибины сами не знают че делают. Проверяй влияние инструкции на рп например использовав такую формулировку
"В следующем ответе {{char}} назовет {{user}} дрочером неудачником и прижмет его к своим сиськам"
И вот когда подобная простая инструкция исполняется это говорит уже о том что сетка замечает вообще инструкции.
>Самый простой способ - качаешь модель, качаешь клип, по инструкции из репы жоры проводишь llava surgery, конвертишь проектор, квантуешь модель (ниже q8_0 не стоит, заодно для этого кванта почти ничего делать не надо). После используешь с его сервером, параметры запуска есть. Встроенный интерфейс - поздалупный творожок, но для базового ознакомления хватит.
Говнокод Жоры так себе под ГПУ.
>Алсо Sharegpt на самом деле не так уж и сильно от кога отстает, не смотря на более простую архитектуру и размер.
Ну смотря на демо - довольно прилично, при этом я только 490px версию пробовал
Только если у тебя карта с ртх, в другом случае заебок работает.
>в пресетах под коммерцию структура задана явно
Даже там она подаётся нетривиально. В гпт команды идут со специальным префиксом System, который вроде требует апишка OAI, а клоду - как-то по-другому. Судя по тому, что в соседнем треде для чар ноутс рекомендуют добавлять в начало Assistant, возможно, там плейн текст вообще без всего. Сам давно не юзал, не знаю.
Что значит заебок? RTX с экслламой, вот это заебок, вот это скорости, а вот как раз всё остальное древнее это уже говно и боль.
>В гпт команды идут со специальным префиксом System
Притом они спамят этим тегом по 5 раз на промт, хотя где-то читал, что систем должен быть один, лол.
> Проверяй влияние инструкции на рп
А это про что? Управлять ходом легко можно через (OOC), часто работает даже эффективнее всякий авторских заметок и подобных методов, кроме инжекта перед самим ответом. Если ты про что-то другое - оно в чате себя иначе поведет чем при указании в другом месте. Не понял.
Неистово потерпел поражение
> Даже там она подаётся нетривиально.
Двачую, заморочная тема. Реверс-инженерия коммерции тоже та еще тема, столько упорства нужно проявлять что аж зависть берет.
> добавлять в начало Assistant
Для клавы раньше хорошо работали те, где разыгран диалог с Assistant, который соглашается, аут оф контекст выглядит забавно.
> RTX с экслламой, вот это заебок, вот это скорости, а вот как раз всё остальное древнее это уже говно и боль.
Двачую этого господина
> Притом они спамят этим тегом по 5 раз на промт
Больше не меньше, модель ахуевает и сразу расцензуривается.
В пизду вашего Жору. У него в issues даже не нашёл про обработку контекста, всем похуй, сплошные макобляди сидят. Проще на 3.7bpw сидеть с полтосом т/с и без ебучей обработки контекста по 30 секунд.
>по 30 секунд
На твоём же скрине нигде нет больше 15 секунд. А этот результат ИМХО вполне себе юзабельный, подмайорное говно отдаёт не быстрее.
Так на моём скрине ExLlama. У Жоры перед началом генерации оно секунд 30 жуёт 3500 контекста, а потом еле пердит 15 т/с.
Ну так не меняй контекст, лол. Растяни ропой, пусть будет 8к, 16к, зато стабильно без пересчёта. Разок только при первой загрузке будет больно.
Хуясе ебать, эксллама уже научилась в микстраль? Скорость достойная.
> 3.7bpw
Вот это интересно бы потестировать что да как. Алсо интересно как ее квантование проходит и с каким датасетом делать оценку.
Тема давно обсуждалась, эффект от нее всеже есть. В теоретической теории рп датасет действительно позволяет снизить отклонения вероятностей от исходного на рп (выиграть примерно 0.2-0.4 бита), но обратный эффект в других областях. При некоторых манипуляциях получается самый настоящий алайнмент из-за квантования, пусть и небольшой.
А в микстралях же если вызываются не все эксперты, то может получаться что тем, что почти не задействовались, отдаст по 2.17 бит, выкрутив актуальные. Кто-нибудь раскуривал как турбодерп реализовал оценку для него?
> Ну так не меняй контекст
Хороший совет, таким путем можно и до рп в блокноте с самим собой дойти. Алсо оно случаем не делает при каждом вызове новую обработку?
> алайнмент из-за квантования
Оно не настолько влияет. Я квантовал вообще одной фразой из 10 слов и не было проблем.
Когда допилят QuIP послойно, вообще будет заебись на 3.0bpw.
Этой доске определённо нужен отдельный ЗОТ-тред нейроглюков.
А что не так с "Чёрная шляпа", спрашиваю для друга....
> Оно не настолько влияет.
Ну как, относительно, рандом всеравно в приоритете и все это ловля блох. Если не вникать - викитекста хватит всем.
Если хочется заморочиться - можно надергать разных датасетов и получить нейтральное, но тут больше плацебо. Квант на основе ерп датасета в ерп в среднем чуть ближе к оригиналу, но и там и в других задачах имеет заметное число отдельных токенов, которые у него отличаются от фп16 гораздо сильнее чем у остальных. Куча этой херни лежит, когда-нибудь разгребу если актуальность не потеряется.
Другое дело если оценочный датасет сделать конкретно специфичным, вот там уже проявляется.
Микстраль в ггуфе на видяхе не то что не ускоряется (в принципе), а еще и замедляться умудряется, по ощущениям.
Выгружать смысла нет на данный момент, кмк.
> rpcal
какой-то скачал…
Впрочем, с моими 12 гигами, какая разница. =')
> плацебо
Можешь top_k в 3-5 токенов поставить и пытаться зарандомить другими семплерами и дикой температурой, увидишь интересные результаты. Рандом будет влиять на формулировки, но он всё равно будет пытаться один и тот же смысл в фразе заложить, даже если слова в предложении семплингом ему дрочишь. По тестам там будет совсем полное расхождение в итоговых вероятностях после семплинга, но по смыслу почти никакой разницы.
Лучше бы тестили смысл фраз классификаторами типа bart, в RL-файнтюнах же никто не использует вероятности для ревардов.
> Алсо оно случаем не делает при каждом вызове новую обработку?
Я так и не понял как это работает. Твой инпут оно обрабатывает отдельно, не пережёвывая старый контекст. Но если инпут от лорбука, жуёт весь.
> и пытаться зарандомить другими семплерами и дикой температурой
Низкая температура или наоборот очень высокая эти эффекты несколько сгладит. И всеравно речь идет об эффектах уровня [вместо 14% на этот токен будет 15.5%], можно прикинуть сколько нужно сделать запросов чтобы так зафиксировать это исходя из выдачи с адекватным доверительным интервалом и понять насколько ерунда. И это на один токен. Кмк, внимания больше нужно обращать на единичные выбросы отклонений.
> Рандом будет влиять на формулировки, но он всё равно будет пытаться один и тот же смысл в фразе заложить
В целом да, исключая некоторые развилки, иначе бы выли с одинаковых свайпов.
Но это все рп и около того, исследовать бы это в задачках. Там от семплинга зависимость корректного ответа была очень сильной.
> Лучше бы тестили смысл фраз классификаторами типа bart
Интересно, надо будет почитать.
>Но если инпут от лорбука, жуёт весь.
А чего ожидать, когда лор вставляется в около начало?
Это же w(world)i(nfo)? Хочешь сказать если я перенесу вниз, то оно снова будет только инпут жевать?
Отключи вообще для теста, и увидишь. Офк у тебя не должен быть вообще переполнен контекст, ибо при таком случае пересчёта не избежать.
Но часть контекста всегда должна реюзаться, типа самой карточки и мейна.
> Отключи вообще для теста, и увидишь.
Отключить что?
Очередное поражение гопоты от божественного МИСТРАЛЯ
мне скорее непонятно почему ллама даже на 70B параметров не добиралась до гопоты 3.5 на её 20B
Не 20б там, лол.
Эээ линк? Или уже выпилили?
А чего там в обсуждении 474, не заглядывал? Неужели кто-то аргументированно предложил банить модели, получаемые рэндомным мёржем топовых по бенчам моделей, повторяемым до тех пор, пока не получится наитоповейшая?
Ворд инфу?
>банить модели, получаемые рэндомным мёржем топовых по бенчам моделей
За що?
Да, успели выпилить. Эх, а ведь столько побед было, ничего еще отыграются, мощщу 7б, которых зафантюнили пара братишек в подвале, не остановить!
Жаль по функционалу там можно только включать-отключать отдельные бенчи а не выставлять им свои веса при суммировании.
> Ворд инфу?
Так мне она-то и нужна. Без неё всё нормально, обрабатывается только моё сообщение.
Там суть даже не в мержах.
Там тупо тренят модель под бенчмарк. А потом мерж на мерже с этими датасетами делают
В давинчи известно что 175мрлд, а в турбе неизвестно, известно только что она дистилирована в край. На гуще челики (серьёзного уровня) гадали что 20B.
dolphin попробуй
32 гига DDR5 это 20 кесов если не больше
Инфа про 20б разве не была из какого-то официального доклада мелкомягких? Тогда ещё все рофлили, что они это спецом написали, чтобы унизить ламу.
Хз, не видел. Но звучит убедительно, тупо по скорости/цене. Или может быть низкий квант какой-нибудь.
> Хочешь сказать если я перенесу вниз
Тут ты перенесешь его чуть ниже по систем промту а не в принципе после истории чата, который занимает много контекста. А если перекинуть после него то результат малопредсказуем.
Настроить ускорение обработки контекста.
> банить модели, получаемые рэндомным мёржем топовых по бенчам моделей
Файнтюнят под тест получая огромную оценки, при этом в остальном - уг. Казаться а являться, вся суть текущего копиум-тренда.
На самом деле оно уже пошло несколько глубже, что можем наблюдать по ситуации с микстралем, который хорошо делает простые зирошоты но иногда чуть ли не проигрывает обычному мистралю на контекстах и сложных задачах. Офк это не отменяет его достижений, плюсов и эффективности тех же экспертов, но тень бросает.
Будет рофлово если пойдет гонка вооружений с обходом их детекции.
В следовании инструкциям, сторитейле, рп, некотором ризонинге - обходит. Написание кода - хз, когда есть кодллама не нужно. Знание языков и переводы - турба лучше.
> Инфа про 20б разве не была из какого-то официального доклада мелкомягких?
Ее уже успели опровергнуть и обозначить ошибочной.
>Файнтюнят под тест получая огромную оценки
Если бы было только это, то ещё ладно. Сам мистраль тоже в какой-то степени наверняка файнтьюнили под бенчи. Но вот эта вся волна новых 7б - это вообще мусор какой-то. Вон выше дали ссылку на обсуждение, по результатам которого выдали бан - там в датасете были тупо вопросы-ответы из бенча.
Вот первоисточник от майков:
https://arxiv.org/abs/2310.17680
Автор работу отозвал, с коментом что сам нихуя толком не знает и взял цифру из этой статьи:
https://www.forbes.com/sites/forbestechcouncil/2023/02/17/is-bigger-better-why-the-chatgpt-vs-gpt-3-vs-gpt-4-battle-is-just-a-family-chat/?sh=2f28c9335b65
Статью написал СЕО SoMonitor.ai, эта заява на 20B там никак не объясняется, просто с потолка цифра. Может у неё и есть основания, но он их не приводит.
>Будет рофлово если пойдет гонка вооружений с обходом их детекции.
Да я не думаю что они прям спецом туда суют тесты. В посте выше просто прошерстили датасет и обнаружили контаминацию. Причем кто-то из васянов тоже додумался прошерстить (тот самый убийца-микстраля-франкенштейн-мистраля на 10B), и вот они уже убрали.
>Но вот эта вся волна новых 7б - это вообще мусор какой-то. Вон выше дали ссылку на обсуждение, по результатам которого выдали бан - там в датасете были тупо вопросы-ответы из бенча.
Не вся, старлинг например нормальный. Хотя известно что в него тоже попали результаты.
А вообще нужно просто каждый раз придумывать тесты вручную и раз в месяц публиковать рейтинг.
Там на самом деле просто какой-то шизик был с аргументацией уровня "врёти я не верю что скоры реальные, показывайте датасет и код тренировки". Не понятно какая претензия к моделям и почему нельзя их файнтюнить под конкретную задачу, если скоры сами по себе говно. У китайцев, да и вообще у новых моделей, уже пропадает интерес к этим говноскорам, особенно с такими шизиками. Фактически сейчас можно уже хоронить эту табличку, только Арена остаётся.
налетай выберай
https://huggingface.co/models?sort=created&search=10.7b
https://huggingface.co/models?sort=created&search=10.7b
Вот таким вот пройтись по любой модели и будет заебись
https://huggingface.co/datasets/unalignment/toxic-dpo-v0.1?not-for-all-audiences=true
все таки создатель злого пивота малаца
https://huggingface.co/TheBloke/SOLAR-10.7B-Instruct-v1.0-uncensored-GGUF
https://huggingface.co/datasets/unalignment/toxic-dpo-v0.1?not-for-all-audiences=true
все таки создатель злого пивота малаца
https://huggingface.co/TheBloke/SOLAR-10.7B-Instruct-v1.0-uncensored-GGUF
При таких скоростях, DDR5 уже не критична. Соотношение размер-скорость, ну. =)
Так что, под свои цели вполне.
>все таки создатель злого пивота малаца
Только это не от него, если что. Разраб пивота использовал обратную тренировку на инструкциях безопасности от Антропик, а не этот инвертнутый датасет. Но вдохновлялись злым пивотом, наверное, да.
>На гуще челики (серьёзного уровня)
Хабр не является серьёзным уровнем, лол.
Эх, купил 64 гига 6400 за такие деньги.
>Там на самом деле просто какой-то шизик был с аргументацией уровня "врёти я не верю что скоры реальные, показывайте датасет и код тренировки".
Чё? Там скорее шизом был автор модели, который "Ряяя я придумал новый способ тренировки из говна и палок, но никому нихуя не покажу, верьте на слово".
>Фактически сейчас можно уже хоронить эту табличку, только Арена остаётся.
Потому что изначально она задумывалась как беспристрастная и открытая проверка. Кто ж знал, что на бенчах начнут тренировать я знал конечно, но кто ж меня пустит.
А вот это дельно. Интересно, сильно ли отличается от pivot-0.1-evil-a?
Ага, есть такое дело. Если изначально сам мистраль не вызывал какого-то отторжения и воспринимался просто как модель пусть не умная, но осознающая свои границы и пытающаяся выстроить ответ чтобы получить норм результат, то сейчас тот мусор - это пиздец.
На самом деле тут удачное сочетание и чуть ли не работа маркетологов (политологов/антропологов/кто там занимается всей этой херней), ведь люди действительно хотят верить в них и на этом явно играют.
Хз как дальше пойдет развитие, аукнется клеймом, само рассосется, или воинствующие нищуки будут задавать тренд, хорошего мало.
> Да я не думаю что они прям спецом туда суют тесты.
Они именно именно это и делают, а цель - попасть в топы бенча.
> старлинг например нормальный
Прямо норм? Тут то вся суть претензий в искажении результатов, он может работать с текстом, выполнять инструкции, рпшить?
> просто каждый раз придумывать тесты вручную
Синтезировать скорее и делать их комбинации, оценивая сложность каждого. Тогда предобучить совсем втупую не получится, но остается выдрочка на зирошоты, поэтому стоит включать что-то длинное-сложное, или вообще разыгрывать поэтапное решение как-то задачи в ходе общения с нейронкой.
Абуз же. То что сами это допустили - камень в их огород, может теперь зашевелятся.
Дело не в шизике, выше кинули ссылку на обсуждение. Там в датасетах была инфа напрямую из бенчмарков. Возможно, разрабы некоторых попавших под бан моделей сами не знали, что датасет загрязнён, но снесли за это.
знаю что не он, но идея то его
>А вот это дельно. Интересно, сильно ли отличается от pivot-0.1-evil-a?
У него сильный перекос был, тут может быть мягче перекос. Может даже до почти нейтрального, надо проверять все таки, но у меня качаться будет часа 2
>Возможно, разрабы некоторых попавших под бан моделей сами не знали, что датасет загрязнён
цитата про белошвейку в борделе
>У него сильный перекос был
Заебца же. Я иногда совершаю первородный грех, но после него причищаюсь вот таким вот, чтобы соя в голове не задерживалась.
>но у меня качаться будет часа 2
Скачаю за тебя, уговорил зря что ли 1000 рублей в месяц плачу?.
У него там изза этого формат проебан был, сетка хоть и отвечала но неостановимым поносом слов
Спасибо анон, скажи хоть потом че как
А чего, кто-нибудь пробовал реально на этом Соларе и его разновидностях рпшить? Мне из около 11б относительно понравилась вот эта https://huggingface.co/beberik/Nyxene-v2-11B
Вела рп получше 7б, но всё ещё хуже топовых 13б. Есть ещё её третья версия, но показалась малость шизоидной.
рпшить не, так сидеть - да. Сетки 11b умнее 13b, но пишут чуть менее красиво. Все таки размер сетки это то как красиво она отвечает, а не только мозги. Предложения больше, по другому строит предложения и все такое.
>сетка хоть и отвечала но неостановимым поносом слов
Кстати да. Хотя в этом своя прелесть была.
В общемэтот солар с токсичностью сойдёт для кума, про негров шутит без вопросов, но вот русский у него... По своему шедеврален.
хахах забавно
>Сетки 11b умнее 13b
Звучит очень сомнительно, честно говоря, учитывая, что 11б - это франкенштейны из 7б, а не нормально зафайнтьюненные модели.
По-моему, "красиво отвечает" в большей степени определяется датасетом, чем кол-вом параметров. Та же Синатра 7б, не скажу, что красиво, но эмоционально пишет. Но по мозгам явно не хватает. Мне, по крайней мере, не удалось что-то осмысленное на 7б моделях получить, помимо коротких эрп в десяток сообщений с простыми куум ботами. Да и там они умудряются, например, запрашивать второй раунд, когда ещё и первый не закончили.
Ублюдок, мать твою, а ну иди сюда говно собачье!
В общем надо добить тред до переката, так что немного проверенной классики от этой же сетки. Посмотрим, как токсичность сказалась на знаниях так сказать.
Вердикт- мозгов не обнаружено, некоторые 7B показывают результат лучше.
Что-то не сложилось. А можешь попросить ее перевести и перефразировать в како-то стиле какой-нибудь кусок текста или просто длинный пост из треда?
Кстати, в режиме правки можно орфографию проверять. Одно выдуманное слово!
Сюда бы ещё сравнение с самим виновником торжества pivot-evil 7b. Для полноты эксперимента, так сказать.
>Звучит очень сомнительно, честно говоря, учитывая, что 11б - это франкенштейны из 7б, а не нормально зафайнтьюненные модели.
Просто все эти франкенштейны были из топовых 7b которые и так недалеко от топовых 13b болтались. А солар не франкенштейн, там скорее наращивание слоев было до 11b тоже из топовой сетки. Поэтому он может быть умнее 13b но хуже в рп так как там нужно красиво писать и соблюдать формат правильно ведя историю.
Солар базовая сетка, так что нужно ждать ее нормальных файнтюнов с рп датасетами и там уже смотреть.
Ну а че, про рыб и петуха правильно же. В петухе предупреждает что это маловероятно но рассказывает, в рыбах вобще норм. Рыбы так то могут утонуть, хе. Я бы и про книги сказал что верно, ведь в большенстве ответов сетки предполагают что нужно узнать количество не прочитанных книг и вычитают.
Ну а вобще для начала сойдет, главное что сою прибил, дальше уже датасет шлифовать
> Поэтому он может быть умнее 13b
Сколько же в нем голов?
И какая из ваших этих сеток нынче топовая?
Наших это каких? 7b? Ну старлинг попробуй, вроде как самая норм сейчас
starling-lm-7b-alpha
но она скорее бот ассистент, как она в рп я не знаю
>Что-то не сложилось.
Ага, отсутствие мозга.
>А можешь попросить ее перевести
В рефразы не умею, готового бота на это у меня нет, поэтому так. Английский вариант взял из дипла, поправив одну очевидную ошибку.
Ага, может в следующем треде.
>А солар не франкенштейн, там скорее наращивание слоев было до 11b тоже из топовой сетки.
Это и есть франкенштейн, лол. Других путей пока не нашли.
>Рыбы так то могут утонуть, хе.
Только они не исчезают при этом из аквариума.
>Это и есть франкенштейн, лол. Других путей пока не нашли.
Не, тут другая технология. Франкенштейн это бутерброд из перемещаных слоев 7b. Тут же взяли 7b и нарастили ей размер, обучая в процессе. По сути переобучили сетку увеличив ее размер, я кстати такого еще не видел
>Только они не исчезают при этом из аквариума.
Опять же как с книгами ответ неоднозначен, считает ли сетка число оставшихся живых рыб или тупо вычитает. Как уж она поняла вопрос
ПЕРЕКАТ
>Так что нужно ждать ее нормальных файнтюнов с рп датасетами
Вообще есть уже какая-то, всё от того же разраба Синатры. Можно будет попозже попробовать потестить. https://huggingface.co/maywell/PiVoT-SOLAR-10.7B-RP
>А солар не франкенштейн, там скорее наращивание слоев было до 11b тоже из топовой сетки. Поэтому он может быть умнее 13b но хуже в рп так как там нужно красиво писать и соблюдать формат правильно ведя историю.
>Солар базовая сетка, так что нужно ждать ее нормальных файнтюнов с рп датасетами и там уже смотреть.
Солар это не базовая сетка, а файнтюн мистраля 7B. Они апскейлнули мистраль до 10B неведомой методой (данных это не прибавит), и полирнули файнтюном. Как бы то ни было, 99% там от мистраля. Попытка файнтюнить это дальше приведёт к катастрофическому забыванию или ещё какому-нибудь дерьму, в общем нихуя хорошего не будет.
Такую же хуйню с апскейлом в некоторых чекпоинтах SD 1.5 делали, заканчивалось это всегда хуёво.
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2-х бит, на кофеварке с подкачкой на микроволновку.
Базовой единицей обработки любой языковой модели является токен. Токен это минимальная единица, на которые разбивается текст перед подачей его в модель, обычно это слово (если популярное), часть слова, в худшем случае это буква (а то и вовсе байт).
Из последовательности токенов строится контекст модели. Контекст это всё, что подаётся на вход, плюс резервирование для выхода. Типичным максимальным размером контекста сейчас являются 2к (2 тысячи) и 4к токенов, но есть и исключения. В этот объём нужно уместить описание персонажа, мира, истории чата. Для расширения контекста сейчас применяется метод NTK-Aware Scaled RoPE. Родной размер контекста для Llama 1 составляет 2к токенов, для Llama 2 это 4к, но при помощи RoPE этот контекст увеличивается в 2-4-8 раз без существенной потери качества.
Текущим трендом на данный момент являются мультимодальные модели, это когда к основной LLM сбоку приделывают модуль распознавания изображений, что в теории должно позволять LLM понимать изображение, отвечать на вопросы по нему, а в будущем и манипулировать им.
Основным представителем локальных моделей является LLaMA. LLaMA это генеративные текстовые модели размерами от 7B до 70B, притом младшие версии моделей превосходят во многих тестах GTP3 (по утверждению самого фейсбука), в которой 175B параметров. Сейчас на нее существует множество файнтюнов, например Vicuna/Stable Beluga/Airoboros/WizardLM/Chronos/(любые другие) как под выполнение инструкций в стиле ChatGPT, так и под РП/сторитейл. Для получения хорошего результата нужно использовать подходящий формат промта, иначе на выходе будут мусорные теги. Некоторые модели могут быть излишне соевыми, включая Chat версии оригинальной Llama 2.
Кроме LLaMA для анона доступны множество других семейств моделей:
Pygmalion- заслуженный ветеран локального кума. Старые версии были основаны на древнейшем GPT-J, новые переехали со своим датасетом на LLaMA, но, по мнению некоторых анонов, в процессе потерялась Душа ©
MPT- попытка повторить успех первой лламы от MosaicML, с более свободной лицензией. Может похвастаться нативным контекстом в 65к токенов в версии storywriter, но уступает по качеству. С выходом LLaMA 2 с более свободной лицензией стала не нужна.
Falcon- семейство моделей размером в 40B и 180B от какого-то там института из арабских эмиратов. Примечательна версией на 180B, что является крупнейшей открытой моделью. По качеству несколько выше LLaMA 2 на 70B, но сложности с запуском и малый прирост делаю её не самой интересной.
Mistral- модель от Mistral AI размером в 7B, с полным повторением архитектуры LLaMA. Интересна тем, что для своего небольшого размера она не уступает более крупным моделям, соперничая с 13B (а иногда и с 70B), и является топом по соотношению размер/качество.
Qwen - семейство моделей размером в 7B и 14B от наших китайских братьев. Отличается тем, что имеет мультимодальную версию с обработкой на входе не только текста, но и картинок. В принципе хорошо умеет в английский, но китайские корни всё же проявляется в чате в виде периодически высираемых иероглифов.
Yi - Неплохая китайская модель на 34B, способная занять разрыв после невыхода LLaMA соответствующего размера
Сейчас существует несколько версий весов, не совместимых между собой, смотри не перепутай!
0) Оригинальные .pth файлы, работают только с оригинальным репозиторием. Формат имени consolidated.00.pth
1) Веса, сконвертированные в формат Hugging Face. Формат имени pytorch_model-00001-of-00033.bin
2) Веса, квантизированные в GGML/GGUF. Работают со сборками на процессорах. Имеют несколько подформатов, совместимость поддерживает только koboldcpp, Герганов меняет форматы каждый месяц и дропает поддержку предыдущих, так что лучше качать последние. Формат имени ggml-model-q4_0, расширение файла bin для GGML и gguf для GGUF. Суффикс q4_0 означает квантование, в данном случае в 4 бита, версия 0. Чем больше число бит, тем выше точность и расход памяти. Чем новее версия, тем лучше (не всегда). Рекомендуется скачивать версии K (K_S или K_M) на конце.
3) Веса, квантизированные в GPTQ. Работают на видеокарте, наивысшая производительность (особенно в Exllama) но сложности с оффлоадом, возможность распределить по нескольким видеокартам суммируя их память. Имеют имя типа llama-7b-4bit.safetensors (формат .pt скачивать не стоит), при себе содержат конфиги, которые нужны для запуска, их тоже качаем. Могут быть квантованы в 3-4-8 бит (Exllama 2 поддерживает адаптивное квантование, тогда среднее число бит может быть дробным), квантование отличается по числу групп (1-128-64-32 в порядке возрастания качества и расхода ресурсов).
Основные форматы это GGML и GPTQ, остальные нейрокуну не нужны. Оптимальным по соотношению размер/качество является 5 бит, по размеру брать максимальную, что помещается в память (видео или оперативную), для быстрого прикидывания расхода можно взять размер модели и прибавить по гигабайту за каждые 1к контекста, то есть для 7B модели GGML весом в 4.7ГБ и контекста в 2к нужно ~7ГБ оперативной.
В общем и целом для 7B хватает видеокарт с 8ГБ, для 13B нужно минимум 12ГБ, для 30B потребуется 24ГБ, а с 65-70B не справится ни одна бытовая карта в одиночку, нужно 2 по 3090/4090.
Даже если использовать сборки для процессоров, то всё равно лучше попробовать задействовать видеокарту, хотя бы для обработки промта (Use CuBLAS или ClBLAS в настройках пресетов кобольда), а если осталась свободная VRAM, то можно выгрузить несколько слоёв нейронной сети на видеокарту. Число слоёв для выгрузки нужно подбирать индивидуально, в зависимости от объёма свободной памяти. Смотри не переборщи, Анон! Если выгрузить слишком много, то начиная с 535 версии драйвера NVidia это серьёзно замедлит работу. Лучше оставить запас.
Гайд для ретардов для запуска LLaMA без излишней ебли под Windows. Грузит всё в процессор, поэтому ёба карта не нужна, запаситесь оперативкой и подкачкой:
1. Скачиваем koboldcpp.exe https://github.com/LostRuins/koboldcpp/releases/ последней версии.
2. Скачиваем модель в gguf формате. Например вот эту:
https://huggingface.co/Undi95/MLewd-ReMM-L2-Chat-20B-GGUF/blob/main/MLewd-ReMM-L2-Chat-20B.q5_K_M.gguf
Если совсем бомж и капчуешь с микроволновки, то можно взять
https://huggingface.co/TheBloke/OpenHermes-2.5-Mistral-7B-GGUF/blob/main/openhermes-2.5-mistral-7b.Q5_K_M.gguf
Можно просто вбить в huggingace в поиске "gguf" и скачать любую, охуеть, да? Главное, скачай файл с расширением .gguf, а не какой-нибудь .pt
3. Запускаем koboldcpp.exe и выбираем скачанную модель.
4. Заходим в браузере на http://localhost:5001/
5. Все, общаемся с ИИ, читаем охуительные истории или отправляемся в Adventure.
Да, просто запускаем, выбираем файл и открываем адрес в браузере, даже ваша бабка разберется!
Для удобства можно использовать интерфейс TavernAI
1. Ставим по инструкции, пока не запустится: https://github.com/Cohee1207/SillyTavern
2. Запускаем всё добро
3. Ставим в настройках KoboldAI везде, и адрес сервера http://127.0.0.1:5001
4. Активируем Instruct Mode и выставляем в настройках пресетов Alpaca
5. Радуемся
Инструменты для запуска:
https://github.com/LostRuins/koboldcpp/ Репозиторий с реализацией на плюсах
https://github.com/oobabooga/text-generation-webui/ ВебуУИ в стиле Stable Diffusion, поддерживает кучу бекендов и фронтендов, в том числе может связать фронтенд в виде Таверны и бекенды ExLlama/llama.cpp/AutoGPTQ
Ссылки на модели и гайды:
https://huggingface.co/TheBloke Основной поставщик квантованных моделей под любой вкус.
https://rentry.co/TESFT-LLaMa Не самые свежие гайды на ангельском
https://rentry.co/STAI-Termux Запуск SillyTavern на телефоне
https://rentry.co/lmg_models Самый полный список годных моделей
http://ayumi.m8geil.de/ayumi_bench_v3_results.html Рейтинг моделей для кума со спорной методикой тестирования
https://rentry.co/llm-training Гайд по обучению своей лоры
https://rentry.co/2ch-pygma-thread Шапка треда PygmalionAI, можно найти много интересного
https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing Последний известный колаб для обладателей отсутствия любых возможностей запустить локально
https://rentry.co/xzuen Гайд для запуска на видеокарте на русском
Шапка треда находится в https://rentry.co/llama-2ch предложения принимаются в треде
Предыдущие треды тонут здесь: