>>50430358
>экспериментальный раздел с центральными процессорами
А нет цп на двачике.
Аватарки прикрути, без них Двач неполноценнен
Прикольный сайт. Как делал? Как ты его с двачем агрегатировал?
мимо-нуб
Алсо, если б архив запилили свой, как у форчана(там их даже 2 или 3 разных) было б классно! И треды в /b/, ушедшие в бамплимит, тоже б сохранялись...
>>50430747
Азаза, да у тебя же бомбанул!
>>50430832
>Прикольный сайт. Как делал? Как ты его с двачем агрегатировал?
Питоновоский скрипт периодически запускается кроном. Парсит доски и тупо генерит статические html.
>архив запилили свой
На моей памяти у двача их минимум штуки 3 было.
>>50430358
Открыл, увидел КНДР-тролля и ЗОЖетролля и закрыл.
>>50430978
у них лайков больше
>>50431005
А как это говно лайки собирает?
Я пишу "Два чаю" и это счаитается лайком?
Бамп!
>>50430978
>КНДР-тролля
Там пендос-тролль, а не кореетролль
>>50431083
>Я пишу "Два чаю" и это счаитается лайком?
Попадет в раздел http://www.yoba.info/2tea/
Чувак, хорошо бы ещё дату поста прикрутить, чтобы знать давность в тематике.
Bump!
>>50431249
Да, тематика слоупочная, но имхимо дата перегружает визуально пост.
Спасибо за фидбек, попробую что-нибудь придумать.
>>50431119
Два чаю
>>50431339
Только честное двачивание попадёт в этот раздел.
>>50430943
Чому именно крон? А не ко–ко потоки/задержки/дочерние процессы? Моветон же.
>>50431538
Я не шарю в вебе, лол, поясни.
Нашел на прошлой неделе https://www.openshift.com/, собственно это весь мой опыт вебразработок, лол.
Бамп!
>>50431667
Так это и не веб. А бэкэнд. У твоей прогоаммы ненужная зависимость. Которую можно обойти.(хотя может я просто помешан на проектировке дохуя )
>>50430358
> - на что анон больше отвечает;
ЕОТ, рулеточки, etc...
>>50431765
Анус свой спроектируй, пес!
>>50431765
>хотя может я просто помешан на проектировке дохуя
Поделись знаниями же, как бы ты спроектировал Йобу?
>>50430358
А как он все это собирает?
>>50431821
Грубиян. Все кожеры любят обсуждать свои проекты, и хаять чужие. Поэтому мы быстро развиваемся;)
>>50431924
>Все кожеры любят обсуждать свои проекты, и хаять чужие
А то!
>>50431856
Паттерн слушатель же. Один поток сидит и ждет события «парсинга». Второй с некоторой периодтчностью парсит сасач.
>>50431917
Регулярными выражениями.
>>50431988
Кто события будет генерить? Вот крон и инициализирует парсинг.
Олсо, хотел вначале делать на эрланге, теперь жалею, что не стал. Вполне возможно что перепишу.
Нахуй пошел, щенок. Лойсы он тут ставить собрался.
>>50432051
я джва года ждал лойсы! оп, прикручивай лайки вконтактика!
>>50432040
Событие хуярит – тот который парсит(при успещном парсинге или нахуярить метод проверку «нужды анализа»). Массы вариаций тут.
Здраствуйте. Я, Кирилл. Хотел бы чтобы вы сделали сайт, анализатор двачей, суть такова... Пользователь может заходить на сайт и видеть, сколько говна на двачах в данный момент. Можно смотреть процентное соотношение раковых постов от хороших. А движок можно поставить так что раз в 15 минут обновлялась статистика, собирая посты с двача. Можно написать пост, добавив туда слова, типа РОЛЛ, ЛАМПОВАЯ ТЯН, НЯША СТЕСНЯША, РУЛЕТКА и т.п и сайт посчитает его раковым. И треды тоже можно помечать раковым, тогда все посты без сажи в нем будут считаться раковыми. Еще чтобы была расширяемость ракового словаря и более сложные словосочетания, а еще чтобы скобочки тоже учитывались как плохой пост.
P.S. Я уже джве недели хочу такой анализатор.
>>50431996
Это я понял. Но ведь как-то не слишком продуктивно. На самом деле, я боюсь, что это анальный зонд, который собирает мои данные.
>>50432137
Понял идею.
>>50432138
Чувак, обязательно добавлю "безраковый /b/"!
>>50431996
Ты что, парсишь html?
>>50432183
Анальный зонд абу уже давно прикрутил, так что ты уже зашкварен.
>>50432232
json через двач апи. Можно и тупо странички, лол.
>>50432232
А что ему еще парсить? Вакаба же не эксэмэль выдаеть.
>>50432276
Двач апи? Макака совсем пизданулась!
>>50432220
>обязательно добавлю "безраковый /b/"!
Ну я имел ввиду, что раз ты все посты собираешь, то можно и заодно анализировать их, а потом посчитать, сколько адекватных постов и тех, которые пишут сосницкие на каникулах на текущий час.
Хотя я наверное это сам запилю потом.
>>50432243
Вот блядь
>>50432329
Уже года два как апи есть, молодца, хорошо сделали.
>>50432383
Ну заебись. Макаба будет оптимизированнее вакабы значится.
Оп покидает тред.
Прощальный бамп.
на работу чисти-чисти пошел на работу чисти
>>50430358
Если это не очередная реклама вишни, то хуйня полная.
- на что анон больше отвечает;
- от чего анон проигрывает;
- что анон считает толстым;
- что анон двачует;
Семёны тебе всю малину обосрут. А их куда более чем дохуя в "успешных" тредах. Сами петросянят, сами у себя двачуют с проглотом, сами на себя проигрывают с подливкой.
>>50432646
двачую
>>50432646
проиграл
>>50432646
цп процессоры что-ли?
>>50432646
толсто двачую цп процессоры? проиграл
>>50432646
два чаю
>>50432646
выводим в топ
проиграл
два чаю
цп
>>50432646
проигал в подливой
обосрался
цп
двачую
два чая
поддвачиваю
толсто
>>50432646
двачую
цп
толсто
>>50432646
толсто
>>50432646
проиграл
двачую канеш
>>50432646
два чая
двачую
>>50432646
двачую
цп
проиграл
толсто
>>50432646
двачую
>>50432646
два чаю
два чая
проиграл цп
толсто
толстота
>>50432646
двачую
два чаю
два чая
бесполезная хуита, Анон. Ничего личного. Потуги понятны - сделать, что-то новое. Но увы и ах! Ты, мой милый Анонимус obosralsia. И Ещё очень хорошо, что это был не понос. И дважды хорошо, что не кровавый понос.
>>50432646
азазаз двачая
>>50432646
двачую
два чаю
проиграл
цп
>>50436407
иди нахуй. Отличная вещь. За исключением моего теста и некоторых семёнств позволяет узнать ТРЕНДЫ
>>50432646
двачую
два чаю
два чая
проиграл без подливы
обосрался
>>50432646
проиграл
двачую
два чая
два чаю
>>50432646
проиграл
обосрался
>>50432646
жирно
толсто
толстяк
зеленый
>>50432646
процессор
процессоры
цп
>>50432646
процессор
>>50432646
процессоры цп центральные процессоры
>>50432646
цп процессоры центральные
>>50432646
процессоры цп центральные процессоры
два чаю
два чая
толсто
толстый
жирный
жирная толстота
>>50430358
Толсто
>>50432646
бамп
>>50432646
двачую два чая
два чая
два чаю
цп процессор процессоры?
толстота толсто
>>50432646
два чая
>>50432646
процессоре чопе цопе модератор
>>50432646
два чаю
два чую
два чая
двачую
>>50430358
Проиграл
>>50432646
двачую
два чая тебе
Оп вернулся.
>>50432646
>Семёны тебе всю малину обосрут.
А вот и не обосрут. Семёнить ОЧЕ заёбно.
>>50432646
хули этот пост на твоём сайте не отображается, ОП?
>>50440844
А зачем его отображать?
тред утонул, из топа смыло
>>50440929
как это тред утонул?
пиздец, как? я же старался
>>50430832
Тащемта, бета-версия архива уже работает: http://arhivach.org/
>>50441006
Теперь в топе.
bump
>>50441132
ееееее, теперь мы в каждом разделе в ТОПе!
>>50432646
толсто
жирно
жирный
толстяк
зеленый
>>50441076
Но зачем что-то писать? Ведь есть же готовые решения https://github.com/FoolCode/FoolFuuka
>>50432646
жирный
зеленый
зеленого
пухлый
толстота
>>50441410
Я хз, мопед не мой. Разве фулфука поддерживает архивацию внешних борд из коробки?
Пару лет назад ебался подобной хуитой. Качал треды, картинки. Сделал скриптик скачивающий все картинки, а не убожество с wget. Можно было прямо сделать фид картинок со всех разделов. Типа зашел а оно тебе качаит картинки по ажаксу. Потом еще выгребал из них экзифы, гаммы, детектил лица. Накачал пару гигов текста но никому это нахуй не нужно.
хтлм щас парсится перегоном в dom и xpath. Квери чтото вроде '//dev[@class=post]'. треды скачиваются чем о вроде gevent с такими то сотнями страничек в секунду. а Scrapy я например очень не советую. Тексты можно засунуть в полнотекстовый поиск (или прямо в постгресе или в сфинкс). Оно убивает склонения, множественные числа и можно грабить корованы. Но я не верю во все эти наурал ленгвич процессинги. Правда было забавно фильтровать посты по длинне. Если очень длинный пост - значит какаято душевная паста.
питонобог
>>50430358
Хуйня твои процессоры. Такой агркгатор не нужен.
>>50441761
>чем о вроде gevent с такими то сотнями страничек в секунду
Я также использую асинхронную скачку, но, лол, на потоках. Абу следить за нагрузкой борды и не даёт тебе качать много и сразу, так что ебаться со сторонними либами было бессмысленно.
>хтлм щас парсится перегоном в dom и xpath
Сейчас есть двачапи, всё через json
>Правда было забавно фильтровать посты по длинне. Если очень длинный пост - значит какаято душевная паста.
Добавлю такой раздел.
>>50430358
Как ни странно, но есть польза твоего ресурса. Зашел, осмотрел самые популярные вбросы.
>>50442006
Алсо, можешь попытаться интегрировать фильтры куклоскрипта.
>>50442006
>Я также использую асинхронную скачку, но, лол, на потоках. Абу следить за нагрузкой борды и не даёт тебе качать много и сразу, так что ебаться со сторонними либами было бессмысленно.
да ну нахуй потоки. пиздец же. Там же корутины, таймеры, пулы. можно задать строго конкурретность 2 например, можно задать число страниц в секунду. всё в одном потоке, никакой ебли с тредами, никаких колбеков.
>Сейчас есть двачапи, всё через json
Так пооди это же апи ПОИСКА. т.е. ты не можешь взять список тредов, и скачать их целиком. Это совсем не то...
>>50430358
Верни надпись "Ты че? Ебанутый? Ты че тут делашь?" внизу страницы.
>>50442534
>Там же корутины, таймеры, пулы.
Это оверинженерия, там не хайлоад нихуя.
>>50442722
Лол, я про неё забыл, братишка. Обязательно верну надпись.
bump
>>50443276
php has no games
Эрланг рулит, но сделал всё равно на питоне.
>>50442970
Причём тут хайлод блядь. Речь о контроле. Вот у опа как раз оверинженирия: пул тредов, велосипедные очереди, локи. Всегда так с кодерками. И почему вы такие неверующие ? Попробовал бы лучше сначала.
>>50443383
жопа классная
php-кун
>>50444125
православие топ тиер. фак е
>>50430358
Нахуя?
>>50444786
чтобы общаться быстро и удобно, например
>>50444842
Я и так общаюсь быстро и удобно и сзнаю всю эту залупу, что оп перечислил, без всяких скриптов.
>>50445015
>сзнаю всю эту залуп
Лол, я в этом уверен.
>>50445429
Самое лучшее видео с ней на facialabuse. Когда она плачет и у нее дрожат губки, то всегда кончаю.
>>50446150
Соус!
>>50446150
>Когда она плачет и у нее дрожат губки, то всегда кончаю.
Добро пожаловать, снова.
>>50446277
FacialAbuse.com - Mya McKay
http://pornolab.net/forum/viewtopic.php?t=1516742
>>50446330
Ват?
>>50446450
>Ват?
ты понимаешь, что ты уже всё — поехавший?
>>50430358
Анон анону рознь. Хотя, в общем неплохо. Нужно больше анализа.
>>50441410
Автор статей, текстов и постов на связи. Система у них интересная, но очень уж ресурсоемкая. Держать свой мини-ДЦ ради такого - нахуй надо. Чем дешевле, тем дольше продержится если бекапить не забывать.
>>50449375
>Нужно больше анализа
У меня есть ряд идей, на этой недели опробую.
bump
bump
YA TUT CHTO ODIN NAHUY?
>>50450275
Например? Кол-во переходов с ВК можешь? Где фидбэк оставлять? Можешь сортировать доски по полпулярности(кол-во уников/кол-во постов/кол-во тредов) и не просто так, а с выбором определенных интервалов: типа за день/неделю/месяц/год(в тематике есть треды с длиной больше года)?
ты не йоба73?
>>50456265
TI NE ODIN
>>50456281
>Например?
Скоро покажу же, лол.
>Где фидбэк оставлять?
Отправить мне фидбек можно по почте, ящик внизу страницы.
>Можешь сортировать доски по полпулярности
Популярность не часто плавает, пока не вижу смысла сортировать доски.
>типа за день/неделю/месяц/год
Ничего не храню, что смывается — отправляется в Лету. базу не прикрутил ещё, лол
>ты не йоба73?
нет
bump
http://www.yoba.info/
Продолжаю пилить на питоне агрегатор двача.
Что это:
Ресурс, на котором в реальном времени собирается статистика по постам на досках двача. Постить нельзя, только анализ тредов.
Что можно узнать:
- на что анон больше отвечает;
- от чего анон проигрывает;
- что анон считает толстым;
- что анон двачует;
- экспериментальный раздел с центральными процессорами.
Как пользоваться:
Открывай раздел
@
Жми на номер поста