Просвети, умный антошка, как научиться писать парсер для сайтов ИМ? Советуют изучать Python. Ну, я 'Hello, world' могу написать. Скажи, милый анон, какие библиотеки изучать, статьи, видео? Хочется максимально быстро научиться высовывать из интернет магазинов каталог со всеми характеристиками в

[Программирование для начинающих] Аноним OP 22/12/15 Втр 23:28:30 #1 №110778135

Просвети, умный антошка, как научиться писать парсер для сайтов ИМ? Советуют изучать Python. Ну, я "Hello, world" могу написать.

Скажи, милый анон, какие библиотеки изучать, статьи, видео?

Хочется максимально быстро научиться высовывать из интернет магазинов каталог со всеми характеристиками в CSV

[Программирование для начинающих] Аноним 22/12/15 Втр 23:29:07 #2 №110778203

14508161475900.jpg

бампец

[Программирование для начинающих] Аноним 22/12/15 Втр 23:31:27 #3 №110778400

14508162874330.jpg

бамп

[Программирование для начинающих] Аноним OP 22/12/15 Втр 23:33:01 #4 №110778561

14508163818820.gif

бамп

[Программирование для начинающих] Аноним OP 22/12/15 Втр 23:36:09 #5 №110778841

14508165695250.jpg

,fvg

Аноним 22/12/15 Втр 23:37:02 #6 №110778924 DELETED

бамп

[Программирование для начинающих] Аноним OP 22/12/15 Втр 23:37:26 #7 №110778961

14508166468560.jpg

Аноним 22/12/15 Втр 23:37:33 #8 №110778974 DELETED

бамп

Аноним 22/12/15 Втр 23:37:51 #9 №110779012 DELETED

бамп

Аноним 22/12/15 Втр 23:38:09 #10 №110779039 DELETED

бамп

Аноним 22/12/15 Втр 23:38:25 #11 №110779067 DELETED

бамп

Аноним 22/12/15 Втр 23:38:41 #12 №110779092 DELETED

бамп

Аноним 22/12/15 Втр 23:39:00 #13 №110779119 DELETED

бамп

Аноним 22/12/15 Втр 23:39:20 #14 №110779163 DELETED

бамп

Аноним 22/12/15 Втр 23:39:40 #15 №110779192 DELETED

бамп

[Программирование для начинающих] Аноним OP 22/12/15 Втр 23:39:47 #16 №110779205

14508167871400.jpg

Аноним 22/12/15 Втр 23:39:48 #17 №110779206

тебе нужен scrappy для написания асинхронного парсера

Аноним 22/12/15 Втр 23:39:52 #18 №110779212

Доки питона по csv, html, библиотеку requests и если BeautifulSoup еще жива, то можешь с ней попробовать

Аноним 22/12/15 Втр 23:39:57 #19 №110779223 DELETED

бамп

Аноним 22/12/15 Втр 23:40:02 #20 №110779233

Чтобы освоить П сайтов ИМ на P, тебе без сомнения придётся использовать как минимум библиотеку r, а также BS4, и на крайний С ещё S, но с ним долго. Извини, что аббревиатурами, лень было расшифровывать. Надеюсь ты и так все понял. Кстати, я не тролль, это аббревиатуры названий реальных библиотек, которые юзают под твою задачу.

Аноним 22/12/15 Втр 23:40:14 #21 №110779254 DELETED

бамп

Аноним 22/12/15 Втр 23:40:34 #22 №110779280 DELETED

бамп

Аноним 22/12/15 Втр 23:40:52 #23 №110779310 DELETED

бамп

Аноним 22/12/15 Втр 23:41:05 #24 №110779337

14508168658970.jpg

Я бы на R написал.

Аноним 22/12/15 Втр 23:41:09 #25 №110779344

>>110779233
сука, я 3 года на питоне пишу, и ума не приложу что такое C, S
s = scrappy?

Аноним 22/12/15 Втр 23:41:09 #26 №110779345 DELETED

бамп

Аноним 22/12/15 Втр 23:41:26 #27 №110779370 DELETED

бамп

Аноним 22/12/15 Втр 23:41:43 #28 №110779399 DELETED

бамп

Аноним 22/12/15 Втр 23:42:01 #29 №110779424 DELETED

бамп

Аноним 22/12/15 Втр 23:42:07 #30 №110779438

>>110779344
А что такое ИМ? Импотенция мужская?

Аноним 22/12/15 Втр 23:42:21 #31 №110779464 DELETED

бамп

Аноним 22/12/15 Втр 23:42:32 #32 №110779479

>>110779438
Инвариант Мёбиуса?

Аноним 22/12/15 Втр 23:42:40 #33 №110779489 DELETED

бамп

Аноним 22/12/15 Втр 23:42:57 #34 №110779509

>>110779438
Илья Муромец

Аноним 22/12/15 Втр 23:42:57 #35 №110779513 DELETED

бамп

[Программирование для начинающих] Аноним 22/12/15 Втр 23:43:13 #36 №110779533

>>110779438
>>110779438
интернет магазин

Аноним 22/12/15 Втр 23:43:17 #37 №110779542 DELETED

бамп

Аноним 22/12/15 Втр 23:43:21 #38 №110779546

>>110779438
Итальянская музыка

Аноним 22/12/15 Втр 23:43:33 #39 №110779567 DELETED

бамп

Аноним 22/12/15 Втр 23:43:41 #40 №110779581

>>110779438
идеальный мужчина

Аноним 22/12/15 Втр 23:43:49 #41 №110779592

>>110779509
Интегральная модификация

Аноним 22/12/15 Втр 23:43:51 #42 №110779597 DELETED

бамп

[Программирование для начинающих] Аноним 22/12/15 Втр 23:43:59 #43 №110779613

>>110779337
rubby?

Аноним 22/12/15 Втр 23:44:08 #44 №110779624 DELETED

бамп

Аноним 22/12/15 Втр 23:44:27 #45 №110779657 DELETED

бамп

[Программирование для начинающих] Аноним 22/12/15 Втр 23:44:27 #46 №110779658

>>110779233
Расшифруйте, мисьё!

Аноним 22/12/15 Втр 23:44:36 #47 №110779668

>>110779613
Rust?

Аноним 22/12/15 Втр 23:44:45 #48 №110779687 DELETED

бамп

Аноним 22/12/15 Втр 23:44:58 #49 №110779708

14508170989140.png

>>110778135 (OP)
http://rghost.ru/62NrxZqrF но тут вирус в кряке, так что поставь на виртуальную машину и оттуда запускай, норм работает
а вот тут посмотри сам принцип парсинга на основе моих парсеров http://rghost.ru/private/6ydYZdhsw/682721c612a74fefb19251fef0217ab4 удалю как только напишешь что ты скачал

Аноним 22/12/15 Втр 23:45:04 #50 №110779715 DELETED

бамп

Аноним 22/12/15 Втр 23:45:23 #51 №110779746 DELETED

бамп

Аноним 22/12/15 Втр 23:45:39 #52 №110779782 DELETED

бамп

Аноним 22/12/15 Втр 23:45:55 #53 №110779812

ruby + nokogiri

Аноним 22/12/15 Втр 23:45:56 #54 №110779814 DELETED

бамп

Аноним 22/12/15 Втр 23:46:16 #55 №110779844 DELETED

бамп

Аноним 22/12/15 Втр 23:46:31 #56 №110779868

>>110779592
Интерферометр Маленкова

Аноним 22/12/15 Втр 23:46:35 #57 №110779873

>>110779708
Скачал, удаляй.

Аноним 22/12/15 Втр 23:46:36 #58 №110779875 DELETED

бамп

[Программирование для начинающих] Аноним OP 22/12/15 Втр 23:46:37 #59 №110779877

>>110779708
что ты скачал

Аноним 22/12/15 Втр 23:46:53 #60 №110779897 DELETED

бамп

Аноним 22/12/15 Втр 23:47:12 #61 №110779930 DELETED

бамп

Аноним 22/12/15 Втр 23:47:18 #62 №110779936

>>110779877
а?

Аноним 22/12/15 Втр 23:47:28 #63 №110779959 DELETED

бамп

Аноним 22/12/15 Втр 23:47:43 #64 №110779993

Либо чуть более ёбнутое решение - phantomjs. Это вебкит без интерфейся с возможностью подключения скриптов.

Аноним 22/12/15 Втр 23:47:47 #65 №110779998 DELETED

бамп

Аноним 22/12/15 Втр 23:48:07 #66 №110780035 DELETED

бамп

Аноним 22/12/15 Втр 23:48:24 #67 №110780062 DELETED

бамп

Аноним 22/12/15 Втр 23:48:26 #68 №110780067

>>110780035
v0.1

+ мусора в mail.txt теперь не сохраняет
+ удаляет повторные мыла (раньше дописывал в конец файла, теже мыла, только без дублей лоль)

https://yadi.sk/d/HYz3f2WRmMhnL

Аноним 22/12/15 Втр 23:48:42 #69 №110780099

>>110780067
>Как запускать скрипты на php?

а) Хочу на домашнем компуктере

1. качаем ultimate http://open-server.ru/download/
2. устанавливаете
3. заходите куда установили C:\OpenServer\ => запускаете Open Server x86.exe
4. жмем по появившемуся флажку в трее => запустить
5. закидываем файлы cкачанного парсера в C:\OpenServer\domains\localhost\
6. набираем в браузере localhost/mail_parser v0.1/index.php
ну или localhost/index.php если закидывали файлы без папки вы наверное сами догадались:)
7. profit

Ах да, лучше использовать хотябы беслпатный vpn на всякий случай http://www.vpngate.net/en/howto_softether.aspx - кочаете клиент, там же инструкция по подключению, все просто да еще и бесплатно - слава аллаху.

В парсинге нет ничего зазорного, но все же это серая фигня и свой мамкин ип лучше не светить в куче мест.

б) Хочу на хостинге

1. легче купить хостинг за 1$ в месяц, но можно найти беслатный
2. как выбрать хостинг? например посмотреть спец разделы на сео форумах, типо... ололо... внимание... серча конечно же и подобных
на хостинге в настройках php должен быть включен curl

Аноним 22/12/15 Втр 23:48:43 #70 №110780100 DELETED

бамп

Аноним 22/12/15 Втр 23:48:49 #71 №110780114

>>110779613
>>110779668

Язык R, баки.

[Программирование для начинающих] Аноним 22/12/15 Втр 23:48:55 #72 №110780124

>>110779936
как только напишешь "что ты скачал"

Аноним 22/12/15 Втр 23:49:03 #73 №110780135 DELETED

бамп

Аноним 22/12/15 Втр 23:49:10 #74 №110780149

>>110778135 (OP)
Велосипедоизбретатели, за вас уже давно всё сделано https://ru.wikipedia.org/wiki/Wget

/thread

Аноним 22/12/15 Втр 23:49:23 #75 №110780171 DELETED

бамп

Аноним 22/12/15 Втр 23:49:40 #76 №110780202 DELETED

бамп

Аноним 22/12/15 Втр 23:50:00 #77 №110780238 DELETED

бамп

Аноним 22/12/15 Втр 23:50:20 #78 №110780268 DELETED

бамп

Аноним 22/12/15 Втр 23:50:32 #79 №110780292

>>110780149
Красноглазик, wget сразу и csv сформирует?

Аноним 22/12/15 Втр 23:50:37 #80 №110780307 DELETED

бамп

Аноним 22/12/15 Втр 23:50:53 #81 №110780331 DELETED

бамп

Аноним 22/12/15 Втр 23:50:56 #82 №110780335

Ты заебал бампать, сука

Аноним 22/12/15 Втр 23:51:11 #83 №110780357 DELETED

бамп

Аноним 22/12/15 Втр 23:51:17 #84 №110780366

>>110780292
конечно. ты просто новых версий не видел.

Аноним 22/12/15 Втр 23:51:31 #85 №110780392

>>110780292
wget ... | awk ... > mocha.csv

/thread

Аноним 22/12/15 Втр 23:51:31 #86 №110780393 DELETED

бамп

Аноним 22/12/15 Втр 23:51:47 #87 №110780419 DELETED

бамп

Аноним 22/12/15 Втр 23:52:07 #88 №110780455 DELETED

бамп

[Программирование для начинающих] Аноним 22/12/15 Втр 23:52:22 #89 №110780476

>>110780392
расшифруйте для тупого

Аноним 22/12/15 Втр 23:52:25 #90 №110780484 DELETED

бамп

Аноним 22/12/15 Втр 23:52:44 #91 №110780508 DELETED

бамп

Аноним 22/12/15 Втр 23:52:45 #92 №110780510

>>110780476
Ты всё равно не поймешь, ведь ты тупой.

Аноним 22/12/15 Втр 23:53:03 #93 №110780536 DELETED

бамп

Аноним 22/12/15 Втр 23:53:22 #94 №110780568 DELETED

бамп

Аноним 22/12/15 Втр 23:53:42 #95 №110780600 DELETED

бамп

Аноним 22/12/15 Втр 23:53:45 #96 №110780612

>>110780124
2 человек скачло мой парсер, если ты слоупок то это твои проблемы

Аноним 22/12/15 Втр 23:54:02 #97 №110780634 DELETED

бамп

Аноним 22/12/15 Втр 23:54:10 #98 №110780648

14508176502110.jpg

>писать правило для парсинга html, когда есть десятки библиотек вроде beautifulSoup

консольные красноглазики не меняются

Аноним 22/12/15 Втр 23:54:19 #99 №110780665 DELETED

бамп

Аноним 22/12/15 Втр 23:54:35 #100 №110780699 DELETED

бамп

Аноним 22/12/15 Втр 23:54:54 #101 №110780739 DELETED

бамп

Аноним 22/12/15 Втр 23:55:12 #102 №110780763 DELETED

бамп

Аноним 22/12/15 Втр 23:55:25 #103 №110780784

>>110780612
распарси строку из xml в csv по типу "тег,параметр,значение":
<idi suka="na hui" />

Аноним 22/12/15 Втр 23:55:28 #104 №110780790 DELETED

бамп

Аноним 22/12/15 Втр 23:55:46 #105 №110780824 DELETED

бамп

Аноним 22/12/15 Втр 23:56:02 #106 №110780855

Есть одна либа BeautifulSoup и lxml. Гугли их

Аноним 22/12/15 Втр 23:56:04 #107 №110780858 DELETED

бамп

Аноним 22/12/15 Втр 23:56:23 #108 №110780899 DELETED

бамп

Аноним 22/12/15 Втр 23:56:41 #109 №110780925 DELETED

бамп

Аноним 22/12/15 Втр 23:57:01 #110 №110780954 DELETED

бамп

Аноним 22/12/15 Втр 23:57:18 #111 №110780980 DELETED

бамп

Аноним 22/12/15 Втр 23:57:34 #112 №110781002 DELETED

бамп

Аноним 22/12/15 Втр 23:57:49 #113 №110781030

>>110780855
поглил тебе за щеку и распарсил в очко

Аноним 22/12/15 Втр 23:57:52 #114 №110781037 DELETED

бамп

Аноним 22/12/15 Втр 23:58:01 #115 №110781054

>>110780855
ЗАчем нужен второй, если есть первый?

Аноним 22/12/15 Втр 23:58:12 #116 №110781073 DELETED

бамп

Аноним 22/12/15 Втр 23:58:32 #117 №110781107 DELETED

бамп

Аноним 22/12/15 Втр 23:58:48 #118 №110781131 DELETED

бамп

Аноним 22/12/15 Втр 23:59:04 #119 №110781159 DELETED

бамп

Аноним 22/12/15 Втр 23:59:20 #120 №110781189 DELETED

бамп

Аноним 22/12/15 Втр 23:59:37 #121 №110781215

>>110779708
Добра тебе братюнь, кодырь от бога. Спасибо за комментарии к каждой операции, храни тебя господь :3

Аноним 22/12/15 Втр 23:59:37 #122 №110781216 DELETED

бамп

Аноним 22/12/15 Втр 23:59:54 #123 №110781254 DELETED

бамп

Аноним 23/12/15 Срд 00:00:13 #124 №110781283 DELETED

бамп

Аноним 23/12/15 Срд 00:00:31 #125 №110781318 DELETED

бамп

Аноним 23/12/15 Срд 00:00:49 #126 №110781346 DELETED

бамп

Аноним 23/12/15 Срд 00:01:00 #127 №110781364

>>110781318
На http://rghost.ru/6kgcJ7HBl только отъебись

Аноним 23/12/15 Срд 00:01:07 #128 №110781380 DELETED

бамп

Аноним 23/12/15 Срд 00:01:26 #129 №110781409 DELETED

бамп

Аноним 23/12/15 Срд 00:01:45 #130 №110781442 DELETED

бамп

Аноним 23/12/15 Срд 00:02:00 #131 №110781478

Пацаны, вы тут вроде программисты все. Сколько времени уйдет, чтобы раскрутить паблик/сайт, чтобы зарабатывать пару тысяч в месяц? При условии, что не буду покупать рекламу и писать несколько оригинальных акктуальных статей в день. Заебало работать.

Аноним 23/12/15 Срд 00:02:02 #132 №110781484 DELETED

бамп

Аноним 23/12/15 Срд 00:02:22 #133 №110781514 DELETED

бамп

Аноним 23/12/15 Срд 00:02:39 #134 №110781541 DELETED

бамп

Аноним 23/12/15 Срд 00:02:57 #135 №110781573 DELETED

бамп

Аноним 23/12/15 Срд 00:03:14 #136 №110781599 DELETED

бамп

Аноним 23/12/15 Срд 00:03:19 #137 №110781609

>>110781478
полгода, засекай

Аноним 23/12/15 Срд 00:03:32 #138 №110781625 DELETED

бамп

Аноним 23/12/15 Срд 00:03:49 #139 №110781655 DELETED

бамп

Аноним 23/12/15 Срд 00:04:08 #140 №110781695 DELETED

бамп

Аноним 23/12/15 Срд 00:04:13 #141 №110781704

>>110781609
Т_Т а точно взлетит?

Аноним 23/12/15 Срд 00:04:26 #142 №110781726 DELETED

бамп

Аноним 23/12/15 Срд 00:04:46 #143 №110781758 DELETED

бамп

Аноним 23/12/15 Срд 00:05:06 #144 №110781786 DELETED

бамп

Аноним 23/12/15 Срд 00:05:14 #145 №110781797

14508183141480.jpg

Аноним 23/12/15 Срд 00:05:25 #146 №110781815 DELETED

бамп

Аноним 23/12/15 Срд 00:05:44 #147 №110781846 DELETED

бамп

Аноним 23/12/15 Срд 00:06:03 #148 №110781874 DELETED

бамп

Аноним 23/12/15 Срд 00:06:20 #149 №110781897 DELETED

бамп

Аноним 23/12/15 Срд 00:06:38 #150 №110781924 DELETED

бамп

Аноним 23/12/15 Срд 00:06:56 #151 №110781961 DELETED

бамп

Аноним 23/12/15 Срд 00:07:12 #152 №110781983 DELETED

бамп

Аноним 23/12/15 Срд 00:07:31 #153 №110782014 DELETED

бамп

Аноним 23/12/15 Срд 00:07:49 #154 №110782051 DELETED

бамп

Аноним 23/12/15 Срд 00:08:08 #155 №110782077 DELETED

бамп

Аноним 23/12/15 Срд 00:08:26 #156 №110782107 DELETED

бамп

Аноним 23/12/15 Срд 00:08:41 #157 №110782123

>>110781478
3 месяца 6 дней 8 часов 17 минут.
>>110781897
Хули бамп, тебе уже все разжевали.

Аноним 23/12/15 Срд 00:08:46 #158 №110782130 DELETED

бамп

Аноним 23/12/15 Срд 00:09:03 #159 №110782159

>>110778135 (OP)
bump

Аноним 23/12/15 Срд 00:09:04 #160 №110782163 DELETED

бамп

Аноним 23/12/15 Срд 00:09:24 #161 №110782188 DELETED

бамп

Аноним 23/12/15 Срд 00:09:40 #162 №110782210 DELETED

бамп

Аноним 23/12/15 Срд 00:09:58 #163 №110782234 DELETED

бамп

Аноним 23/12/15 Срд 00:10:18 #164 №110782254 DELETED

бамп

Аноним 23/12/15 Срд 00:10:35 #165 №110782283 DELETED

бамп

Аноним 23/12/15 Срд 00:10:52 #166 №110782309 DELETED

бамп

Аноним 23/12/15 Срд 00:11:08 #167 №110782345 DELETED

бамп

Аноним 23/12/15 Срд 00:11:28 #168 №110782369 DELETED

бамп

Аноним 23/12/15 Срд 00:11:48 #169 №110782399 DELETED

бамп

Аноним 23/12/15 Срд 00:12:07 #170 №110782428 DELETED

бамп

Аноним 23/12/15 Срд 00:12:22 #171 №110782450

scrapy

Аноним 23/12/15 Срд 00:12:23 #172 №110782451 DELETED

бамп

Аноним 23/12/15 Срд 00:12:41 #173 №110782477 DELETED

бамп

Аноним 23/12/15 Срд 00:12:59 #174 №110782493 DELETED

бамп

Аноним 23/12/15 Срд 00:13:17 #175 №110782516 DELETED

бамп

Аноним 23/12/15 Срд 00:13:35 #176 №110782538 DELETED

бамп

Аноним 23/12/15 Срд 00:13:41 #177 №110782547

Content Downloader есть софт, нулленый тоже есть.

Аноним 23/12/15 Срд 00:13:52 #178 №110782566 DELETED

бамп

[Программирование для начинающих] Аноним 23/12/15 Срд 00:13:54 #179 №110782570

>>110781364
Что за хрень?

Аноним 23/12/15 Срд 00:15:03 #180 №110782685

бамп

Аноним 23/12/15 Срд 00:17:12 #181 №110782884

бамп годному треду

Аноним 23/12/15 Срд 00:22:24 #182 №110783318

>>110782570
wishmaster же

Аноним 23/12/15 Срд 00:45:07 #183 №110785040

[Программирование для начинающих] Аноним OP 23/12/15 Срд 01:06:41 #184 №110786417

14508220015820.jpg

Аноним 23/12/15 Срд 01:12:51 #185 №110786812

>>110786417
Типа хуже получить осколков, вылечится\подохнуть чем всю жизнь страдать от осознания что всё проебал?

[Программирование для начинающих] Аноним 23/12/15 Срд 01:35:13 #186 №110788291

14508237137150.png

>>110786812
нет, это просто долбоебизм