[Для новичков] Пишем мощные парсеры/постеры и API-клиенты на PHP

@Mr-Grey, Привет! Такой вопрос...
Хоть и приходится сравнивать с ZP, других сравнений не могу дать.
Есть код строк на 50, который чекает через get нужную информацию и отправляет через post, код состоит из переменных и одного цикла, пишется минут за 10. Все предельно просто, но хочу перенести его на хостинг и через cron исполнять.
Собственно вопрос, в курсе объяснено, как через адресную строку передавать переменные, насколько сложно адаптировать такой код? Чтобы не вникать 36 часов в курс, а взять пару готовых конструкций и собрать, что нужно...
Насколько вообще сложно, переносить готовый код из zp на php?

 

Курс еще не видел, но скорей всего будет рассказано
Для парсинга чаще всего используется curl, возможно автор расскажет про guzzle, от этого суть не поменяется.
Парсинг как раз осуществляется get запросами, получаем контент, потом его распарсиваем. Почитайте про GET запросы, цикл написать не составит труда. Если для вас это трудно, то нужно будет читать хоть половину...
Если вы на зенку сами написали код, то и сюда справитесь.
С другой стороны, если вам нужна разовая работа, с таким скриптом как описали, можете заказать на фрилансе, выйдет примерно в ту же цену (это чтоб не тратить 36 часов)

 

Все правильно товарищ ниже сказал. В общем это все решается. Сделать можно. С кроном я правда пока не работал.

 

А чего там работать?

Код:

php -q /home/admin/web/site.com/public_html/script.php

Вот и весь крон через Vesta CP

у меня сейчас 97 крон задач с php скриптами.

И да с меня отзыв...он сейчас готовится и в ближайшее время будет

 

Ну ты сказал.
Это все равно, что вначале обучения ты бы мне сказал про вывод товаров из базы данных.
"Да чего там выводить? Цикл foreach клепай и через PDO пили." Это я сейчас понимаю эти заклинания, а до этого никак.

У нас с тобой разница-то в компетенции я с соской и в коляске, а ты с боевым топором на поле брани)
Вот я сейчас на строчку посмотрел и не понял ни черта.

 

Тут смысл в другом, в крон добавляются задачи 1 строчкой. Для разный операционных систем, панелей она отличается.
Если вы используете шаред - то можете спросить у техподдержки, они скажут как либо сделают сами.
Если у вас VPS то гуглите уже либо под вашу ОС либо под вашу панель.
В любом случае это к самому PHP(и парсингу) не совсем относится и скорей всего это тема уже не этого курса

 

Ну может и так. Я пока таким вопросом не задавался. Суть в том, что это пока вне области моего понимания. И пока мне не горит.

 

Интересные разворачиваются события))

Хотя все таки относится))) Но автор не обещал этого, иначе можно развить данную тему до бесконечности

 

Относится то оно относится, конечно. Но тут стоимость материала такая, что тут даже грешно требовать что-то поверх выданного. Это, конечно, имхо, но... сами понимаете.
Новичкам тем более крон и прочие приблуды на старте не нужны. Им бы вообще понять "как это всё работает", а потом уже и дальше копать.

По хорошему тут и информация про композер и namespace даже лишняя, как практика в других курсах показывает.

 

В том то и дело. С таким успехом сюда можно подтянуть html/css/js, фреймворки, паттерны, все виды баз данных и ТД и тп, оно же все в связке работает)) И все это за 500 рублей))

 

cron это базовый уровень администрирования linux и подобным, и не связан никак с php напрямую

 

Ребя проверяющие! ну что там с проверками ? как то все затянулось...

 

Отзыв

Свой уровень владения информацией и навыками: в данной области вы: новичок, теоретик либо опытный практик?
Практик, в настоящем делаю сайты на laravel, большая доля заказов связана с парсингом данных.

В каком виде предоставлен материал и насколько удобно он оформлен?
На текущий момент материал предназначен в виде хтмл страниц. Участникам будет выдаваться в виде exe файла.

Сколько времени заняло изучение и выполнение заданий данного инфопродукта?
С учётом того, что у нас активная переписка по проверке, в которой активно идёт обсуждение и автор постоянно добавляет и расширяет материал....проверял в сумме около 7 часов материал — так как мне хорошо знаком PHP.

Насколько легко усваивается материал, вызвал ли он какие-либо затруднения при проверке?
Материал создавался структуированым и достаточно разжеванным

Нужны ли специальные навыки и дополнительные материальные вложения?
Так как у нас локальная работа с PHP — требуется установить Openserver. Без дотировнаия — разработчик поставил медленную скорость скачивания — так что можете начинать скачивать. Пользователям системы отличной от Windows - рекомендуется поставить аналог Openserver для своей OC.

Я лично не сильно привязываюсь редактору кода и могу работать в простых проектах и в

Notepad++

Visual Studio Code

Но также у меня есть и

JetBrains PhpStorm 2017.2 x64 ,

Но предпочитаю Visual Studio Code (бесплатную, шуструю программу с большим количеством различных дополнений)


Оказывал ли автор должную поддержку в процессе проверки?
Да....кроме этого помогал мне с определенными специфическими задачами связанными с парсингом. За что ему большое спасибо.

Каковы в целом общие впечатления о компетентности автора?
Конечно компетентен. Видно, что он давно в теме парсинга и не «диванный теоретик»

Материал полностью соответствует заявленному автором описанию и пригоден для проведения складчины.




Теперь от себя.

Я редко беру темы на проверку, есть категория проверяющих — для которых эта возможность сэкономить на складчине и «повыпендриваться своей компетентностью»-такие проверяющи проверяют часто разные темы....в аспекте данной складчины - было интересно написать отзыв на очередного «инфобизнесмена», которых хватает на склдачике и любой мой вопрос по теме их складчины — они воспринимают как провокацию и просят модераторов удалить мой пост. Поэтому лично мне этим авторский раздел в последнее время не особо интересен. Отсутствие конструктивного диалога с авторами и проверяющими — основная причина моей слабой активности на складчике в авторском разделе. Здесь многие события становятся предсказуемыми. Хватает более интересных разделов на складчике (курсы,скрипты,сервисы)

Но в аспекте текущей авторской, на которую я пишу отзыв, я был приятно удивлен самим подходом к созданию курса. Автором была предложена система обучения с нуля....автор её выстроил и «причёсывал» на протяжению всего периода проверки материала.

Как сказал, мистер Грей — материала много. Материал нельзя назвать изчерпывающим, но он близок к нему.

Поэтому я отметил желание автора — создать сообщество тех, кто сможет научиться создавать качественные парсеры и в последствии получать поисковый трафик на свои проекты, а не затрах....ть социальные сети спамом и прочей ерундой.


Данная складка — является лучшим вложением средств, если вы хотите начать разбираться в PHP, парсерах и в других особенностях языка PHP. Даже если вы не уверены, что вам это пригодится — то всё равно следует здесь быть, так как , я уверен, что ваше присутствие поможет вам замотивироваться многим вещам и результатам, которые достигнут другие участники. И да — я считаю, что данный материал на порядок полезнее чем проведенные ранее складчины «как купить землю», «как сэкономить на покупке жесткого диска» , «как заработать на чистке канализационных труб» , «как спамить в социальных сетях» - на порядок полезнее, так как вы получаете IT-знания, считай готовую профессию – которую можно пременить для решения многих прикладных задач.

И так пару слов по проверке. Отмечу пытливый ум мистера Грея и сканирование материала автора на разные аспекты....скажем так если мистер Грей был бы вашим начальником, он бы Вас «замучил»...=) Приятно видеть работу такого проверяющего. Побольше бы таких ответственных проверяющих.


Ещё раз про объём материала. Материала много, тут конечно автор действительно сделал большой труд, который акцентирован не толькот на новичках....но в тоже время кроме самого материала -ему предстоит огромная работа в привате, на что я ему желаю «терпения». И просьба для складчиков не сильно напрягайте его =) Не каждый выдержит такую нагрузку — старайтесь использовать время автора рационально — это позволит быстрее получать от него другие интересные авторские складчины.


В целом конечно необходимо отметить, что для полноценного запуска парсера и создания парсеров и автонаполняемых сайтов — надо иметь опыт работы с хостингами, правилами создания SEO сайтов и опыт работы с нюансами поисковых систем. Но по данному направленю хватает материалов — которые вы сможете изучить самостоятельно. Несомненно — большое количество вещей вы поймёте в процессе практики. Но сами подумайте - если некоторые из вас купившие курс по созданию «проксирующих сайтов» - за большие деньги смогли получить приличный трафик....то купив данный курс за «символические деньги» - однозначно со временем смогут получать трафик , за счёт наполнения сайта с различных источников....и конечно с учётом PHP – вам не надо тратиться на мощные VPS c Windows server — здесь несомненна значительная экономия на ресурсах.


Без всякого сомнение — каждый из складчиков пойдёт «своим вектором обучения». И это правильно — у всех свои возможности, цели и обстоятельства. Но в любом случае здорово, что на складчике есть авторы, готовые «давать именно удочку» и делать доступным обучение для всех.....а то сейчас пошла тенденция исключать из складчин по заработку =) И исключают как правило тех у кого есть либо большой опыт , либо «своё мнение». В отличии от складчин по заработку — здесь такие складчики нужны. Вообщем рекомендую.

 

возможно,стоит заранее подумать над грамотной организацией приватки, в которой можно предусмотреть несколько тем. Это поможет снизить поток однотипных вопросов. @Korben, как думаете?

 

Думаю из возникающих вопросов сделать базу знаний, с рубрикацией. Будет удобно. По поводу организации поддержки есть определённые идеи. Однозначно к поддержке подойду серьёзно, она как минимум составляет 50% складчины.

 

@Korben приветик.Рада,что вы понимаете,что поддержка это очень важно.Некоторые авторы в ветке обсуждения складчины,ещё до сборов денег,обещают поддержку.Обещают,что им не всё равно.Что они очень жаждут,чтобы у всех всё получилось.
А когда в приватке начинаешь задавать вопросы,они мягко говоря сливают тебя,игнорят,или дают ответы,которые понятны только избранному кругу "тем кто в теме",а новичкам совсем не понятны ответы.Так некоторые складчики сливаются теряя большие деньги.
Если вы сможете дать всем развёрнутые ответы даже на самые глупые вопросы,это поможет вам довести до результата большинство тех,кто будет в складчине писать вопросы.Это позволит вам получить хорошие отзывы.И ещё больше уважения в клубе.

Как бы я хотела,чтобы в клубе появился "отдельный вид" складчин,в которых слоганом будет "доведу до результата" или верну деньги.

 

Какое завуалированное перекладывание ответственности с себя на автора...

 

К сожалению в последнее время только на моей памяти было несколько складчин, где авторы так всё гладко рассказывали, а после сборов продукт оказывался нерабочим, а сами авторы тупо пропадали. Так что есть доля истины в тех словах.
В таких случаях очень хорошо было бы использование какого-нибудь гаранта. Автор проводит курс, деньги у гаранта лежат некоторое время. Через допустим месяц если всё нормально, то автор получает деньги, в противном случае всё возвращается назад складчкам.
Это ни в коем случае не относится к данной складчине, просто мои наблюдения и статистика

 

Так и происходит. Только не месяц, а 14 дней. Если негативных отзывов нет, то деньги переводятся на счет автора

 

Господа, данная складчина направлена на создание сплочённой, компетентной команды, а не на заработок. В данном случае, я заинтересован в том, чтобы как можно большее число пользователей смогло освоить мой материал и начало писать рабочие скрипты, а самое главное, чтобы пользователи поняли, что мне можно доверять и я могу дать полезный материал.

Таким образом, я хочу "взрастить" контингент, которому впоследствии можно будет давать более интересные и вкусные темы. Без хорошего материала и качественной поддержки это невозможно.

Поэтому могу сказать точно: поддержка будет осуществляться ровно таким образом, как было заявлено в топике. А именно осуществление поддержки прекратится спустя 3 месяца после завершения складчины.