PHP парсеры 2016 (Дмитрий Лаврик)

[Кот ВАСИЛИЙ]

Ссылка на картинку

Простой парсер сайта на PHP+CURL

Курс предназначен для тех, кто:

• Владеет основами программирования на языке PHP
• Не понимает, как решать реальные задачи на PHP
• Хочет освоить базовые темы кодинга на PHP в процедурном стиле.

Подробная программа курса
Урок 1
Умный CURL

1. CURL — принципы работы
2. Создание класса обёртки
3. GET и POST запросы
4. Работа с HTTPS
5. Работа с куками
6. Эмуляция всех заголовков браузера
7. Фокусы keep alive
8. Проксирование в теории
9. Анализ заголовков
10. Следование за редиректами

Урок 2
Организация парсинга

1. Конфигурационные файлы для CURL
2. Нативный парсинг
3. MoveTo
4. ReadTo
5. ReadFrom
6. Другие полезные функции
7. Работа с PHPJqueryDOM
8. Объекты и их свойства
9. Селекторы и функции
10. Сохранение результатов

Урок 3
Комбинированный парсинг

1. Проблемы PHPJqueryDOM
2. Доработка нативного класса
3. Subtag
4. Общая схема парсинга
5. Разбор этапов парсинга
6. Сохранение результатов в БД
7. Класс-обёртка для PDO

Урок 4
Хранение скачанных данных

1. Перенос данных в БД
2. Таблица урлов: хорошее SEO + высокая скорость
3. Нереальное ускорение - замыкаем урлы в кольцо чисел
4. БД: хэш-таблица и коллизии
5. Доработка класса БД
6. Архитектурные изыски
7. sender vs viewer

Урок 5
Фреймворк

1. Организация PHP-классов
2. Создание js-морды
3. Две схемы: sender и viewer
4. JS для ajax-парсинга
5. JS для отображения статистики
6. Плюсы и минусы каждой схемы
7. Общая идея организации пауков

Урок 6
Противостояние

1. Принцип работы капчи-картинки
2. Пример создания простой капчи
3. Антикапча
4. Антикапча API
5. Сохранение и передача изображения
6. Ожидание и обработка результата
7. Создание класса для антикапчи

Урок 7
Парсинг изображений

1. Настройка парсера на bing
2. Скачивание изображений
3. Создание библиотеки для уникализации
4. Работа с изображениями в PHP
5. Освещение, обсцвечивание, сепия
6. Отражение, повороты

Урок 8
Подведение итогов

1. Доработка библиотеки для уникализации
2. Приёмы уникализации
3. Подведение итогов по темам
4. Теория оценки рекламы
5. Посетители * просмотры * CTR * стоимость