[Teachmeskills] Machine Learning (Максим)

[Аноним]

Ссылка на картинку

Курс Machine Learning в школе TMS сделает тебя заправским ML-инженером, причем всего за 8 месяцев. Преподаватели (действующие сотрудники крупных компаний вроде 21vek) ждут студентов с навыками программирования и техническим образованием.
Твой результат в конце курса:
1. Выучишь основные алгоритмы машинного обучения и натренируешь свои модели
2. Построишь и обучишь глубокие нейронные сети, определишь архитектурные параметры
3. Узнаешь и будешь использовать лучшие методики для оценки качества моделей и их оптимизации
4. Научишься стратегиям end-to-end, транcфера и многозадачного машинного обучения
5. Построишь модели для анализа фото-, видео-, аудио и текстового потоков, используя фреймворки PyTorch и TensorFlow
6. Получишь практику внедрения алгоритмов и установки выполнения пайплайнов на периодической основе, используя AirFlow
Программа курса:
Блок 1 - Введение в ML и DL
Модуль 1 - Базовая математика и ее применение в ML

• Линейная алгебра (Основы матричного исчисления), векторы, векторное пространство
• Матрицы
• Основы теории вероятности и математической статистики. Основы мат. анализа
• Распределения, доверительные интервалы
• Корреляция

Модуль 2 - Классические ML алгоритмы. Часть 1

• Обучение с учителем/без учителя/с подкреплением
• Функция ошибок
• Градиентный спуск
• Линейная регрессия

Модуль 3 - Классические ML алгоритмы. Часть 2

• Множественная линейная регрессия
• Классификация (логистическая регрессия)
• Переобучение (регуляризация)
• Недообучение
• Другие алгоритмы (Метод опорных векторов)

Модуль 4 - Введение в нейронные сети. Часть 1

• Понятие нейронных сетей. Нейрон. Многослойный персептрон
• Функции активации
• Learning (Forward, Backpropagation)
• Смещение/разброс (Bias/Variance)

Модуль 5 - Введение в нейронные сети. Часть 2

• Классификация архитектур нейронных сетей
• Виды слоёв (и классификация нейронов)
• Кривые обучения (Learning curves)
• Метрики оценки

Модуль 6 - Обучение нейросетей

• Функция потерь
• Обратное распространение ошибки
• Оптимизаторы
• Стохастический градиент
• Функция потерь

Модлуль 7 - Решение проблем с тренировкой нейросетей

• Регуляризация
• Улучшаем глубокие нейросети
• Оптимизация гиперпараметров

Блок 2 - Компьютерное зрение
8. Введение в компьютерное зрение

• История появления
• Основные понятия
• Использование в реальной жизни

9. Основы OpenCV

• Обзор OpenCV
• Установка, загрузка и сохранение изображений

10. Возможности OpenCV и его использование различных областях. Часть 1

• Обработка изображений
• Компьютерная графика

11. Возможности OpenCV и его использование различных областях. Часть 2

• Обнаружение объектов
• Видеоанализ

12. Преобразования изображений

• Фильтрация
• Морфология
• Детекция границ

13. Введение в свёрточные нейронные сети (CNN). Основные понятия

• Что такое CNN?
• Архитектура и принцип работы
• Обучение

14. Классификация изображений. Часть 1

• Исследование данных
• Построения моделей

15. Классификация изображений. Часть 2

• Валидация результатов
• Мониторинг обучения в RealTime

16. Введение в детекцию объектов

• Разбор задач и проблематики
• Анализ данных
• Гибридные системы классификации и детекции

17. Детекция объектов с использованием VGG, ResNet и DenceNet

• Изучение и применение VGG
• Изучение и применение ResNet
• Изучение и применение DenceNet

18. Обнаружение объектов с использованием R-CNN, Fast R-CNN, Faster R-CNN и YOLO

• Изучение и применение R-CNN
• Изучение и применение Fast R-CNN
• Изучение и применение Faster R-CNN
• Изучение и применение YOLO

19. Семантическая сегментация: U-Net и DeepLab

• Изучение и применение U-Net
• Изучение и применение DeepLab

20. Трехмерное компьютерное зрение: 3D CNN и PointNet

• Изучение и применение 3D CNN
• Изучение и применение PointNet

21. Распознавание действий на видео: C3D и I3D

• Изучение и применение C3D
• Изучение и применение I3D

22. Использование CV в беспилотниках. Часть 1

• Изучение кейсов применения и проблем CV в беспилотниках
• Архитектуры и аппаратная часть беспилотников
• Оптимизация вычислений под конкретные мощности

23. Использование CV в беспилотниках. Часть 2

• Изучение кейсов применения и проблем CV в беспилотниках
• Архитектуры и аппаратная часть беспилотников
• Оптимизация вычислений под конкретные мощности

24. Применение компьютерного зрения в реальных задачах
Кейсы

• Примеры использования вышеупомянутых архитектур.

Блок 3 - Обработка текста
25. Введение в NLP

• История
• Основные задачи
• Применение

26. Предобработка текста

• Очистка
• Токенизация
• Стемминг
• Лемматизация

27. Анализ настроения

• Использование логистической регрессии
• Использование наивного Байеса

28. Vector Space models

• Нахождение зависимости между словами
• Визуализация в векторном пространстве

29. Машинный перевод и поиск документов

• K-ближайшие соседи
• Хэш-таблицы и хеш-функции

30. Autocorrect системы

• Использование систем автозамены разных проектах
• Построение системы на основе вероятности последовательностей символов

31. Речевые теги скрытые Марковские модели

• Изучение алгоритма Viterbi.
• Использование Марковских моделей в системе тегов речи

32. Autocomplete системы. Часть 1

• Рассмотрение N-gramm модели
• Оценка языковой модели

33. Autocomplete системы. Часть 2

• Использование словарных слов
• Сглаживание
• Построение прототипа

34. Введение в RNN

• Что такое RNN?
• Типы
• Архитектуры RNN

35. LSTM и GRU: что это и для чего нужны

• Изучение и применение LSTM
• Изучение и применение GRU

36. Глубокое обучение в NLP: архитектуры и библиотеки

• Введение в глубокое обучение
• Основные концепции и архитектуры DL
• Библиотеки DL в python

37. Трансформеры и аттеншн-механизмы. Часть 1

• Тензорный анализ
• Рассмотрение трансформеров и его применения
• Изучение техники аттеншен и ее влияния на NLP

38. Трансформеры и аттеншн-механизмы. Часть 2

• Тензорный анализ
• Рассмотрение трансформеров и его применения
• Изучение техники аттеншен и ее влияния на NLP

39. BERT, GPT и другие модели на основе трансформеров. Часть 1

• Изучение и применение BERT
• Практика

40. BERT, GPT и другие модели на основе трансформеров. Часть 2

• Изучение и применение GPT
• Практика

41. BERT, GPT и другие модели на основе трансформеров. Часть 3

• Рассмотрение других моделей и перспектива создания своих на основе
• Практика

42. Обработка и анализ звука: основные понятия и инструменты. Часть 1

• Основы цифровой обработки сигналов
• Практическое применение

43. Обработка и анализ звука: основные понятия и инструменты. Часть 2

• Рассмотрение различных фильтров
• Практическое применение

44. Обработка и анализ звука: основные понятия и инструменты. Часть 3

• Спектральный анализ аудио
• Практическое применение

45. Глубокое обучение для обработки аудио. Часть 1

• Управление данными и маркировка
• Извлечение признаков

46. Глубокое обучение для обработки аудио. Часть 2

• Сегментация
• Архитектуры для работы с аудио

47. Глубокое обучение для обработки аудио. Часть 3

• Практическое применение

48. Интеграция NLP в бизнес-приложения

• Рассмотрение реальных кейсов
• Примеры интеграции

Блок 4 - Развертывание моделей машинного обучения в производственной среде
49. Введение в развертывание ML моделей

• Принципы
• Потребности бизнеса
• Особенности.

50. Docker в машинном обучении. Часть 1

• Основы работы с контейнерами
• Создание Docker-образов
• Интеграция с ML/DL фреймворками

51. Docker в машинном обучении. Часть 2

• Основы работы с контейнерами
• Создание Docker-образов
• Интеграция с ML/DL фреймворками

52. A/B тестирование ML моделей

• Методология
• Практики
• Метрики и интерпретация результатов.

53. Тестирование ML кода с использованием Pytest

• Написание тестов
• Параметризация
• Фикстуры

54. Мониторинг и версионирование моделей

• Инструменты и лучшие практики.

55. Прунинг и дистилляция моделей

• Оптимизация размера и производительности моделей

56. DVC (Data Version Control)

• Управление данными и версиями моделей в машинном обучении.

57. MLflow

• Управление жизненным циклом ML моделей
• Отслеживание экспериментов.

58. Airflow и Dagster

• Автоматизация ML рабочих процессов
• Построение пайплайнов.

59. System design для ML систем

• Архитектура
• Инфраструктура и проектирование систем.

60. Пробное техническое собеседование

• Подведение итогов курса
• Консультации по дипломному проекту
• Вопросы технического собеседования

61. Онлайн-занятие «Поиск работы в IT»

• Составление резюме и сервисы для создания резюме;
• Создание и правильное оформление профиля в LinkedIn;
• Составление мотивационного письма;
• Работа с поиском вакансий на различных джоб-бордах;
• Личные рекомендации Карьерного центра по поиску первой работы в IT

62. Защита дипломного проекта