Материалы по статистическим методам для успешного прохождения задачного тура ДАНО
- О репозитории
- Как использовать
- Материалы репозитория
- Официальные материалы ДАНО
- Дополнительные ресурсы
- Полезные библиотеки
Этот репозиторий — практическое руководство по статистическим методам для задачного тура ДАНО (Национальная олимпиада по анализу данных). Здесь собраны:
- теория с объяснениями "на пальцах"
- готовый Python-код для каждого метода
- типичные ошибки и как их избежать
- схема выбора правильного теста
- ссылки на все официальные материалы олимпиады
Важно: используйте методы только если понимаете, как они работают!
- До тура — изучите материалы, разберите примеры кода
- Во время тура — скопируйте репозиторий к себе и используйте как шпаргалку
- После тура — разберите ошибки, дополните свои знания
git clone https://github.com/s0NRAYY/DANO-Task-Materials.git
cd DANO-Task-Materials
jupyter notebookФайл: stat_test.ipynb
Основные статистические тесты с теорией и кодом на Python.
| Тест | Когда применять | Функция |
|---|---|---|
| Т-критерий Стьюдента | Сравнение двух средних, равные дисперсии | scipy.stats.ttest_ind |
| Т-критерий Уэлча | Сравнение двух средних, разные дисперсии | scipy.stats.ttest_ind(equal_var=False) |
| U-критерий Манна-Уитни | Непараметрическая альтернатива t-критерию | scipy.stats.mannwhitneyu |
| Тест Шапиро-Уилка | Проверка нормальности распределения | scipy.stats.shapiro |
| Тест Левене | Проверка равенства дисперсий | scipy.stats.levene |
| Однофакторная ANOVA | Сравнение нескольких групп | scipy.stats.f_oneway |
| Критерий Краскела-Уоллиса | Непараметрическая ANOVA | scipy.stats.kruskal |
| Поправка Бонферрони | Коррекция при множественных сравнениях | statsmodels.stats.multitest |
| Критерий Тьюки (HSD) | Попарные сравнения после ANOVA | statsmodels.stats.multicomp |
| Критерий χ² Пирсона | Связь категориальных переменных | scipy.stats.chi2_contingency |
| Точный критерий Фишера | Категориальные переменные, малые выборки | scipy.stats.fisher_exact |
| Линейная регрессия | Предсказание непрерывной переменной | statsmodels.api.OLS |
| Логистическая регрессия | Предсказание бинарного исхода | statsmodels.api.Logit |
Файл: jacknife_bootstrap.ipynb
Техники ресэмплинга для оценки статистик и корректировки систематической ошибки.
| Метод | Применение |
|---|---|
| Bootstrap | Оценка параметров генеральной совокупности через многократную выборку с возвращением |
| Jackknife | Корректировка смещённых оценщиков (например, максимума) |
Типичный сценарий использования:
- Bootstrap → оценить среднее ГС с доверительным интервалом
- Jackknife → исправить систематическую ошибку оценки максимума
Файл: Тонкие_моменты.ipynb
Критические детали, которые часто забывают на туре.
| Тема | Суть |
|---|---|
| Выбросы | Обнаружение методом IQR перед применением тестов |
| Максимум в моделировании | Поиск оптимума через симуляции |
| Параметры распределений | Обязательно документировать параметры, порождающие данные |
| Читаемость графиков | Подписи осей, заголовки, корректные пределы |
| Точность симуляций | Уточнение диапазона вокруг оптимума с меньшим шагом |
| Интервальная оценка | Использовать min/max из условия задачи |
Файл: Схема выбора статистического метода.png
Наглядная схема, помогающая выбрать подходящий статистический тест в зависимости от типа данных и цели анализа.
Олимпиада проводится с 2021 года совместно НИУ ВШЭ и Т-Банком. Сейчас идёт 5-й сезон (2025-2026), более 19 000 участников.
Официальный сайт: dano.hse.ru Библиотека материалов: dano.hse.ru/library Демо-задания: dano.hse.ru/demo Результаты всех сезонов: dano.hse.ru/result
Все задания с решениями: dano.hse.ru/library/past_tasks
| Сезон | 1-й тур | 2-й тур | Финал: задачный | Финал: проектный |
|---|---|---|---|---|
| 2025–2026 | 4 варианта + решения | 3 варианта + решения | Задание + решения | Задание, критерии, базы данных |
| 2024–2025 | 3 варианта + решения | 3 варианта + решения | Задание + решения | Задание, критерии, базы данных |
| 2023–2024 | 3 варианта | 3 варианта | Задание + критерии | 2 варианта + базы данных |
| 2022–2023 | 3 варианта + решения | 3 варианта + решения | 4 варианта | Задание, критерии, базы данных |
| 2021–2022 | 3 варианта | 3 варианта | Задания, критерии | Базы данных |
2024–2025 — 12 датасетов
| Датасет | Источник |
|---|---|
| Отели и авиабилеты | Т-Банк |
| Городские сервисы | Т-Банк |
| Аренда самокатов | Т-Банк |
| Данные звонков | Т-Банк |
| Инвестиционные инструменты | Т-Банк |
| Результаты национальных команд по футболу | Открытые данные |
| Аналитика АПК | ЭкоНива |
| Посещаемость беговых мероприятий | 5 вёрст |
| Воронка онлайн-продаж | SM Lab (Спортмастер) |
| Рынок труда (Урал, Сибирь, ДВ) | hh.ru |
| Влияние COVID-19 на бизнес | Опрос |
| Объявления о продаже животных | Avito |
2023–2024 — 12 датасетов
| Датасет | Источник |
|---|---|
| Игровой сервис | Т-Банк |
| Повышенный кешбэк | Т-Банк |
| Голосовые роботы и звонки | Т-Банк |
| Премиальная подписка | Т-Банк |
| Деятельность компаний | СПАРК |
| Финансовое обследование домохозяйств | Банк России |
| Туризм в регионах | Мостуризм |
| Сделки с недвижимостью | Самолёт |
| Взаимодействие с контентом | KION |
| Рынок труда | hh.ru |
| Сценарии пользователей | Tele2 |
| Рынок труда в локдаун | Открытые данные |
2022–2023 — 12 датасетов
| Датасет | Источник |
|---|---|
| Доставка карт | Тинькофф |
| Заказы билетов в кино | Тинькофф |
| Программы кешбэка | Тинькофф |
| Сторис | Тинькофф |
| Юридические лица | Тинькофф |
| Продажи авиабилетов | S7 Airlines |
| Деловой климат | Открытые данные |
| Мониторинг университетов | Открытые данные |
| Региональная статистика | Открытые данные |
| Качество образования | Открытые данные |
| Здоровье и выход на пенсию | Открытые данные |
| Отношение к иммиграции | Открытые данные |
Архив хакатонов: dano.hse.ru/hackathon/archive
На каждом хакатоне доступны: задание (PDF), датасет, критерии оценки, презентации команд, результаты.
2025 год
| Хакатон | Дата | Ссылка |
|---|---|---|
| Москва (РЭШ) | 15–16 марта | hackathon_msk_2025 |
| Санкт-Петербург (ИТМО) | 5–6 апреля | hackathon_spb_2025 |
| Майкоп (АГУ) | Май | hackathon/task-may |
| Екатеринбург | 6–7 сентября | hackathon/2025/ekb-autumn |
| Пермь | 13–14 сентября | — |
| Санкт-Петербург | 21–22 сентября | — |
| Майкоп | 27–28 сентября | — |
| Нижний Новгород | 11–12 октября | — |
2024 год
| Хакатон | Дата | Ссылка |
|---|---|---|
| Москва (НЭШ) | 16–17 марта | hackathon_nes_2024 |
| Пермь | 23–24 марта | — |
| Иннополис | 27–28 апреля | hackathon_innopolis_2024 |
| Санкт-Петербург (ИТМО) | 18–19 мая | hackathon_itmo_2024 |
| Пермь | 24–25 августа | — |
| Екатеринбург | 7–8 сентября | — |
| Майкоп | 14–15 сентября | — |
| Нижний Новгород | 21–22 сентября | hackathon_nn_2024 |
| Санкт-Петербург | 28–29 сентября | — |
2023 год
| Хакатон | Дата | Ссылка |
|---|---|---|
| Санкт-Петербург (ИТМО) | 27–28 мая | itmo2023 |
| Екатеринбург | 9–10 сентября | hackathon_ekb_2023 |
| Майкоп | 16–17 сентября | hackathon_may_2023 |
| Санкт-Петербург | 23–24 сентября | hackathon_spb_2023 |
| Нижний Новгород | 30 сент. – 1 окт. | hackathon_niz_2023 |
| Ресурс | Уровень | Описание |
|---|---|---|
| Основы статистики | Начальный | Базовые понятия: выборки, распределения, тесты |
| Основы статистики. Часть 2 | Средний | Дисперсионный анализ, корреляция |
| Основы статистики. Часть 3 | Продвинутый | Регрессия, байесовский подход |
| Ресурс | Описание |
|---|---|
| Статистика и котики — Савельев | Доступно о статистике с примерами |
| Задачи на дискретные случайные величины | Сборник задач на распределения |
| Mathprofi — теория вероятностей | Теория вероятностей |
| Mathprofi — математическая статистика | Математическая статистика |
| Библиотека | Ссылка | Когда использовать |
|---|---|---|
| SciPy Stats | docs.scipy.org | Основные статтесты |
| Statsmodels | statsmodels.org | Регрессия, ANOVA, поправки |
| Pingouin | pingouin-stats.org | Удобная альтернатива с богатым выводом |
| Scikit-learn | scikit-learn.org | ML-модели |
| Канал | Описание |
|---|---|
| Telegram @dano_hse | Официальный канал: объявления, разборы задач, тренировочные задания |
| VK dano_olymp | Официальная группа ВКонтакте |
| Ресурс | Описание |
|---|---|
| statstest.com | Интерактивный выбор статистического теста |
| olimpiada.ru — ДАНО | Расписание этапов и новости |
| postupi.online — ДАНО | Сторонние разборы заданий |
| Репозиторий | Описание |
|---|---|
| D1ffic00lt/dano-olympiad-final-stage | Проект команды «ПобеDano» с финала 2022–2023: кластеризация юридических лиц Tinkoff (K-Means, t-SNE) |
# Установка всего необходимого
pip install pandas numpy scipy statsmodels scikit-learn pingouin matplotlib seaborn| Библиотека | Назначение |
|---|---|
pandas |
Работа с данными |
numpy |
Численные вычисления |
scipy.stats |
Статистические тесты |
statsmodels |
Регрессия, ANOVA, коррекция |
pingouin |
Удобный интерфейс для статтестов |
sklearn |
Машинное обучение, регрессия |
matplotlib / seaborn |
Визуализация |
Data Koalas желают вам удачи на туре!
Нашли ошибку или хотите дополнить? Создайте issue или pull request.