Skip to content

About

Справочник основных стат. методов с предпосылками

Resources

Stars

0 stars

Watchers

0 watching

Forks

 
 

Repository files navigation

Awesome ДАНО — Статистика для задачного тура

Материалы по статистическим методам для успешного прохождения задачного тура ДАНО

License: MIT Python Jupyter Maintained


Содержание


О репозитории

Этот репозиторий — практическое руководство по статистическим методам для задачного тура ДАНО (Национальная олимпиада по анализу данных). Здесь собраны:

  • теория с объяснениями "на пальцах"
  • готовый Python-код для каждого метода
  • типичные ошибки и как их избежать
  • схема выбора правильного теста
  • ссылки на все официальные материалы олимпиады

Важно: используйте методы только если понимаете, как они работают!


Как использовать

  1. До тура — изучите материалы, разберите примеры кода
  2. Во время тура — скопируйте репозиторий к себе и используйте как шпаргалку
  3. После тура — разберите ошибки, дополните свои знания
git clone https://github.com/s0NRAYY/DANO-Task-Materials.git
cd DANO-Task-Materials
jupyter notebook

Материалы репозитория

Статистические тесты

Файл: stat_test.ipynb

Основные статистические тесты с теорией и кодом на Python.

Тест Когда применять Функция
Т-критерий Стьюдента Сравнение двух средних, равные дисперсии scipy.stats.ttest_ind
Т-критерий Уэлча Сравнение двух средних, разные дисперсии scipy.stats.ttest_ind(equal_var=False)
U-критерий Манна-Уитни Непараметрическая альтернатива t-критерию scipy.stats.mannwhitneyu
Тест Шапиро-Уилка Проверка нормальности распределения scipy.stats.shapiro
Тест Левене Проверка равенства дисперсий scipy.stats.levene
Однофакторная ANOVA Сравнение нескольких групп scipy.stats.f_oneway
Критерий Краскела-Уоллиса Непараметрическая ANOVA scipy.stats.kruskal
Поправка Бонферрони Коррекция при множественных сравнениях statsmodels.stats.multitest
Критерий Тьюки (HSD) Попарные сравнения после ANOVA statsmodels.stats.multicomp
Критерий χ² Пирсона Связь категориальных переменных scipy.stats.chi2_contingency
Точный критерий Фишера Категориальные переменные, малые выборки scipy.stats.fisher_exact
Линейная регрессия Предсказание непрерывной переменной statsmodels.api.OLS
Логистическая регрессия Предсказание бинарного исхода statsmodels.api.Logit

Методы ресэмплинга

Файл: jacknife_bootstrap.ipynb

Техники ресэмплинга для оценки статистик и корректировки систематической ошибки.

Метод Применение
Bootstrap Оценка параметров генеральной совокупности через многократную выборку с возвращением
Jackknife Корректировка смещённых оценщиков (например, максимума)

Типичный сценарий использования:

  • Bootstrap → оценить среднее ГС с доверительным интервалом
  • Jackknife → исправить систематическую ошибку оценки максимума

Тонкие моменты

Файл: Тонкие_моменты.ipynb

Критические детали, которые часто забывают на туре.

Тема Суть
Выбросы Обнаружение методом IQR перед применением тестов
Максимум в моделировании Поиск оптимума через симуляции
Параметры распределений Обязательно документировать параметры, порождающие данные
Читаемость графиков Подписи осей, заголовки, корректные пределы
Точность симуляций Уточнение диапазона вокруг оптимума с меньшим шагом
Интервальная оценка Использовать min/max из условия задачи

Схема выбора метода

Файл: Схема выбора статистического метода.png

Наглядная схема, помогающая выбрать подходящий статистический тест в зависимости от типа данных и цели анализа.


Официальные материалы ДАНО

Олимпиада проводится с 2021 года совместно НИУ ВШЭ и Т-Банком. Сейчас идёт 5-й сезон (2025-2026), более 19 000 участников.

Официальный сайт: dano.hse.ru Библиотека материалов: dano.hse.ru/library Демо-задания: dano.hse.ru/demo Результаты всех сезонов: dano.hse.ru/result


Задачи прошлых лет

Все задания с решениями: dano.hse.ru/library/past_tasks

Сезон 1-й тур 2-й тур Финал: задачный Финал: проектный
2025–2026 4 варианта + решения 3 варианта + решения Задание + решения Задание, критерии, базы данных
2024–2025 3 варианта + решения 3 варианта + решения Задание + решения Задание, критерии, базы данных
2023–2024 3 варианта 3 варианта Задание + критерии 2 варианта + базы данных
2022–2023 3 варианта + решения 3 варианта + решения 4 варианта Задание, критерии, базы данных
2021–2022 3 варианта 3 варианта Задания, критерии Базы данных

Базы данных по сезонам

2024–2025 — 12 датасетов
Датасет Источник
Отели и авиабилеты Т-Банк
Городские сервисы Т-Банк
Аренда самокатов Т-Банк
Данные звонков Т-Банк
Инвестиционные инструменты Т-Банк
Результаты национальных команд по футболу Открытые данные
Аналитика АПК ЭкоНива
Посещаемость беговых мероприятий 5 вёрст
Воронка онлайн-продаж SM Lab (Спортмастер)
Рынок труда (Урал, Сибирь, ДВ) hh.ru
Влияние COVID-19 на бизнес Опрос
Объявления о продаже животных Avito
2023–2024 — 12 датасетов
Датасет Источник
Игровой сервис Т-Банк
Повышенный кешбэк Т-Банк
Голосовые роботы и звонки Т-Банк
Премиальная подписка Т-Банк
Деятельность компаний СПАРК
Финансовое обследование домохозяйств Банк России
Туризм в регионах Мостуризм
Сделки с недвижимостью Самолёт
Взаимодействие с контентом KION
Рынок труда hh.ru
Сценарии пользователей Tele2
Рынок труда в локдаун Открытые данные
2022–2023 — 12 датасетов
Датасет Источник
Доставка карт Тинькофф
Заказы билетов в кино Тинькофф
Программы кешбэка Тинькофф
Сторис Тинькофф
Юридические лица Тинькофф
Продажи авиабилетов S7 Airlines
Деловой климат Открытые данные
Мониторинг университетов Открытые данные
Региональная статистика Открытые данные
Качество образования Открытые данные
Здоровье и выход на пенсию Открытые данные
Отношение к иммиграции Открытые данные

Хакатоны

Архив хакатонов: dano.hse.ru/hackathon/archive

На каждом хакатоне доступны: задание (PDF), датасет, критерии оценки, презентации команд, результаты.

2025 год
Хакатон Дата Ссылка
Москва (РЭШ) 15–16 марта hackathon_msk_2025
Санкт-Петербург (ИТМО) 5–6 апреля hackathon_spb_2025
Майкоп (АГУ) Май hackathon/task-may
Екатеринбург 6–7 сентября hackathon/2025/ekb-autumn
Пермь 13–14 сентября —
Санкт-Петербург 21–22 сентября —
Майкоп 27–28 сентября —
Нижний Новгород 11–12 октября —
2024 год
Хакатон Дата Ссылка
Москва (НЭШ) 16–17 марта hackathon_nes_2024
Пермь 23–24 марта —
Иннополис 27–28 апреля hackathon_innopolis_2024
Санкт-Петербург (ИТМО) 18–19 мая hackathon_itmo_2024
Пермь 24–25 августа —
Екатеринбург 7–8 сентября —
Майкоп 14–15 сентября —
Нижний Новгород 21–22 сентября hackathon_nn_2024
Санкт-Петербург 28–29 сентября —
2023 год
Хакатон Дата Ссылка
Санкт-Петербург (ИТМО) 27–28 мая itmo2023
Екатеринбург 9–10 сентября hackathon_ekb_2023
Майкоп 16–17 сентября hackathon_may_2023
Санкт-Петербург 23–24 сентября hackathon_spb_2023
Нижний Новгород 30 сент. – 1 окт. hackathon_niz_2023

Дополнительные ресурсы

Курсы

Ресурс Уровень Описание
Основы статистики Начальный Базовые понятия: выборки, распределения, тесты
Основы статистики. Часть 2 Средний Дисперсионный анализ, корреляция
Основы статистики. Часть 3 Продвинутый Регрессия, байесовский подход

Книги и задачи

Ресурс Описание
Статистика и котики — Савельев Доступно о статистике с примерами
Задачи на дискретные случайные величины Сборник задач на распределения
Mathprofi — теория вероятностей Теория вероятностей
Mathprofi — математическая статистика Математическая статистика

Документация библиотек

Библиотека Ссылка Когда использовать
SciPy Stats docs.scipy.org Основные статтесты
Statsmodels statsmodels.org Регрессия, ANOVA, поправки
Pingouin pingouin-stats.org Удобная альтернатива с богатым выводом
Scikit-learn scikit-learn.org ML-модели

Социальные сети

Канал Описание
Telegram @dano_hse Официальный канал: объявления, разборы задач, тренировочные задания
VK dano_olymp Официальная группа ВКонтакте

Полезные сторонние ресурсы

Ресурс Описание
statstest.com Интерактивный выбор статистического теста
olimpiada.ru — ДАНО Расписание этапов и новости
postupi.online — ДАНО Сторонние разборы заданий

GitHub-репозитории участников

Репозиторий Описание
D1ffic00lt/dano-olympiad-final-stage Проект команды «ПобеDano» с финала 2022–2023: кластеризация юридических лиц Tinkoff (K-Means, t-SNE)

Полезные библиотеки

# Установка всего необходимого
pip install pandas numpy scipy statsmodels scikit-learn pingouin matplotlib seaborn
Библиотека Назначение
pandas Работа с данными
numpy Численные вычисления
scipy.stats Статистические тесты
statsmodels Регрессия, ANOVA, коррекция
pingouin Удобный интерфейс для статтестов
sklearn Машинное обучение, регрессия
matplotlib / seaborn Визуализация

Data Koalas желают вам удачи на туре!


Нашли ошибку или хотите дополнить? Создайте issue или pull request.

About

Справочник основных стат. методов с предпосылками

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages