🤖 ИИ · 20 вопросов · ~45 мин · ⏱ Таймер 45:00 · Сложный · 👥 1 прошёл

Математика машинного обучения

Формулы машинного обучения полезны не сами по себе, а как способ предсказать поведение модели: что изменит вероятность, почему признак не влияет на результат, откуда берётся нестабильный градиент и как статистическая неопределённость ограничивает выводы. Тест соединяет вычисления с инженерным смыслом.

Отвечено: 0 из 20

⏱ --:--

💡 Инструкция: Выбери один ответ из четырёх. В тесте 20 вопросов и 45 минут; не меньше половины заданий требуют прочитать код, конфигурацию или формализованную схему. После завершения откроются общий процент, четыре тематические шкалы, правильные ответы и разбор каждого решения.

Вопрос 1 из 20

В выборке 1% писем — фишинг. Фильтр находит 90% фишинга и ошибочно помечает 5% обычных писем. Среди помеченных писем фишинг составляет примерно:

P(F\mid +)=\frac{P(+\mid F)P(F)}{P(+\mid F)P(F)+P(+\mid \neg F)P(\neg F)}

N=10_000
phishing=0.01*N
true_alerts=0.90*phishing
false_alerts=0.05*(N-phishing)
posterior=true_alerts/(true_alerts+false_alerts)

Около 90%, если чувствительность фильтра высокая Около 5%, потому что ложноположительная доля равна 5% Около 15% Около 1%, как исходная доля фишинга в потоке

Вопрос 2 из 20

У модели ошибки [1, 1, 1, 1, 20]. Какое утверждение точнее?

errors=[1,1,1,1,20]
mean=sum(errors)/len(errors)
median=sorted(errors)[len(errors)//2]

Медиана равна 20, так как она отражает максимальную ошибку в малой выборке Медиана равна 1 и лучше описывает типичную ошибку, а среднее 4,8 чувствительно к выбросу Среднее почти не меняется, потому что четыре значения из пяти равны единице Среднее равно 1, а медиана 4,8, потому что выброс учитывается только медианой

Вопрос 3 из 20

Вектор признаков x=(2, -1), веса w=(3, 4), смещение b=1. Чему равен линейный логит?

z=w^T x+b

x=[2,-1]
w=[3,4]
b=1
z=sum(xi*wi for xi,wi in zip(x,w))+b

7, если не учитывать смещение или знак второго признака −3, если сначала сложить признаки, а затем умножить на сумму весов 11, если сложить произведения без учёта отрицательного признака 3

Вопрос 4 из 20

Для функции f(w)=(w-5)^2 параметр w=1, скорость обучения 0,1. Каков один шаг градиентного спуска?

w_{t+1}=w_t-\eta\nabla f(w_t)

w=1.0
lr=0.1
grad=2*(w-5)
w_next=w-lr*grad

0,2, если вычесть градиент без умножения на скорость обучения w станет 1,8 5, если за один шаг перейти непосредственно в точку минимума 1,4, если использовать производную `w-5` вместо `2(w-5)`

Вопрос 5 из 20

Модель присвоила правильному классу вероятность 0,9, а затем 0,6. Как изменится log loss для этого примера?

L=-\log p_y

import math
loss_good=-math.log(0.9)
loss_worse=-math.log(0.6)

Не изменится, если предсказанный класс остался тем же при пороге 0,5 Уменьшится, потому что модель стала менее уверенной и лучше откалиброванной Станет отрицательной, потому что логарифм вероятности меньше единицы отрицателен Увеличится, потому что -log(0,6) больше -log(0,9)

Вопрос 6 из 20

На пяти случайных запусках accuracy равна 0,81; 0,82; 0,80; 0,95; 0,79. Что разумнее отчёта «лучший результат 0,95»?

scores=[0.81,0.82,0.80,0.95,0.79]
report(mean(scores), stdev(scores), scores)

Показать все запуски, среднее и разброс, а выброс отдельно исследовать Выбрать последний запуск, если все эксперименты использовали одинаковые параметры Сообщить медиану 0,815 и не показывать разброс, чтобы выброс 0,95 не влиял на вывод Исключить запуск 0,95 как аномальный и усреднить остальные без расследования причины

Вопрос 7 из 20

Матрица X имеет форму (100, 32), матрица W — (32, 8). Какова форма XW?

(100\times 32)(32\times 8)=(100\times 8)

X.shape == (100,32)
W.shape == (32,8)
Y = X @ W

(32, 32) (8, 100) (100, 8) (100, 32)

Вопрос 8 из 20

Training loss быстро колеблется и иногда растёт на несколько порядков. Первая разумная гипотеза?

loss=[1.2,0.8,4.7,0.6,19.3,1.1]
lr=1.0
feature_std=[0.01,5400,2.3]

Validation set слишком мал и создаёт шум в training loss Batch слишком мал; увеличение размера пакета гарантированно устранит нестабильность Слишком большая скорость обучения или плохое масштабирование признаков Модель переобучается уже на первых шагах, поэтому нужно уменьшить объём обучающих данных

Вопрос 9 из 20

Два независимых события имеют вероятности 0,3 и 0,4. Вероятность их совместного наступления равна:

P(A\cap B)=P(A)P(B)

0,1 0,12 0,7 0,35

Вопрос 10 из 20

Эксперимент остановили в тот день, когда p-value впервые стал меньше 0,05, после ежедневных проверок. Какой риск?

for day in range(1,31):
    p=run_test(data[:day])
    if p < 0.05: stop_and_publish()

Многократные подсматривания повышают шанс случайно объявить эффект Последовательные проверки не меняют ошибку первого рода, если порог остаётся 0,05 Практическая значимость подтверждается автоматически после первого статистически значимого дня p-value можно интерпретировать как вероятность отсутствия эффекта после остановки

Вопрос 11 из 20

Косинусная близость векторов (1,0) и (3,0) равна:

\cos(a,b)=\frac{a\cdot b}{\|a\|\|b\|}

a=[1,0]
b=[3,0]
cos=dot(a,b)/(norm(a)*norm(b))

1 1/3 0 3

Вопрос 12 из 20

L2-регуляризация увеличена. Какое изменение наиболее типично?

L_{total}=L_{data}+\lambda\|w\|_2^2

loss = data_loss + lam * sum(w*w for w in weights)
lam *= 10

Все веса станут нулевыми, если коэффициент регуляризации больше нуля Веса сильнее тянутся к нулю, variance может снизиться, но слишком сильная регуляризация повышает bias Training loss уменьшится, потому что штраф помогает точнее подогнать обучающие данные Регуляризация увеличит размер выборки за счёт дополнительных ограничений на веса

Вопрос 13 из 20

Ожидаемый ущерб действия A: 2% шанс потери 1000, иначе 0. Действия B: гарантированная потеря 25. Что меньше по ожиданию?

\mathbb{E}[L]=\sum_i p_i L_i

EA=0.02*1000 + 0.98*0
EB=25

A, потому что ожидаемая потеря 20 Ожидания равны, если считать риск A как 2% от 1000 и округлить до ближайших 25 Сравнение невозможно без знания отношения к риску, хотя математические ожидания можно вычислить B, потому что гарантированная потеря 25 меньше максимально возможной потери 1000

Вопрос 14 из 20

Время ответа измерили на 100 запросах, запущенных одновременно на одном сервере, и приняли их независимыми. Что нарушено?

Задержки связаны общей очередью и конкуренцией за ресурсы Параллельный запуск делает наблюдения независимыми, но меняет только среднее значение Сто запросов недостаточно для оценки задержки независимо от способа запуска Среднее время нельзя использовать при конкурирующих запросах; допустимы только медиана и квантили

Вопрос 15 из 20

Матрица признаков имеет два одинаковых столбца. Как это влияет на линейную модель без регуляризации?

X[:,5] = X[:,2]
w = fit_linear_model(X,y)

Ранг увеличится, потому что число столбцов стало больше Параметры могут стать неидентифицируемыми: разные пары весов дают одинаковый прогноз Градиенты двух весов будут независимыми, хотя столбцы признаков совпадают Прогнозы станут неопределёнными, поэтому модель не сможет вычислить ни одного значения

Вопрос 16 из 20

После 20 эпох training loss продолжает падать, validation loss растёт. Наиболее вероятный вывод?

train=[0.9,0.6,0.4,0.25,0.16]
val=[0.95,0.68,0.52,0.57,0.71]

Началось переобучение; стоит рассмотреть раннюю остановку, регуляризацию или данные Оптимизатор не сошёлся, потому что validation loss должен падать вместе с training loss Нужно продолжить обучение, поскольку падение training loss означает улучшение модели Validation set следует добавить в обучение, чтобы кривые снова совпали

Вопрос 17 из 20

Вероятность класса после sigmoid равна 0,5. Какой логит ей соответствует?

\sigma(z)=\frac{1}{1+e^{-z}}

import math
def sigmoid(z): return 1/(1+math.exp(-z))

0 0,5 -1 1

Вопрос 18 из 20

У двух моделей средняя accuracy различается на 0,2 процентного пункта, а 95% интервалы широко перекрываются. Что корректно?

A=(0.842,(0.833,0.851))
B=(0.844,(0.835,0.853))

Данных недостаточно, чтобы уверенно отличить модели по этой метрике Вторая модель лучше, потому что её средняя accuracy выше независимо от неопределённости Широкое перекрытие интервалов доказывает, что истинные качества моделей строго равны Следует выбрать более сложную модель, так как малая разница метрик неинформативна

Вопрос 19 из 20

Внимание использует Q формы (batch, heads, tokens, d), а K — (batch, heads, tokens, d). Что получается до softmax после QKᵀ?

S=\frac{QK^T}{\sqrt{d_k}}

scores = Q @ K.transpose(-1,-2)

Вектор длины `d`, полученный после суммирования по токенам Тензор `(batch, d)`, потому что головы и токены сокращаются при умножении Матрица оценок между каждой парой токенов формы Один скаляр на пакет, отражающий общую близость всех запросов и ключей

Вопрос 20 из 20

Градиент почти нулевой, но loss высок и параметры не меняются. Какой диагноз нельзя делать автоматически?

loss=8.4
grad_norm=1e-10
parameter_delta=0.0

Проверить насыщение активаций и численную устойчивость вычисления градиента Проверить, связан ли loss с параметрами и корректно ли проходит обратное распространение Сравнить разные инициализации и масштабы признаков, чтобы исключить плохую область оптимизации Нельзя сразу утверждать, что найден хороший минимум: возможны насыщение, седловая область или плохой масштаб

Ответьте на все 20 вопросов, чтобы получить результат

🔗 Встроить тест на свой сайт (iframe) ▼

Скопируйте код и вставьте в любое место на вашем сайте:

Также доступна прямая ссылка на embed-страницу