Что такое findslide.org?

FindSlide.org - это сайт презентаций, докладов, шаблонов в формате PowerPoint.


Для правообладателей

Обратная связь

Email: Нажмите что бы посмотреть 

Яндекс.Метрика

Презентация на тему Введение в биометрию. Основы статистической обработки данных

Содержание

There are three kinds of lies: lies, damned lies, and statistics. Сэр Charles Dilke. 1891 г. Существует три вида лжи: ложь, наглая ложь и стаистика Марк Твен, 5
«НАЧАЛА» БИОМЕТРИИ   основы статистической обработки данных ВЫБОРКА ИЗ КУРСА ДЛЯ There are three kinds of lies: lies, damned lies, and statistics. ПЛАТОНОВ А.Е. СТАТИСТИЧЕСКИЙ АНАЛИЗ В БИОЛОГИИ И МЕДИЦИНЕ. М. РАМН. 2000. 52 Т.А. Ланг, М. Сесик Как описывать статистику в медицине. Руководство для авторов, Проверить некую статистическую гипотезу, доказать или опровергнуть утверждение.Кратко описать большой массив данных Адекватные статистические критерии дают возможность оценить вероятность (р) случайно получить фактический результат Исходные понятияВыборка или выборочная совокупность (данных)  — часть генеральной совокупности элементов, которая охватывается Некоторые формы распределения результатов в выборке и центральные тенденции: СА, МЕ, МО Для нормального распределения «центральные тенденции»: СА. МЕ и МО совпадают Основные термины описательной статистики (Descriptive Statistics) для нормальном распределении В РОССИЙСКИХ БИОМЕДИЦИНСКИХ ИССЛЕДОВАНИЯХ зачастую приводят M±m. Авторы РАДЫ, что Проверка гипотезы о равенстве двух средних при помощи t-критерия Стьюдента для независимых КРИТИЧЕСКИЕ ЗНАЧЕНИЯ КРИТЕРИЯ ШОВЕНЕОДИН ИЗ КОЭФФИЦИЕНТОВ ДЛЯ ОБОСНОВАНИЯ ТОГО, ЧТО РЕЗУЛЬТАТ ЯВЛЯЕТСЯ НОРМАЛЬНОЕ РАСПРЕДЕЛЕНИЕПроверка гипотезы о равенстве двух средних при помощи t-критерия Стьюдента для ВНИМАНИЕ!  Используемый стандарт расчета t-критерия Стьюдента и степеней свободы df НЕ НОРМАЛЬНОЕ РАСПРЕДЕЛЕНИЕСравнение двух средних значений связанных выборок при помощи t–критерия Стюдента (разностный НОРМАЛЬНОЕ РАСПРЕДЕЛЕНИЕМНОЖЕСТВЕННОЕ СРАВНЕНИЕ:Сравнивать несколько средних значений (например, один контроль и пять опытных Относительные значения (соотношение, частота, доля)- (качественный) альтернативный анализ. Представление результата: МЕНЕЕ 20 1) Определяется направленность сдвига в сравниваемых наблюдениях.2) Подсчитывается общее число парных наблюдений НЕПАРАМЕТРИЧЕСКИЕ КРИТЕРИИПарный критерий Т Вилкоксона (W) присвоение рангов плюсовым и минусовым суммам НЕПАРАМЕТРИЧЕСКИЕ КРИТЕРИИКРИТЕРИЙ Q РОЗЕНБАУМА несвязанные выборки, «критерий хвостов», сравнение двух УПОРЯДОЧЕННЫ РЯДОВ НЕПАРАМЕТРИЧЕСКИЕ КРИТЕРИИКРИТЕРИЙ U  МАННА – УИТНИ для независимых выборокОсобенно удобен при КРИТЕРИЙ U  МАННА – УИТНИ для независимых выборок, продолжениеНЕПАРАМЕТРИЧЕСКИЕ КРИТЕРИИ U ПРИМЕР ФОРМЫ ПРЕДСТАВЛЕНИЯ ДАННЫХ В ТАБЛИЦЕНЕПАРАМЕТРИЧЕСКИЕ КРИТЕРИИ Коэффициент корреляции рангов (СПИРМЕНА) Таблица минимальных значений коэффициентов ранговой корреляции Любая литература по непараметрическим критериям статистики Идеальная Е.В Гублер, А.А. Генкин. Применение ОСНОВНЫЕ ПРАВИЛА  представления данных Текст (относительно изображения – контекст) должен быть ИЗОБРАЖЕНИЯТО, ЧТО должно быть в ИЗОБРАЖЕНИЯХ: ЗНАЧЕНИЯ, МЕТКИ, КОНТЕКСТТАБЛИЦЫ первичные – выборка РЕКОМЕНДУЮ ИЗУЧИТЬ Ранговую корреляцию СПИРМАНА КРИТЕРИЙ ИСКЛЮЧЕНИЯ ШОВЕНЕ ПРЕДСТАВЛЕНИЕ ГРАФИКОВ, КОГДА ВМЕСТО Спасибо!
Слайды презентации

Слайд 2 There are three kinds of lies: lies, damned

There are three kinds of lies: lies, damned lies, and

lies, and statistics. Сэр Charles Dilke. 1891 г.
Существует

три вида лжи: ложь, наглая ложь и стаистика Марк Твен, 5 июля 1907 г.

Причины известной репутации:

НЕУМЕНИЕ, НЕВЕЖЕСТО, НЕДОБРОСОВЕСТНОСТЬ, УМЫСЕЛ



СТАТИСТИКА – ИНСТРУМЕНТ И СПОСОБ ОБРАБОТКИ И ПРЕДСТАВЛЕНИЯ РЕЗУЛЬТАТОВ ИССЛЕДОВАНИЯ

«НЕПРАВИЛЬНОЕ ПРИМЕНЕНИЕ СТАТИСТИКИ В РОССИИ ПРИОБРЕЛО ХАРАКТЕР ЭПИДЕМИИ»

ОТСУСТВИЕ КОНТРОЛЯ И ЖЕЛАНИЯ ИЗУЧАТЬ
ПСИХОЛОГИЧЕСКИЙ БАРЬЕР БИОЛОГОВ ПЕРЕД «МАТЕМАТИКОЙ»
ЯКОБЫ НЕДОСТУПНОСТЬ ПОНЯТНОЙ ЛИТЕРАТУРЫ


Слайд 3 ПЛАТОНОВ А.Е. СТАТИСТИЧЕСКИЙ
АНАЛИЗ В БИОЛОГИИ И МЕДИЦИНЕ.

ПЛАТОНОВ А.Е. СТАТИСТИЧЕСКИЙ АНАЛИЗ В БИОЛОГИИ И МЕДИЦИНЕ. М. РАМН. 2000.


М. РАМН. 2000. 52 С.
А.Н. МАМАЕВ. ОСНОВЫ МЕДИЦИНСКОЙ

СТАТИСТИКИ.
М. ПРАКТИЧЕС КАЯ МЕДИЦИНА. 2011. 128 С.

Слайд 4 Т.А. Ланг, М. Сесик Как описывать статистику в

Т.А. Ланг, М. Сесик Как описывать статистику в медицине. Руководство для

медицине. Руководство для авторов, редакторов и рецензентов. Пер. с

анг. М. 2011. 477 с.

С. Гланц Медико-биологическая СТАТИСТИКА. Пер. с анг. М. ПРАКТИКА. 1999. 459 с.


Слайд 5 Проверить некую статистическую гипотезу, доказать или опровергнуть утверждение.
Кратко

Проверить некую статистическую гипотезу, доказать или опровергнуть утверждение.Кратко описать большой массив

описать большой массив данных

Гипотеза,

которую исследователь предполагает отклонить называют НУЛЕВОЙ ГИПОТЕЗОЙ: «значения переменной в контрольной и опытной группах неотличимы».
АЛЬТЕРНАТИВНАЯ ГИПОТЕЗА
отрицает нулевую

Наши задачи при использовании статистики


Слайд 6 Адекватные статистические критерии дают возможность оценить вероятность (р)

Адекватные статистические критерии дают возможность оценить вероятность (р) случайно получить фактический

случайно получить фактический результат в предположении, что нулевая гипотеза

верна.
В биометрии обычно выбирают уровни значимости
(significance level), равные 0.05 или 0.01.
(например, p< 0.05).
Чем меньше α, тем ниже вероятность ошибки отклонить верную нулевую гипотезу.

НЕНАПРАВЛЕННАЯ АЛЬТЕРНАТИВНАЯ ГИПОТЕЗА: значения переменной в выборках отличны (или отличны от некого фиксированного числа).

НАПРАВЛЕННАЯ АЛЬТЕРНАТИВНАЯ ГИПОТЕЗА: значения переменная в одной выборке больше, чем в другой (или фиксированного числа).


Слайд 7 Исходные понятия
Выборка или выборочная совокупность (данных) — часть генеральной

Исходные понятияВыборка или выборочная совокупность (данных) — часть генеральной совокупности элементов, которая охватывается

совокупности элементов, которая охватывается наблюдением.
Статистическим распределением выборки называют перечень вариантов и

соответствующих им частот…
Вариационный ряд представляет собой сгруппированный ряд числовых данных (вариант), ранжированный в порядке возрастания или убывания..

Слайд 8 Некоторые формы распределения результатов в выборке и центральные

Некоторые формы распределения результатов в выборке и центральные тенденции: СА, МЕ, МО

тенденции: СА, МЕ, МО


Слайд 9 Для нормального распределения «центральные тенденции»: СА.

Для нормального распределения «центральные тенденции»: СА. МЕ и МО совпадают

МЕ и МО совпадают


Слайд 10 Основные термины описательной статистики (Descriptive Statistics) для нормальном распределении

Основные термины описательной статистики (Descriptive Statistics) для нормальном распределении

Слайд 11 В РОССИЙСКИХ БИОМЕДИЦИНСКИХ ИССЛЕДОВАНИЯХ зачастую приводят

В РОССИЙСКИХ БИОМЕДИЦИНСКИХ ИССЛЕДОВАНИЯХ зачастую приводят M±m. Авторы РАДЫ, что

M±m.
Авторы РАДЫ, что при увеличении n - числа

измерений m 0, «точность растет». ЗРЯ!
ВЕРНО ТОЛЬКО ПРИ ИЗМЕРЕНИИ ОДИНАКОВЫХ ОБЪЕКТОВ, НАПРИМЕР, В ФИЗИКЕ - ЗАРЯДА ЭЛЕКТРОНА, увеличение n ПРИБЛИЖАЕТ К РЕАЛЬНОМУ ЗНАЧЕНИЮ.

В БИОЛОГИИ И МЕДИЦИНЕ СТАТИСТИКА ВЫЯСНЯЕТ ДИАПАЗОН – ШИРИНУ РАСПРЕДЕЛЕНИЯ: SD.
РЕЗУЛЬТАТ СЛЕДУЕТ ПРЕДСТАВЛЯТЬ ПРИ НОРМАЛЬНОМ РАСПРЕДЕЛЕНИИ как M± SD, КОГДА 67÷70 % ЗНАЧЕНИЙ В ДИАПАЗОНЕ M± SD.

Но нормальных распределений менее 20%.


Слайд 12 Проверка гипотезы о равенстве двух средних при помощи

Проверка гипотезы о равенстве двух средних при помощи t-критерия Стьюдента для

t-критерия Стьюдента для независимых выборок
НЕПРЕМЕННЫЕ УСЛОВИЯ - выборки имеют нормальное

распределение. - Сравниваются только две группы . - Увеличение объема выборки не только увеличивает чувствительность t-критерия , но может выявить несущественные изменения. - Следует учитывать наличие или отсутствие однородности дисперсии.
Вычисление t-критерия для связанных групп осуществляется иным подходом, основанным на изучении разности.

НОРМАЛЬНОЕ РАСПРЕДЕЛЕНИЕ


Слайд 13 КРИТИЧЕСКИЕ ЗНАЧЕНИЯ КРИТЕРИЯ ШОВЕНЕ

ОДИН ИЗ КОЭФФИЦИЕНТОВ ДЛЯ ОБОСНОВАНИЯ

КРИТИЧЕСКИЕ ЗНАЧЕНИЯ КРИТЕРИЯ ШОВЕНЕОДИН ИЗ КОЭФФИЦИЕНТОВ ДЛЯ ОБОСНОВАНИЯ ТОГО, ЧТО РЕЗУЛЬТАТ

ТОГО, ЧТО РЕЗУЛЬТАТ ЯВЛЯЕТСЯ «АНОМАЛЬНЫМ». БОЛЕЕ 5% РЕЗУЛЬТАТОВ

ОТБРАКОВВЫВАТЬ НЕЛЬЗЯ.


U= (X anomal – X) / SD , если полученный показатель U больше или равен табличному, то есть основание назвать такой результат аномальным для данной выборки.


Слайд 14 НОРМАЛЬНОЕ РАСПРЕДЕЛЕНИЕ
Проверка гипотезы о равенстве двух средних при

НОРМАЛЬНОЕ РАСПРЕДЕЛЕНИЕПроверка гипотезы о равенстве двух средних при помощи t-критерия Стьюдента

помощи
t-критерия Стьюдента для независимых выборок
Фрагмент таблицы критических значений

t при доверительной вероятности Р и числе степеней свободы f.

(при Р=0.95, р=0.05)

Отличия значимы при
t экс > t таб.


Слайд 15 ВНИМАНИЕ! Используемый стандарт расчета t-критерия Стьюдента и

ВНИМАНИЕ! Используемый стандарт расчета t-критерия Стьюдента и степеней свободы df НЕ

степеней свободы df НЕ ПРИГОДНЫ ПРИ РАЗЛИЧИЯХ ОТНОСИТЕЛЬНЫХ ВЕЛИЧИН

SD ИЛИ n В СРАВНИВАЕМЫХ ВЫБОРКАХ:
1) SD1=SD2 в % от среднего арифметического при n1≠ n2;
2) SD1≠ SD2 при n1≠ n2;
3) SD1≠SD2 при n1= n2. (см. любое пособие, напр., А.Н.Мамаев, 2011)

Слайд 16 НОРМАЛЬНОЕ РАСПРЕДЕЛЕНИЕ
Сравнение двух средних значений связанных выборок при

НОРМАЛЬНОЕ РАСПРЕДЕЛЕНИЕСравнение двух средних значений связанных выборок при помощи t–критерия Стюдента

помощи t–критерия Стюдента (разностный метод; paired t-test)
1. Для каждой

пары исследований вычисляют разность di = Xi-Yi
2. Вычисляют средние D и величину SD для полученного ряда из парных разностей d
3. Определяют нормальность распределения в выборке из парных разностей d.
4. При НОРМАЛЬНОМ РАСПРЕДЕЛЕНИИ вычисляют t-критерий по следующей формуле:

5. Вычисляют число степеней свободы по формуле: df = n-1.
6. По таблице для t–критерия находят уровень вероятности различий (p).


Слайд 17 НОРМАЛЬНОЕ РАСПРЕДЕЛЕНИЕ
МНОЖЕСТВЕННОЕ СРАВНЕНИЕ:
Сравнивать несколько средних значений (например, один

НОРМАЛЬНОЕ РАСПРЕДЕЛЕНИЕМНОЖЕСТВЕННОЕ СРАВНЕНИЕ:Сравнивать несколько средних значений (например, один контроль и пять

контроль и пять опытных групп) без специальной поправки нельзя,

используя для каждой пары средние значения поочередно и пользуясь обычный уровень t-критерия Стьюдента

Bonferroni предложил поправку: при числе сравнений k отклонение нулевой гипотезы возможно, если уровень значимости определяется как частное α/k : если выполняется 5 сравнений (k=5) , то в любом из 5 сравнений уровень значимости р < 0.01,
чтобы сделать вывод о различиях сравниваемых групп с уровнем значимости р< 0.05 (например, сравнение пяти групп с одним контролем) .

Существуют менее жесткие подходы и поправки:
Tukey, Newman-Keuls, Scheffe, Fisher-LSD


Слайд 19 Относительные значения (соотношение, частота, доля)- (качественный) альтернативный анализ.

Относительные значения (соотношение, частота, доля)- (качественный) альтернативный анализ. Представление результата: МЕНЕЕ


Представление результата: МЕНЕЕ 20 ВАРАНТ НЕДОПУСТИМО проценты %=n/N x 100,

промилле(0/00)=n/N x 1000, продециилле (0/000)=n/N x 10 000.
р- относительное значение показателя НПР. ДОЛЯ).
СООТВЕТСВЕННО, расчет стандартного отклонения:
SD=√р(100-р), SD=√р(1000-р), SD=√р (10000-р);
Расчет ошибки среднего: SE=√р(100-р)/N, SE=√р(1000-р)/N, SE=√р(10000-р)/N. (SE= m )

Сравнение двух относительных значений (для таблицы «Стьюдента»):


Слайд 20 1) Определяется направленность сдвига в сравниваемых наблюдениях.
2) Подсчитывается

1) Определяется направленность сдвига в сравниваемых наблюдениях.2) Подсчитывается общее число парных

общее число парных наблюдений с различиями (n).
3) Подсчитывается меньшее

число однозначных изменений (Z).
4) Z сравнивается по таблице с критическими значениями для данного n.

НЕПАРАМЕТРИЧЕСКИЕ КРИТЕРИИ

n= 8, Z=1, p=0.05

КРИТЕРИЙ ЗНАКОВ (SIGN TEST) РАЗНОСТЬ ПОПАРНО СОПРЯЖЕННЫХ ВАРИАНТ


Слайд 21 НЕПАРАМЕТРИЧЕСКИЕ КРИТЕРИИ
Парный критерий Т Вилкоксона (W) присвоение рангов

НЕПАРАМЕТРИЧЕСКИЕ КРИТЕРИИПарный критерий Т Вилкоксона (W) присвоение рангов плюсовым и минусовым

плюсовым и минусовым суммам пар. Равные суммы имеют равный

ранг.

1) Найти разности парных вариант.
2) Определить ранги разностей (без учета знаков, пары при разности равной нулю из дальнейшей оценки исключаются).
3) Определить сумму рангов полученных разностей, имеющих одинаковые алгебраические знаки и взять меньшую из них (Т).
4) Установить значимость различий. До n = 26 сравнивают найденную сумму Т с критическими значениями из таблицы.

Т=1+3,5=4,5
p<0.05

Таблица критических значений W для выборок со связаннымивариантами


Слайд 22 НЕПАРАМЕТРИЧЕСКИЕ КРИТЕРИИ
КРИТЕРИЙ Q РОЗЕНБАУМА несвязанные выборки, «критерий хвостов»,

НЕПАРАМЕТРИЧЕСКИЕ КРИТЕРИИКРИТЕРИЙ Q РОЗЕНБАУМА несвязанные выборки, «критерий хвостов», сравнение двух УПОРЯДОЧЕННЫ

сравнение двух УПОРЯДОЧЕННЫ РЯДОВ НАБЛЮДЕНИЙ, ПРИ N1 и N2

>11

Пульс без ожога 96 100 104 104 120 120 120 122 124 126 130 134 (N1=12)
T

Ожог III ст. 76 82 84 88 96 100 102 104 110 118 120 122 (N2=12)
S

Табл. Минимальные значения Q=S+T, при которых различия можно считать значимыми (желательно N1=N2).

N1=12 ; N2=12. Q = 8. Qэкс > Q таб.
P< 0.01


Слайд 23 НЕПАРАМЕТРИЧЕСКИЕ КРИТЕРИИ
КРИТЕРИЙ U МАННА – УИТНИ для

НЕПАРАМЕТРИЧЕСКИЕ КРИТЕРИИКРИТЕРИЙ U МАННА – УИТНИ для независимых выборокОсобенно удобен при

независимых выборок
Особенно удобен при n1, n2

20.

Оценка различий двух независимых выборок по количественным признакам

оценки различий между двумя независимыми выборками по уровню какого-либо признака, измеренного количественно

оценки различий между двумя независимыми выборками по уровню какого-либо признака, измеренного количественно

Составить единый ранжированный ряд, разделенный строками для каждой выборки

Время гибели в мин (после подсадки сердца крысы морской свинке)
6 10 20 25 30 38 39 44 (n1=8)

Время гибели (после подсадки сердца крысы морской свинке , с введнием эмульсии ПФТБА) 30 40 41 41 45 46 68 100 (n2 = 8)

6 10 20 25 30 38 39 44
30 40 41 41 45 46 68 100
U = сумма инверсий (для 2-го ряда, сколько случаев имеют большее время в 1-м ряду для каждого числа из 2-го ряда)
4 1 1 1
Итого U = 7, при n1 =8 , n2 =8


Слайд 24 КРИТЕРИЙ U МАННА – УИТНИ для независимых

КРИТЕРИЙ U МАННА – УИТНИ для независимых выборок, продолжениеНЕПАРАМЕТРИЧЕСКИЕ КРИТЕРИИ U

выборок, продолжение
НЕПАРАМЕТРИЧЕСКИЕ КРИТЕРИИ
U = 7, при n1 =8

, n2 =8, p< 0.01; Uэкс = 7 < Uтабл = 9

Таблица для критерия U (Манна-Уитни) максимальное число инверсий когда изменения значимы


Слайд 25 ПРИМЕР ФОРМЫ ПРЕДСТАВЛЕНИЯ ДАННЫХ В ТАБЛИЦЕ
НЕПАРАМЕТРИЧЕСКИЕ КРИТЕРИИ

ПРИМЕР ФОРМЫ ПРЕДСТАВЛЕНИЯ ДАННЫХ В ТАБЛИЦЕНЕПАРАМЕТРИЧЕСКИЕ КРИТЕРИИ

Слайд 26 Коэффициент корреляции рангов (СПИРМЕНА)

Коэффициент корреляции рангов (СПИРМЕНА)

Слайд 27 Таблица минимальных значений коэффициентов ранговой корреляции

Таблица минимальных значений коэффициентов ранговой корреляции

Слайд 28 Любая литература по непараметрическим критериям статистики
Идеальная
Е.В

Любая литература по непараметрическим критериям статистики Идеальная Е.В Гублер, А.А. Генкин.

Гублер, А.А. Генкин. Применение непараметрических критериев статистики в медико-биологических

исследованиях, Л. Медицина, 1973, 141 с.
Е.В.Гублер Вычислительные методы анализа и распознавания патологических процессов. Л.Медицина, 1978, 294 с.

Слайд 29 ОСНОВНЫЕ ПРАВИЛА представления данных
Текст (относительно изображения – контекст)

ОСНОВНЫЕ ПРАВИЛА представления данных Текст (относительно изображения – контекст) должен быть

должен быть ясен и понятен без изображения.
Отображение количественных и

качественных статистических значений, начиная с первичного материала: таблицы, диаграммы, графики, должны быть понятны без контекста.
Они ни в коем случае не повторяют друг друга, а ДОПОЛНЯЮТ
Классические правила см: Ланг и Сесик, Как описывать статистику в медицине. Руководство для авторов, редакторов и рецензентов. Пер. с анг. М. 2011 . главы. 20- 21.

Слайд 30 ИЗОБРАЖЕНИЯ
ТО, ЧТО должно быть в ИЗОБРАЖЕНИЯХ: ЗНАЧЕНИЯ, МЕТКИ,

ИЗОБРАЖЕНИЯТО, ЧТО должно быть в ИЗОБРАЖЕНИЯХ: ЗНАЧЕНИЯ, МЕТКИ, КОНТЕКСТТАБЛИЦЫ первичные –

КОНТЕКСТ
ТАБЛИЦЫ
первичные – выборка по материалу,
описательная статистика (средние М

или Х, SD или, SE, n)
сопоставление- сравнение выборок SD или, SE, n, t or p, доверительный интервал, или для непараметрических: средние или медианы или мода и обязательно указывать интервалы, а также знак соответствующего критерия).

Слайд 31 РЕКОМЕНДУЮ ИЗУЧИТЬ Ранговую корреляцию СПИРМАНА КРИТЕРИЙ ИСКЛЮЧЕНИЯ ШОВЕНЕ ПРЕДСТАВЛЕНИЕ ГРАФИКОВ, КОГДА

РЕКОМЕНДУЮ ИЗУЧИТЬ Ранговую корреляцию СПИРМАНА КРИТЕРИЙ ИСКЛЮЧЕНИЯ ШОВЕНЕ ПРЕДСТАВЛЕНИЕ ГРАФИКОВ, КОГДА

ВМЕСТО СТАНДАРТНОЙ ОШИБКИ СРЕДНЕГО СЛЕДУЕТ ПОКАЗЫВАТЬ ВЕЛИЧИНУ ДОВЕРИТЕЛЬНОГО ИНТЕРВАЛА. ПОЛЬЗОВАТЬСЯ

«АВТОМАТИЧЕСКИМ» СЧЕТОМ В ИНТЕРЕНТЕ И ПРОГРАММАИ СТАТИСТИКИ

  • Имя файла: vvedenie-v-biometriyu-osnovy-statisticheskoy-obrabotki-dannyh.pptx
  • Количество просмотров: 116
  • Количество скачиваний: 0