Реферат на тему:

Досвід впровадження автоматизованої системи діагностики навчальних
досягнень з методів математичної статистики

Завдяки розвитку інформаційно-комп’ютерних технологій, поширюється
сфера застосування математико-статистичних методів у педагогічній
діяльності, що потребує впровадження відповідних компонентів у
навчальний процес педагогічного університету і розробки для студентів
різних педагогічних спеціальностей методики викладання математичної
статистики, яка базується на класичних науково-методичних працях ([1],
[2] та ін.) і активному використанні сучасних інформаційно-комп’ютерних
засобів обробки даних, таких як Open Office, Microsoft Excel [3],
Statistica [4], SPSS, Gran, DERIVE [5].

Особливість подання матеріалу визначається тим, що не всі студенти
педагогічного університету є фахівцями з математики. Завдяки потужним
засобам інформаційно-комп’ютерної техніки виконання складних
математико-статистичних досліджень стає доступним широкому колу
педагогічних працівників. Немає необхідності заучувати складні формули,
але потрібно сформувати в студентів розуміння сутності кожного методу
статистичного аналізу, умов його застосування, можливих обмежень,
технологій попередньої підготовки даних для аналізу. Саме такий підхід
реалізовано під час розробки методичного забезпечення [3] у Харківському
національному педагогічному університеті. Інтуїція майбутнього
педагога-дослідника щодо оптимального вибору методів статистичного
аналізу формується, перш за все, під час практичної роботи з даними й
обговорення власних ідей з фахівцем-викладачем. Але такий високий рівень
навчальної діяльності потребує певної підготовки студента, яка
здійснюється під час вивчення теоретичного матеріалу. Потрібен дієвий
зворотній зв’язок, що допоможе студенту без зубріння виокремити головне,
визначити недоліки у структурі власних навчальних досягнень і
підготуватися до практичної роботи, яка набуватиме дослідницького
характеру. Зручним способом здійснення такого контролю є систематичне
тестування. Технологічною основою такої діагностики можуть виступати
спеціалізовані програмні засоби, нами обрано автоматизовану систему
педагогічної діагностики «Експерт» [6]. На перший план висувається
завдання побудови якісних тестів, які б дозволили здійснити діагностику
на усіх рівнях навчальних досягнень. Завдання у тестовій формі
застосовуються у навчальних посібниках із методів статистичної обробки
даних для закріплення матеріалу і самоконтролю [7]. Відомі приклади
застосування комп’ютерів для тестового контролю знань під час викладання
теорії ймовірностей і математичної статистики для студентів технічних
спеціальностей [8]. Потрібні обширні банки завдань, які спрямовано на
застосування методів математичної статистики у педагогічних
дослідженнях. Потрібні завдання, виконання яких пов’язано з реалізацією
розумової діяльності евристичного і творчого рівнів. Потрібно будувати
тести як систему завдань на основі аналізу їх статистичних характеристик
щодо складності і роздільної здатності для певної цільової групи. У
галузі статистичного аналізу даних педагогічних досліджень таких тестів
немає, що й визначає актуальність даної роботи. Актуальною, також, є
розробка й апробація технології адміністрування системи автоматизованої
діагностики в умовах конкретного навчального процесу.

Метою даної роботи є апробація технології побудови системи педагогічної
діагностики під час розробки та впровадження методичного забезпечення до
викладання математичних методів обробки результатів
психолого-педагогічного експерименту.

Етапи розробки автоматизованої системи педагогічної діагностики

Автоматизована система педагогічної діагностики є складним дидактичним
засобом, що створюється поетапно і потребує систематичного аналізу
якості компонентів, їх поновлення.

Етапи розробки системи діагностики обґрунтовані в роботі [6]. Першим
етапом організації педагогічної діагностики є побудова ідеалізованої
педагогічної моделі, тобто виокремлення основних елементів знань та
вмінь, а також установлення рівня оволодіння ними. Другий етап полягає у
створенні системи завдань, що покриває всі елементи знань та вмінь на
всіх рівнях навчальних досягнень. Після завершення підготовки системи
завдань в тестовій формі починається третій етап підготовки системи
діагностики – апробація тестових завдань, за результатами якої
визначається якість завдань, виконується їх корекція або вилучення.
Четвертий етап побудови системи педагогічної діагностики передбачає
побудову тесту на базі тестових завдань з урахуванням їх статистичних
характеристик. Етап практичного застосування системи є поєднанням
процедури тестування і статистичної обробки отриманих результатів, яка
включає інтерпретацію результатів, формування висновків щодо
кваліфікації студента. У процесі експлуатації експертної системи
кваліфікаційної діагностики може виникнути потреба в удосконаленні бази
тестових завдань, методики інтерпретації результатів або алгоритму
формування висновків. Цілком істотно, це вимагатиме повернення до
попередніх етапів роботи із системою.

Обґрунтування змісту діагностики

У процесі формування змісту навчання студентів педагогічного
університету в галузі математичної обробки статистичних даних враховано
такі види їх майбутньої професійної діяльності, як проведення
психолого-педагогічних досліджень та експериментів, здійснення
психолого-педагогічних вимірювань і діагностики. Це зумовлює включення
до складу системи діагностики таких розділів як описова статистика,
індуктивна статистика, кореляційний аналіз. Призначенням розділу
«Описова статистика» є формування компетентностей щодо вибору шкали
вимірювання, автоматизації обробки даних у застосуванні різних форматів
на етапі їх збору, подання результатів у різних формах, обчислення
статистичних параметрів розподілу та оцінки параметрів генеральної
сукупності з використанням інформаційних технологій.

Індуктивна статистика в гуманітарних науках частіше спирається на
непараметричні методи перевірки статистичних гіпотез, оскільки обсяги
вибірок є невеликими. Одним із найпопулярніших класичних методів
перевірки статистичних гіпотез є застосування критерію узгодження
Пірсона (c2). Метод оснований на порівнянні частот, тому його можна
застосовувати для будь-якої шкали вимірювання, у тому числі й
номінативної. Метричні та рангові дані потрібно згрупувати за невеликою
кількістю інтервалів, студент має володіти технологією підготовки даних
для застосування критерію Пірсона. Студент має знати умови застосування
різних непараметричних критеріїв перевірки статистичних гіпотез:
Пірсона, Колмогорова-Смірнова, Манна-Уітні, Вілкоксона, розуміти вплив
особливостей вихідних даних на ймовірність похибки аналізу. Слід
зазначити, що в практиці моніторингу зустрічаються досить великі вибірки
з нормальним розподілом частот, тому у процесі викладання статистичних
методів аналізу недоцільно повністю відмовитися від застосування
потужних параметричних методів перевірки статистичних гіпотез. Студент
має розуміти переваги та обмеження параметричних методів, знати, для
яких гіпотез вони застосовуються, враховувати фактори, що впливають
точність аналізу.

Розглянутий вище комплект методів перевірки статистичних гіпотез не є
повним, але він достатній для розв’язання практичних задач, які
виникають під час обробки експериментальних даних педагогічного,
психологічного або соціологічного досліджень.

Кореляційний аналіз надає ефективну та наочну міру зв’язку між різними
параметрами, що вимірюються. Студент має вміти визначати умови
застосування аналізу, здійснювати інтерпретацію його результатів.

Програмні засоби системи діагностики

Система діагностики навчальних досягнень з курсу реалізована на базі
автоматизованої системи педагогічної діагностики «Експерт 3.04» [9], яка
розповсюджується безкоштовно. «Експерт 3.04» автоматично створює різні
варіанти тесту для різних учнів, реалізує адаптивну технологію
тестування, забезпечує високу інформативність інтерпретації тестових
результатів, збереження результатів для проведення статистичного аналізу
їх якості та вдосконалення тесту. Передбачено оцінювання за національною
12-бальною системою [10], статистичною 100-бальною системою та
європейською ECTS. Крім загальної оцінки студент отримує докладну
інформацію про структуру його навчальних досягнень (рис. 1).

Структура банку завдань

Банк завдань побудовано за такими тематичними напрямками:

1. Форми подання вибірки. Студент має визначати варіаційний,
статистичний та інтервальний статистичний ряди, розуміти можливості
взаємного перетворення різних форм подання вибірки. У завданнях
достатнього і високого рівнів пропонується оптимально вибрати форму
подання вибірки в конкретній практичній ситуації.

?

?

?

?????????|?продуктивному рівні студент має знати визначення та
властивості шкал вимірювання, що застосовуються в педагогіці,
психології, соціології. Завдання високого і достатнього рівнів
передбачають вибір шкали, за якою слід проводити аналіз та інтерпретацію
експериментальних даних у конкретній ситуації.

3. Оцінка параметрів розподілу. На репродуктивному рівні студент має
знати визначення та призначення статистичних параметрів, орієнтуватися в
різноманітті формул, які застосовуються до різних форм подання вихідних
експериментальних даних для оцінки основних параметрів розподілу, таких
як математичне сподівання, дисперсія, стандартне відхилення. На
достатньому та високому рівнях навчальних досягнень пропонується оцінити
вплив експериментальних факторів на значення статистичних параметрів
вибірки і точність їх оцінки.

4. Методи перевірки статистичних гіпотез. Значна кількість різноманітних
критеріїв, які відрізняються за призначенням, способом порівняння з
критичним значенням, умовами застосування, створює певні труднощі для
студентів. Завдання у тестовій формі ідеально підходять для закріплення
і систематизації такого матеріалу під час самостійної роботи. На
достатньому рівні студентам пропонується оцінити вплив умов застосування
критерію на ймовірність похибки першого або другого роду.

5. Застосування критерію Пірсона. Студентам пропонуються завдання, які
відображають етапи застосування критерію у традиційному варіанті й з
використанням інформаційних технологій.

У тестуванні застосовується близько 200 різнорівневих завдань. Система
«Експерт» на основі аналізу відповідей студента формує стратегію
тестування за адаптивним алгоритмом [10] і випадковим чином вибирає
завдання з урахуванням їх рівня і тематичної спрямованості. Для
забезпечення надійності тестових результатів паралельні варіанти завдань
згруповані у блоки, що дозволяє здійснювати випадковий вибір варіанта
без порушення тематичної структури і трудності тесту.

Експеримент і обговорення результатів

Апробацію завдань проведено в 2002/2003 навчальному році із студентами
факультету психології та соціології під час вивчення ними курсу
«Математичні методи в психології». За результатами апробації визначено
стандартні статистичні характеристики завдань: індекс трудності, індекс
роздільної здатності, коефіцієнт кореляції завдання з оцінкою, яку
виставлено експертом-викладачем на підставі незалежного від тестування
опитування. Додатковим зручним критерієм аналізу якості завдань служить
діаграма залежності частки правильних відповідей на це завдання від
рівня навчальних досягнень студентів.

Отримані дані дозволили скоректувати деякі завдання і побудувати тест.
Тестування проводиться за адаптивним алгоритмом, тому довжина тесту
залежить від рівня навчальних досягнень учня і надійності його тестових
результатів, яку автоматично обчислює система. Наприклад, мінімальна
довжина тесту складає 16 завдань середнього та початкового рівнів (учень
отримує оцінку від 1 до 3 балів за 12-бальною системою). Студенту, що
впевнено надає правильні відповіді пропонується 23 завдання і
виставляється оцінка 12. Максимальна довжина тесту складає 46 завдань у
випадку, коли студент демонструє високий рівень навчальних досягнень,
але припускається деяких помилок за неуважністю.

Упровадження системи автоматизованої діагностики у навчальний процес не
завершує роботу щодо її поновлення і вдосконалення. Аналіз якості
завдань проводиться систематично за результатами тестувань, обчислення
статистичних характеристик завдань здійснюється на основі інтегральної
оцінки за тестом за методикою [6]. Нині кількість сеансів діагностики
складає близько 4000, що дозволяє обчислювати статистичні характеристики
завдань з високою надійністю.

Тестові результати дозволяють провести аналіз засвоєння студентами
окремих елементів навчального матеріалу.

Частку правильних відповідей для кожного елемента навчального матеріалу
обчислено як середнє від часток правильних відповідей на завдання, з
яких автоматизована система випадковим чином формує відповідну шкалу
тесту. Частку правильних відповідей для завдань обчислено з урахуванням
імовірності випадкового вгадування правильної відповіді за методикою
[11].

Частка правильних відповідей на завдання тесту залежно від загальної
оцінки студента за дванадцятибальною системою

Аналіз отриманих результатів показує, що на репродуктивному рівні
найбільш важкими для студентів виявилися завдання з питань шкал
вимірювання і застосування критерію Пірсона. Серед завдань продуктивного
рівня, які передбачають застосування знань, найважчими є завдання, які
стосуються оцінки параметрів розподілу і вибору шкали вимірювання. Саме
на ці питання слід звернути особливу увагу під час викладання
навчального матеріалу.

Розроблений нами навчальний блок використовується у практиці підготовки
майбутніх педагогів, психологів, соціологів як складова таких навчальних
дисциплін, як «Математичні методи в психології», «Інформаційні системи у
педагогічній діяльності», «Кваліметрія і діагностика навчального
процесу», окремих спецкурсів, які викладаються на різних етапах
навчального процесу студентам різних спеціальностей.

Тестування за допомогою автоматизованої системи дозволяє студенту
самостійно пройти діагностику під час підготовки до залікових заходів,
систематизувати теоретичний матеріал, виявити пропуски у знаннях.
Підсумкове тестування дозволяє ефективно й об’єктивно оцінити рівень
теоретичної підготовки студента. Крім того, аналіз результатів, які
поступово нагромаджуються в базі даних автоматизованої системи
педагогічної діагностики під час будь-якого тестування, дозволяє
викладачеві оперативно здійснювати діагностику навчального процесу,
визначити рівень та структуру навчальних досягнень групи у цілому,
здійснити на основі такого аналізу своєчасну педагогічну корекцію.

Висновки

1. Розроблено й апробовано на практиці систему автоматизованої
педагогічної діагностики з математико-статистичних методів на базі
програмного забезпечення «Експерт».

2. Відзначено доцільність систематичного аналізу якості завдань і їх
поновлення.

3. Показано напрямки застосування результатів діагностики для підвищення
ефективності навчального процесу.

4. На основі експериментальних даних показано, що на репродуктивному
рівні найважчими для студентів виявилися завдання з питань шкал
вимірювання і застосування критерію Пірсона. Серед завдань продуктивного
рівня найважчими є завдання, які стосуються оцінки параметрів розподілу
і вибору шкали вимірювання.

Перспективи подальшого розвитку дослідження

Подальший розвиток системи автоматизованої педагогічної діагностики
пов’язаний із розробкою нових тестових завдань, постійним аналізом
якості існуючих завдань і їх удосконаленням, удосконаленням та
автоматизацією процесу визначення рівня навчальних досягнень, на якому
тестове завдання здійснює діагностику.

Список джерел:

Сидоренко Е.В. Методы математической обработки в психологии. – СПб.: ООО
«Речь», 2002. – 350 с.

Гласс Дж., Стэнли Дж. Статистические методы в педагогике и психологии. –
М.: Прогресс, 1976. – 495 с.

Білоусова Л.І., Колгатін О.Г., Колгатіна Л.С. Статистична обробка даних
з використанням табличного процесора Excel. – Харків: Консум, 2002. – 36
с.

Боровиков В. STATISTICA: Искусство анализа данных на компьютере. Для
профессионалов. – СПб.: Питер, 2001. – 656 с.

Жалдак М.І., Кузьміна М.Н., Берлінська С.Ю. Теорія ймовірностей і
математична статистика з елементами інформаційної технології. – К.: Вища
шк., 1995. – 351 с.

Білоусова Л.І., Колгатін О.Г., Колгатіна Л.С. Тестологічний аналіз у
системі «Експерт» //Комп’ютер у школі та сім’ї. – 2003. – №7. – С. 41 –
43.

Годфруа Ж. Что такое психология: В 2-х т. Т.2. – М.: Мир, 1992. – 496 с.

Тыркова Н.П. Методика преподавания теории вероятностей и математической
статистики с использованием персональных компьютеров. //Повышение
эффективности учебно-воспитательного процесса: Новые идеи, формы,
методы: Материалы научно-методической конференции. Омск, 23-27 марта
1998 г. – Омск: Изд-во СибАДИ, 1998. – 156 с.

Белоусова Л.И., Колгатин А.Г., Колгатина Л.С. Принципы построения
автоматизированной системы педагогической диагностики // УСиМ. – 2007. –
№2. – С. 75 – 81.

Білоусова Л.І., Колгатін О.Г. Методика обробки та інтерпретації
результатів педагогічної діагностики //Комп’ютер у школі та сім’ї. –
2003. – № 8. – С. 28 – 31.

Колгатін О.Г. Статистичний аналіз тесту з різними за формою завданнями.
//Засоби навчальної та науково-дослідної роботи./ За заг. ред. В.І.
Євдокимова і О.М. Микитюка. – ХДПУ ім. Г.С.Сковороди. – Харків: ХДПУ,
2003. – Вип. 20. – С. 50 – 54.

Похожие записи