Мониторинг – это систематическая и регулярная процедура сбора данных по важным аспектам (С.Е. Шишов, В.А. Кальней “Мониторинг качества образования в школе”, М., 1998, стр 189).

Основная цель мониторинга – предоставление своевременной и полной информации, позволяющей принимать адекватные управленческие решения (в силу чего мониторинг является составной частью информационной логистики; “Логистика”, М., ИНФРА-М, 1997).

Суть мониторинга – постоянное отслеживание (диагностирование) происходящих в наблюдаемой системе процессов путем проведения различных измерений, дающих информацию об эволюции (т.е. последовательности состояний) наблюдаемой системы.

Ключевые вопросы, на которые нужно ответить при создании системы мониторинга:

- кому,

- о каком объекте (о какой системе),

- для чего (с какой целью, для принятия каких решений),

- какая

необходима информация.

Иными словами: кому, над каким объектом и для чего нужна система мониторинга.

На следующем этапе, в соответствии со структурой отслеживаемой системы (объекта мониторинга), определяются:

- элементы (уровни, подсистемы) системы мониторинга;

- объекты наблюдения (агенты информации);

- субъекты наблюдения (источники информации; в случае совпадения объекта и субъекта наблюдения речь идет о самонаблюдении);

- структура наблюдаемой информации;

- инструменты производства информации (диагностические инструменты, измерители);

- каналы передачи информации;

- механизмы (средства и технология их применения) передачи информации;

- механизмы анализа информации (в том числе и субъекты анализа информации).

При анализе структуры отслеживаемой системы выделяются единичные (элементарные) объекты (элементы) данной системы и наиболее существенные связи между ними, а также между отслеживаемой системой и окружающей средой (внешними системами).

Свойства элементарного объекта определяются его внутренней структурой, происходящими в нем процессами, условиями, определяющими ход процесса (эволюции) и его главным предназначением (основными результатами, к которым приводят происходящие процессы).

В случае отсутствия существенных связей системы с окружающей средой, система является замкнутой. В противном случае система не является замкнутой, в силу чего мониторингу должны подвергаться и внешние связи отслеживаемой системы, которые оказывают существенное влияние на эволюцию данной системы.

Исходным (единичным, элементарным) актом (действием) процесса мониторинга является измерение.

Измерение – сравнение с эталоном (реальным или идеальным).

Измерения могут быть количественными и качественными (экспертными).

Для осуществления количественного измерения необходимо (в скобках проводится пример для каждого рассматриваемого пункта):

- выбрать объект измерения (человек);

- определить систему свойств (характеристик) данного объекта (здоровье, профессионализм, …);

- определить измеряемое свойство (здоровье);

- определить систему показателей, с помощью которых раскрывается (конкретизируется) данное свойство объекта (для здоровья – температура тела, влажность кожи, наличие болевых ощущений и пр.);

- определить для каждого измеряемого показателя измерительный инструмент, индикатор, параметр, область значений параметра и процедуру измерения (для температуры тела – термометр, ртутный столбик вдоль шкалы, градусы Цельсия, вещественные числа от 0 ^оС до 50 ^оС, удержание в течение 7 минут в контакте с телом).

Результатом измерения является фиксация состояния объекта измерения, т.е. совокупности значений, характеризующих измеряемую совокупность свойств объекта на момент измерения (температура тела – 36,6^оС; кожа – сухая; боли – отсутствуют).

По результатам измерения делается вывод (принимается решение) о качестве данного состояния и необходимости его изменения (здоров, нет необходимости в изменении), а в случае необходимости каких-либо изменений – фиксируется сам факт необходимости и область необходимых изменений.

Количественное или качественное выражение нормы (стандарта) является критерием принятия решения.

Количественные измерения осуществляются любым человеком, умеющим правильно применять соответствующие измерительные инструменты (выдерживать технологию измерения).

Качественные (экспертные) измерения осуществляются экспертом в данной области деятельности, т.е. человеком, имеющим опыт вынесения экспертных заключений, выводы которых подтверждались последующей эволюцией экспертируемой (измеряемой) системы.

Для осуществления качественного (экспертного) измерения необходимо (в скобках проводится пример для каждого рассматриваемого пункта):

- выбрать объект измерения (человек);

- определить систему свойств (характеристик) данного объекта (здоровье, профессионализм, …);

- определить измеряемое свойство (профессионализм);

- сформулировать для эксперта задачу (определить уровень педагогического мастерства учителя такого-то);

- получить экспертное заключение, содержащее выводы и их экспертное обоснование, в том числе вывод о качестве состояния экспертируемого объекта и необходимости его изменения.

Мониторинг профессионального развития работников образования (ПРРО) – это систематическая и регулярная процедура сбора данных по важным аспектам деятельности системы повышения квалификации (ПК) работников образования.

Мониторинг профессионального развития работников образования – это система сбора, обработки, хранения и распространения информации о системе повышения квалификации работников образования (СПКРО) и отдельных ее элементах.

Основная цель мониторинга ПРРО – предоставление своевременной и полной информации о СПКРО, позволяющей принимать адекватные управленческие решения.

Мониторинг ПРРО необходим:

- для принятия решений об уровне и эффективности проводимых курсов повышения квалификации педагогов и достаточности имеющейся совокупности курсов,

- с целью установления необходимости (или отсутствия необходимости) отмены, замены или коррекции проводимых курсов, или введения новых курсов.

Объектом мониторинга (отслеживаемой системой) является система повышения квалификации работников образования (в том числе методическая система образовательного учреждения, района, города).

Свойства КПК определяются его внутренней структурой, происходящими в нем процессами, условиями, определяющими ход процесса (эволюции) и его главным предназначением.

Структурно КПК состоит из ведущего КПК (преподаватель, группа преподавателей) и слушателей КПК.

Процесс ПК представляет собой последовательность мероприятий, распределенных по трем относительно самостоятельным сферам деятельности:

- процесс организации КПК (принятие решения о необходимости курса, создание программы курса, распространение информации о курсе, принятие решения потенциальными слушателями курса о необходимости данного курса для них, решение организационных вопросов, связанных с запуском курса);

- собственно процесс ПК (последовательность занятий разного вида – диагностических, тренинговых, информационных, практических, контрольных и пр.);

- “последействие” (деятельность слушателей КПК после курсов, в ходе которой и осуществляется реальное развитие педагогического профессионализма).

Условия ПК включают в себя условия организационные (наличие ведущих, наличие слушателей, наличие помещений и необходимого оборудования и пр.) и содержательные (наличие учебной программы, наличие учебного плана, методическое и дидактическое обеспечение).

Главное предназначение КПК (и основной результат курса) – развитие профессионального педагогического мастерства работников системы образования.

С точки зрения главного предназначения КПК не является замкнутой системой, так как результаты ПК проявляются не только в изменении свойств слушателей КПК в ходе самих КПК, но и в последующей профессиональной деятельности педагогов, прошедших КПК.

Все вышеперечисленные элементы структуры, процесса, условий, результатов КПК (ведущие, слушатели, программы, занятия, помещения и т.д.) могут являться объектами наблюдения (агентами информации).

Субъектами наблюдения (источниками информации) могут являться как сами ведущие и слушатели КПК, так и иные лица, обладающие какими-либо измерительными механизмами.

Уровни мониторинга СПКРО определяются организационно-управленческим уровнем субъекта наблюдения или субъекта анализа информации):

1. Институциональный уровень:

- ЦРО (субъект наблюдения или анализа информации – методист ЦРО);

- районный методический кабинет (субъект наблюдения или анализа информации – методист РМК);

- образовательное учреждение (субъект наблюдения или анализа информации – завуч УО или член методического объединения или аналогичного органа).

2. Субъектный уровень:

- ведущий КПК;

- слушатель КПК.

Каналы передачи информации связывают друг с другом уровни мониторинга.

Дальнейшая конкретизация системы мониторинга СПКРО (кем, когда, как, как часто, что должно измеряться, как должны оформляться результаты измерения, кому и в какой форме передаваться, кем анализироваться) связана с выбором той или иной конкретной модели информационного взаимодействия субъектов системы повышения квалификации (от выбора структуры диагностируемой информации; инструментов производства информации, механизмы передачи и анализа информации).

Ниже рассмотрен минимальный вариант структуры и технологии организации мониторинга системы повышения квалификации работников образования.

Единичным (элементарным) объектом мониторинга является курс повышения квалификации.

В ходе подготовки, прохождения, анализа результативности КПК фиксируется и анализируется следующая информация: потенциальная степень актуальности курса; готовность слушателей к активному усвоению материала КПК; эффективность КПК с точки зрения его потенциального влияния на последующую педагогическую деятельность слушателей; реальное влияние КПК на последующую педагогическую деятельность слушателей (в соответствии с таблицей 1).

Потенциальная степень актуальности курса определяется методистом ЦРО в форме экспертной оценки актуальности программы по отдельным спецификациям на основании анализа образовательной программы КПК по следующей схеме (см. таблицу 2; курсивом приведены примеры заполнения).

Данный вывод фиксируется в соответствующей ячейки последнего столбца таблицы 1.

Готовность слушателей к активному усвоению материала КПК определяется методистом ЦРО по степени осознанности выбора слушателями именно данного КПК на основе анализа данной анкеты.

1. Стаж работы; ________

2. Категория (разряд); _______

3. Ведущая причина направления на обучение (отметьте только одну из указанных ниже причин – оказавшую главное влияние на Ваш выбор): желание

а) подготовиться к аттестации на следующую категорию; __

б) познакомиться с новой информацией по теме курсов; __

в) овладеть новыми умениями по теме курсов; __

г) получить рекомендации по решению конкретных своих профессиональных затруднений; __

д) обсудить свои профессиональные затруднения с коллегами; __

е) пообщаться именно с данным лектором; __

ж) вырваться на время из текучки; __

з) затрудняюсь ответить; __

и) (иное – напишите, что); ____________________________________________

4. Есть ли у Вас конкретный (наболевший) профессиональный вопрос, на который Вы бы хотели найти ответ в ходе курсов?

б) нет; __

5. Насколько были полезны для Вас предыдущие проходимые Вами КПК?

а) в основном полезными; __

б) в основном бесполезными; __

в) затрудняюсь ответить; __

г) это первые мои КПК; __

6. Какую форму организации КПК Вы считаете для себя оптимальной?

а) в основном информационные сообщения; __

б) преобладание тренингов; __

в) разработка своих проектов; __

г) профессиональное общение (круглые столы, обсуждение уроков и пр.); __

д) затрудняюсь ответить; __

Индивидуальные анкеты формы 1 обрабатываются, и результаты обработки фиксируются в виде таблицы 3.

(“Мягкая” итоговая цифра получается путем подсчета слушателей, выбравших хотя бы один из ответов 3в), 3г), 4а), 6б) или 6в)).

Итоговая цифра приближенно характеризует количество слушателей, осознанно выбравших данный курс, в силу чего для них он потенциально актуален, и можно ожидать от данных слушателей впоследствии активного отношения к содержанию данного КПК.

Если этот показатель составляет примерно 40 – 60 % слушателей (граничные значения должны уточняться экспериментально в ходе организации мониторинга), то курс можно считать достаточно актуальным, но требующим определенной реорганизации. В противном случае курс либо не актуален для данной категории слушателей (< 40 %), либо актуален и не требует реорганизации (> 60 %).

Итоговая оценка актуальности заносится в соответствующую ячейку последнего столбца таблицы 1.

Вопросы анкеты под номерами 1,2 и 5 не оцениваются с точки зрения потенциальной актуальности предлагаемого КПК. Вопросы 1 и 2 позволяют впоследствии приближенно определить наиболее активную категорию слушателей (осознанно выбирающих КПК). Вопрос 5 неявно нацеливает слушателей на размышления о потенциальной полезности данного КПК.

Эффективность КПК с точки зрения его потенциального влияния на последующую педагогическую деятельность слушателей определяется методистом ЦРО по рефлексивным отзывам слушателей на основе анализа данной анкеты.

а) не имел знаний вообще; __

б) имел общие представления; __

в) имел неполные знания, умения; __

г) обладал достаточно полными знаниями, умениями; __

д) затрудняюсь ответить; __

а) в основном информационные сообщения; __

б) преобладание тренингов; __

в) разработка своих проектов; __

г) профессиональное общение (круглые столы, обсуждение уроков и пр.); __

д) затрудняюсь ответить; __

е) (иное); ________________________________________________________

а) удовлетворен полностью; __

б) в основном удовлетворен; __

в) частично удовлетворен; __

г) не удовлетворен; __

д) затрудняюсь ответить; __

а) высокий; __

б) средний; __

в) низкий; __

г) затрудняюсь ответить; __

а) значительная; __

б) средняя; __

в) незначительная; __

г) отсутствует вообще; __

д) затрудняюсь ответить; __

а) значительная; __

б) средняя; __

в) незначительная; __

г) отсутствует вообще; __

д) затрудняюсь ответить; __

а) да (приведите этот вопрос __________________________);

б) нет; __

а) в целом достаточны; __

б) отельные знания и умения достаточны; __

в) не достаточны; __

г) затрудняюсь ответить; __

а) намерен в значительной части полученного материала; __

б) частично намерен; __

в) практически не намерен; __

г) в настоящее время еще не определился; __

а) в основном полезен; __

б) в основном бесполезен; __

Индивидуальные анкеты формы 2 обрабатываются, и результаты обработки фиксируются в виде таблицы 4.

(“Мягкая” итоговая цифра получается путем подсчета слушателей, выбравших хотя бы один из ответов правого столбца).

Итоговая цифра приближенно характеризует количество слушателей, удовлетворенных данным КПК. Если этот показатель составляет примерно 40 – 60 % слушателей, то курс можно считать достаточно актуальным, но требующим определенной реорганизации. В противном случае курс либо не актуален для данной категории слушателей (< 40 %), либо актуален и не требует реорганизации (> 60 %).

Курс также можно признать актуальным, если по данным таблицы 3 количество слушателей, осознанно выбравших курс, составляет порядка 15 %, а по результатам таблицы 4, количество слушателей, для которых он стал потенциально актуален возросло до 35 – 40 %. В этом случае основное воздействие курса следует считать не столько образовательным, сколько мотивирующим.

Итоговая оценка актуальности заносится в соответствующую ячейку последнего столбца таблицы 1.

Вопрос данной анкеты под номером 2 не оценивается с точки зрения потенциального влияния КПК на последующую педагогическую деятельность слушателей. Данный вопрос позволяет оценить методисту ЦРО запросы слушателей относительно оптимальных форм проведения занятий и использовать эту информацию при уточнении своей экспертной оценки образовательной программы курса. Кроме того это вопрос способствует более осознанному ответу на вопрос № 3.

Эффективность КПК с точки зрения его реального влияния на последующую педагогическую деятельность слушателей первоначально оценивается через 4 – 6 месяцев после окончания КПК путем направления в соответствующие РМК запроса на анкетирование педагогов, прошедших курс.

Анкета по форме 3 – распространяется (среди педагогов, прошедших анализируемый КПК), и обрабатывается методистами РМК, после чего результаты данной обработки направляются в ЦРО и суммируются там в виде итоговой таблицы 5.

Ответьте, пожалуйста, на следующие вопросы (все вопросы относятся к периоду от начала КПК по настоящий день):

1. сколько открытых уроков по тематике пройденных КПК Вы провели? _____

2. сколько выступлений по тематике пройденных КПК Вы сделали на МО школы или района, на конференциях различного уровня? ____

3. сколько публикаций по тематике пройденных КПК Вы сделали? ____

4. какие дидактические разработки по теме курсов вы сделали? ______

5. Какие изменения в организацию УВП, связанные с тематикой КПК, Вы внесли?

а) в содержании предмета – сколько уроков с новым содержанием Вы провели? _____

б) в методике преподавания - сколько уроков с применением новых методов Вы провели? _____

6. Помогли ли Вам пройденные КПК преодолеть Ваши профессиональные затруднения?

а) да, практически все;

б) да, значительную их часть;

в) да, отдельные;

г) нет

д) затрудняюсь ответить.

7. Если Вы знали заранее содержание данного КПК и форму его организации, то пошли бы Вы на них?

а) да;

б) скорее всего, да;

в) скорее всего, нет;

г) нет;

д) затрудняюсь ответить

8. Как бы Вы усовершенствовали данный КПК?

а) дополнил бы содержание курса следующими вопросами ________________

б) дополнил бы содержание курса следующими упражнениями (тренингами)__________________________________

г) курс не требует каких-либо усовершенствований

д) затрудняюсь ответить.

Сводная таблица (таблица 5) по результатам анкетирования первоначально заполняется методистом РМК, а затем суммируется методистом ЦРО.

(“Мягкая” итоговая цифра получается путем подсчета слушателей, выбравших хотя бы один из правого столбца или имеющих хотя бы одну отличную от нуля позицию в вопросах №№ 1 - 5).

Итоговая цифра приближенно характеризует количество слушателей, на реальную педагогическую деятельность которых данный КПК оказал позитивное влияние.

Если этот показатель составляет примерно 40 – 60 % слушателей, то курс можно считать достаточно актуальным, но требующим определенной реорганизации. В противном случае курс либо не актуален для данной категории слушателей (< 40 %), либо актуален и не требует реорганизации (> 60 %).

Итоговая оценка актуальности заносится в соответствующую ячейку последнего столбца таблицы 1.

Вторично эффективность КПК с точки зрения его реального влияния на последующую педагогическую деятельность слушателей оценивается через 8 – 10 месяцев после окончания КПК путем вынесения экспертной оценки по выборке педагогов прошедших курс.

Методисты РМК, на основе анализа анкет формы № отбирает преподавателей для проведения экспертной оценки влияния КПК на их педагогическую практику, и вносит соответствующие предложения в ЦРО. ЦРО совместно с методистами РМК определяют график проведения экспертных оценок и состав экспертной комиссии. Общее количество преподавателей, отобранных для проведения экспертной оценки должно составлять порядка 20-25 % от всего состава слушателей КПК. Следует отметить, что экспертируется не деятельность преподавателя, а влияние на его деятельность КПК.

В состав экспертной комиссии целесообразно включить методиста ЦРО, методиста РМК, представителя школы (завуча по УМР, руководителя МО), и, возможно, ведущего (преподавателя) КПК, а также иных работников сферы образования по усмотрению ЦРО.

Последовательность проведения экспертизы:

1. сообщение преподавателю о дне и цели проведения экспертизы;

2. посещение занятия преподавателя;

3. анализ занятия с точки зрения того, какие знания, умения, приобретенные на КПК использовались преподавателем на данном уроке и в целом после прохождения КПК (форма анализа определяется исходя из особенностей образовательного учреждения: заседание МО, заседание кафедры, открытый анализ урока и пр.).

Экспертное заключение должно отражать мнение экспертной комиссии о степени влияния пройденных КПК на педагогическую практику данного педагога (с точки зрения влияния КПК на педагогическую практику данного педагога курс актуален; достаточно актуален; не актуален), и обоснование данного вывода (на основе согласования мнений самого учителя, работников школы, РМК, научных работников).

По итогам проведенных экспертиз делается итоговый вывод о степени актуальности курса: если значения “актуален для данного педагога” и “достаточно актуален для данного педагога” составляет в сумме примерно 40 – 60 % от количества всех экспертных оценок, то курс можно считать достаточно актуальным для всей категории слушателей, но требующим определенной реорганизации. В противном случае курс либо не актуален для данной категории слушателей (< 40 %), либо актуален и не требует реорганизации (> 60 %).

Данная итоговая оценка актуальности заносится в соответствующую ячейку последнего столбца таблицы 1.

В результате проведенного мониторинга окончательно заполняется таблица 1, в которой последний столбец будет содержать актуальности пять значений параметра “актуальность”.

На основе данной информации методист ЦРО дает окончательное экспертное заключение о степени эффективности анализируемого КПК:

А) Актуален – не требует специальных доработок;

Б) Достаточно актуален – требует внесения корректив;

В) Не актуален – не требуется для СПКРО.

Предлагается также следующая вспомогательная количественная обобщенная оценка эффективности КПК:

1. каждому значению “актуален” присваивается количественный показатель = 5;

2. каждому значению “достаточно актуален” присваивается количественный показатель = 3;

3. каждому значению “не актуален” присваивается количественный показатель = = 0.

Все количественные показатели суммируются, давая интегральный количественный показатель S, значения которого лежат в интервале от 0 до 25.

Заключение об эффективности КПК дается на основании следующих оценок:

А) 15 < S курс актуален – не требует специальных доработок;

Б) 10 < S < 15 курс достаточно актуален – требует внесения корректив;

В) S < 10 курс не актуален – не требуется для СПКРО.

Иначе говоря, если S составляет примерно 40 – 60 % от максимального значения, то курс можно считать достаточно актуальным, но требующим определенной реорганизации. В противном случае курс либо не актуален для данной категории слушателей (< 40 %), либо актуален и не требует реорганизации (> 60 %).