iefimov: (Default)
[personal profile] iefimov
ParkHyattToronto
Вернулся в свой номер в отеле Park Hyatt Toronto с заседания совета (Council of Canadian Academies) посвящённого CEW (http://www.scienceadvice.ca/en/assessments/in-progress/cew.aspx). Эти экспертные советы занимаются многими вопросами, имеющими важное значение для канадского общества, государства и его экономики. Уровень работы членов комитета очень высок, работа постояного штата, поставляющего информацию экспертам и отвечающего за логистику, тоже вызывает уважение. Все отчёты, выполненные на благо общества, - находятся в открытом доступе.

Вот доклады в работе, которые мне очень понравились, и которые было бы очень полезно изучить в России (http://www.scienceadvice.ca/en/assessments/in-progress.aspx):

1. Energy Prices – Impacts and Adaptation: Assessing Canada’s Preparedness
2. Socio-economic Impacts of Innovation Investments
3. The State of Industrial Research and Development in Canada
4. The State of Canada’s Science Culture

А вот недавние доклады, которые уже вышли в открытый доступ (http://www.scienceadvice.ca/en/assessments/completed.aspx):

1. The State of Science and Technology in Canada. 2012.
2. Honesty, Accountability and Trust: Fostering Research Integrity in Canada
3. Innovation and Business Strategy: Why Canada Falls Short

Россия никогда не выберется из той интеллектуальной дыры, в которую она попала в XX веке, пока не начнёт смотреть на саму себя со всей интеллектульной честностью, на которую она способна - как это делает Канада. Особенно рекомендую прочитать только что вышедший отчет The State of Science and Technology in Canada (http://www.scienceadvice.ca/en/assessments/completed/science-tech.aspx), в котором есть много интересных данных и о российской науке и технологии, иллюстирующих как низко она упала в современном мире на уровне не только давних лидеров, но и развивающихся стран, набирающих обороты.

Есть ли в России интеллектуальное экспертное сообщество, способное на осмысление собсвенного состояния? У кого в России есть ресурсы и репутация на такого рода интеллектуальный ответ вызовам времени?

Date: 2012-11-09 01:45 am (UTC)
From: [identity profile] ktoshik.livejournal.com
Новая команда министерства делает "карту российской науки". Вроде как в её создании участвуют достаточно грамотные люди. Когда она выйдет увидим, оправдает ли она ожидания. И, что более важно, как на неё отреагирует сообщество. Подозреваю, что существенная часть сообщества будет в ярости, и будет пытаться игнорировать её, чтобы защитить своё положение.

Date: 2012-11-09 03:11 am (UTC)
From: [identity profile] alex-lukjanov.livejournal.com
Судя по тому, как "новая команда" сходу облажалась с "оценкой эффективности вузов"... люди там интересные, да.

Date: 2012-11-09 03:20 am (UTC)
From: [identity profile] iefimov.livejournal.com
И это я пропустил. Что за "эффективность ВУЗов"?

Date: 2012-11-09 03:37 am (UTC)
From: [identity profile] alex-lukjanov.livejournal.com
На самом деле - ничего особо не пропустили.

Очередная компания "чиновников от науки" попыталась найти "простые, понятные каждому школьнику объяснения" критерии оценки высшего образования. По сложившейся традиции, у них это получилось еще худе, чем у предшественников.

Собственно, "критерии":
Показатели для отнесения вузов к группе имеющих признаки неэффективности
I. Образовательная деятельность: средний балл ЕГЭ студентов, принятых по результатам ЕГЭ
на обучение по очной форме по программам подготовки бакалавров и специалистов за счет средств
соответствующих бюджетов бюджетной системы Российской Федерации или с оплатой стоимости затрат на
обучение физическими и юридическими лицами (средневзвешенное значение)
II. Научно-исследовательская деятельность: объем НИОКР в расчете на одного НПР
III. Международная деятельность: удельный вес численности иностранных студентов, завершивших освоение
ООП ВПО, в общем выпуске студентов (приведенный контингент)
IV. Финансово-экономическая деятельность: доходы вуза из всех источников в расчете на одного НПР
V. Инфраструктура: общая площадь учебно-лабораторных зданий в расчете на одного студента (приведенного
контингента), имеющихся у вуза на праве собственности и закрепленных за вузом на праве оперативного управления

--- пруф: http://минобрнауки.рф/%D0%BF%D1%80%D0%B5%D1%81%D1%81-%D1%86%D0%B5%D0%BD%D1%82%D1%80/2774/%D1%84%D0%B0%D0%B9%D0%BB/1265/12.10.31-%D0%9C%D0%BE%D0%BD%D0%B8%D1%82%D0%BE%D1%80%D0%B8%D0%BD%D0%B3_%D0%A0%D0%B5%D0%B7%D1%83%D0%BB%D1%8C%D1%82%D0%B0%D1%82%D1%8B.pdf

Date: 2012-11-09 04:41 am (UTC)
From: [identity profile] ktoshik.livejournal.com
http://ria.ru/education/20121101/908678492.html

Date: 2012-11-09 04:39 am (UTC)
From: [identity profile] ktoshik.livejournal.com
И чего они там облажались? Куча университетов (а не только МОН) предложили показатели, их собрали и опубликовали. Какие ВУЗы - такие показатели. Ещё будет хорошо, если все показатели будут опубликованы, их можно будет посмотреть, оценить правильность.

Date: 2012-11-09 04:53 am (UTC)
From: [identity profile] alex-lukjanov.livejournal.com
Показатели точно видели?

Если что - они на сообщение выше.

Ну и наводящий вопрос на понимание: "Каким образом эффективность средней школы зависит от того, до скольки умеет считать выпускник детского сада"?
Edited Date: 2012-11-09 04:53 am (UTC)

Date: 2012-11-09 05:14 am (UTC)
From: [identity profile] ktoshik.livejournal.com
Я видел показатели на этапе обсуждения :) (Если что - в самом обсуждении я никакого участия не принимал, просто видел документы).

На наводящий вопрос я отвечу так. На мой взгляд, уровень "выпускника детского сада" весьма коррелирует с тем, занимались ли его развитием родители, что в свою очередь, весьма коррелирует с тем, как он будет дальше учиться. А от "качества" обучающихся зависит, какой материал с ними можно разбирать, какие методики применять, какой темп обучения и объём работы можно задавать. Поэтому уже в школу есть собеседования. В гимназию я уже проходил жесткий отбор. И да, уровень отобранных сильно коррелировал с уровнем преподавателей и с уровнем выпускников :)

В университете ситуация похожая. Я работаю со студентами, начиная со второго курса. И в зависимости от уровня я могу с ними работать по разному. С сильными работать эффективнее )) При этом я конкурирую внутри факультета с другими преподавателями за сильных студентов. Пока мне удается, чтобы шли "выше среднего". И с моими собственными результатами это весьма сильно коррелирует - с сильными студентами можно делать сильные курсовые и дипломы, и даже проекты и исследования. Картина на уровне университета такая же. Сильные студенты (и да, показатели по ЕГЭ коррелируют с уровнем) определяют очень многое и в других показателях университета.

Уровень абитуриентов сильно влияет на уровень университета. Собственно, студенты - это 90% того, что есть университет. Поэтому если есть показатель, который позволяет нам измерять уровень абитуриентов (а какой-то есть - ЕГЭ) то мы должны его измерять, и он очень важный.

Date: 2012-11-09 09:06 am (UTC)
From: [identity profile] alex-lukjanov.livejournal.com
К сожалению, обсуждение прозевал, заработался %)

По поводу корреляции.. усугублю ситуацию, доводя до абсурда. Есть спецшкола, которая работает с детьми, отстающими в развитии. По очевидным причинам уровень поступающих туда учеников будет на уровне и ниже плинтуса. Характеризует ли это фактор неэффективность данного учебного заведения?

По поводу студентов. Я с ними начинаю общаться на 3-4 курсе. Забираю в лабораторию, даю реальные задачки, после адаптации и дообучения - беру на заводы и т.д. Эффективность подхода "проверена временем" - работу ребята потом находят легко, хорошую и те только в России. Но речь не о том - неоднократно получалось, что я брал троечника и второгодника (с никаким вступительным баллом) а через год-полтора получал отличного спеца и отличника в учебе. (крайний случай сейчас в Виргинском университете заканчивает магистратуру, самостоятельно получив грант на образование).

То есть, на мой взгляд, начальный уровень абитуриентов говорит о качестве вуза очень мало, характеризуя, скорее, ту среду, в которой вуз находится.

А ЕГЭ, по моему - это мало того, что зло, так еще и тащат его куда можно и куда нельзя. Нашли инструмент, блин.

Date: 2012-11-09 11:50 am (UTC)
From: [identity profile] iefimov.livejournal.com
Другие критерии требуют времени, истории развития университета, которых у российских университетов пока нет.

Date: 2012-11-09 12:20 pm (UTC)
From: [identity profile] alex-lukjanov.livejournal.com
Большинство российских университетов имеют хоть и не 1000-летнюю историю, но 50-70-80-летие справили. Это два-три поколения. Вполне достаточная, на мой взгляд, история.

Date: 2012-11-10 01:32 pm (UTC)
From: [identity profile] iefimov.livejournal.com
Нет, увы, не достаточная. Европейские университеты лидеры справили многие столетия. Даже в США лидеры справили по два-три столетия. Но самое важное то, что они все это время были в относительной независимости, сами определяли свои правила жизни, а не кланялись в ноги каждому новому чиновнику из министерства, которые меняют курс каждые 5-10 лет на прямо противоположный... Институциональная культура университета растет очень медленно, требует для роста независимость и постоянность общества в своих обязательствах перед университетом из поколения в поколение...

Date: 2012-11-11 06:15 am (UTC)
From: [identity profile] alex-lukjanov.livejournal.com
В целом по "институцинальной культуре" возразить нечего - все так и есть. И российские вузы как раз и поставлены в условия, когда приходится "кланяться каждому новому чиновнику из министерства". Бываю я время от времени на различных "собраниях ректоров" в минобре - это "театр одного актера", где ректоров за что-то значащее никто не считает, их мнение никому не интересно, и во внимание не принимается.
Соответственно, далее это транслируется ректорами на профессуру ...

Когда имеешь возможность увидеть эту "иерархию" со стороны и с разных уровней - картина получается неприглядная.

Date: 2012-11-11 02:50 pm (UTC)
From: [identity profile] iefimov.livejournal.com
Именно поэтому в России трудно создать современный конкурентоспособный исследовательский университет. В США из двадцати ведущих университетов девятнадцать - частные университеты, президенты которых полностью свободны в своей политике управления. Они отчитываются только пред Board of Trustees, то есть перед попечительским советом. Никакой министр или замминистра им не указ. Кроме того профессора имеет широте свободы и демократические рычаги влияния на многие решения в области учебных планов и пр

Date: 2012-11-12 07:20 am (UTC)
From: [identity profile] ktoshik.livejournal.com
(Был в командировке :)
У меня, возможно, пока опыт не очень и большой (хотя мои дипломники тоже как успешно работают в России, так и учатся в аспирантуре и не только России). Так вот у меня очень сильная корреляция между оценками и успешностью студента в исследовательской работе. Когда троечникам давал шанс, они всегда потом сильно разочаровывали. А когда оценки близки к 5, результаты получались очень неплохие.

Date: 2012-11-12 09:18 am (UTC)
From: [identity profile] alex-lukjanov.livejournal.com
С возвращением!

Не спорю. Отличники - это тоже хорошо ) Ну и, естественно, очень не всякий троечник способен что-то сделать ... Я пишу о том, что у меня особой корреляции между оценками на момент встречи со мной на 3 курсе, и дальнейшими успехами не наблюдалось

Date: 2012-11-12 09:36 am (UTC)
From: [identity profile] ktoshik.livejournal.com
У вас особой корреляции не было, а в нашей лаборатории она очень заметна. У всех, получается, разный опыт.

Я тут ещё одну вещь подчеркну. С моей точки зрения, сбор подобной статистики - крайне полезная задача. Есть польза даже в том случае, если эта статистика не очень и публикуются. Руководство начинает задумываться, как ему быть. Если статистика делается открытой, то это ещё полезнее. Если мы что-то не измеряем и не публикуем, то сложно как привлекать внимание к проблеме, так и управлять ею.

Например, я горячо приветствую такой параметр как м2 на студента. Хотя ещё лучше добавить параметр "обеспеченность сотрудников индивидуальными рабочими местами". Я считаю ужасом и кошмаром, когда несколько преподавателей используют общий рабочий стол и делят ящики. О какой нормальной науке и работе в этом случае может идти речь?

Да и каждому аспиранту нужно своё рабочее место! Как вообще можно рассуждать о том, что аспирант должен делать нормальную науку на 100% работая в университете, если мы ему даже места не даем? (У нас в лаборатории мы даём, но у нас особая ситуация. Формально у нас 5 штатных единиц на 5 комнат, по факту ~40 рабочих мест оборудовано).

Date: 2012-11-13 04:13 am (UTC)
From: [identity profile] alex-lukjanov.livejournal.com
По поводу рабочих мест - совершенно согласен. И жуткая ситуация, когда на кафедру в +40 человек - одна преподавательская на 5 посадочных мест, и руководство официально заявляет, что "нечего профессорам отдельные кабинеты иметь" - это не страшный сон, а обыденность.

Но тот-же "квадрат на приведенного студента" - все таки "средняя температура по больнице", а никак не "показатель эффективности".

А по поводу "статистики" и "что-то измеряем" - есть замечательный крайний пост флаворчемиста, по поводу школьных НИР )))

Date: 2012-11-13 08:15 am (UTC)
From: [identity profile] ktoshik.livejournal.com
Про места я бы как раз начинал с того, чтобы всех сотрудников местами оснастить, и пусть профессора поначалу потеснятся. У нас вон завкафедрам всем отдельные кабинеты сделали, но они там в большинстве своём не сидят, ибо работают ещё где-то в своих институтах. В результате их кабинеты используют как переговорные. Что тоже неплохо, но там можно было вполне разместить 4х человек на постоянной основе.

"Средняя площадь на студента" - это тот показатель, который можно измерить быстро. И по нему можно сравнить вузы между собой и оценить, какие больше перегружены студентами, а какие меньше. Плюс, его сложнее фальсифицировать. А вот обеспеченность сотрудников местами как проверишь просто? да просто собрать такую статистику тяжелая работа. верифицировать её - ещё тяжелее. нужно массу информации собирать. лучше всего - поэтажные планы зданий + размещение столов + сотрудники + фотографии каждой комнаты.

Для начала и такая статистика, если она будет в едином месте, открыта и общедоступна - хороший показатель. Но на этом не нужно останавливаться, нужно вводить новые показатели, которые измерять уже тяжело.

Моя позиция вообще такая - нужно стараться во всём происходящем находить что-то хорошее, чем можно воспользоваться для улучшения общей ситуации. В нашей тяжелой ситуации рассматривать только негативную сторону - значит разрушить любую реформу (кроме простого роста финансирования - вот тут никто возражать точно не будет). Увы, любая нормальная реформа должна привести к тому, что существенная часть нынешнего менеджмента РАН и ведущих вузов должна потерять свои должности и, как минимум, часть доходов. Плюс, скорее всего, часть людей вообще должна потерять работу в этих организациях.

Date: 2012-11-14 04:24 am (UTC)
From: [identity profile] alex-lukjanov.livejournal.com
Ну, у нас понятие "кабинет профессора" тоже достаточно расплывчатое, там обычно и аспиранты толпятся, и расчеты/исследования ведутся, есс-но и всякие встречи, переговоры и мелкие семинары ... Но с другой стороны, личный кабинет - это статусная вещь. Подчеркивающая статус и положение профессора. Об этом тоже забывать не надо, чтобы не было дальнейших проблем с "уважением к высшей школе".

С точки зрения общих положений "диагностики системы" - корреляция между "легкостью измерения" и "информативностью" показателей как правило либо отсутствует, либо антикоррелирует. И в любом случае - информативность показателя неплохо было бы доказывать в рамках принятой модели диагностируемой системы, Чтобы четко понимать, что и как этот показатель характеризует. У меня сложилось впечатление, что в нашем случае об этом никто не задумывался, упомянутой модели не существует, и мы имеем типичный симулякр. Как говорится - "разубедите меня"

Ну и самое главное, в подобных показателях, в их эволюции - подмена "результата" - "процессом". Если предыдущие "аккредитационные показатели" хоть как-то отражали _результаты_ учебного процесса, то из теперешних с результатами сильно косвенно связан только один - денежный.

На вторую часть отвечу чуть позже - работа навалилась ;)

Date: 2012-11-14 07:08 am (UTC)
From: [identity profile] ktoshik.livejournal.com
Мы не знаем, как вот эти показатели будут эволюционировать. Конечно, с учетом прошлого опыта у всех скепсис. Но вот моя область (ИТ) учит, что нужно много экспериментировать и измерять :) Поэтому пусть измерят всё, что можно, и это всё выложат. Сообщество оценит, выскажется, тогда можно будет вводить новые критерии / менять старые и т.д.

Не удержусь от замечания про кабинеты профессора. Если профессор занимает 3-4 позиции (а да, у нас это часто, особенно для завкафедр), то сколько ему нужно кабинетов? Опыт показывает, что делают по одному кабинету в каждом месте работы. Это эффективная трата ресурсов? Если профессор появляется раз в неделю, то, имхо, нет.

Date: 2012-11-14 09:17 am (UTC)
From: [identity profile] alex-lukjanov.livejournal.com
Я имел в виду эволюцию не значений показателей, а эволюцию самих показателей. Набора показателей, по которым оценивают вузы.
Вот что было при Фурсенко: http: // www.nica.ru/system/download.php?ID=11285. Сравните с тем, то сейчас :)

"С точки зрения IT" получается как раз наоборот - измеряют все меньше и меньше, а выводы делают все более общие. В результате связь между "измерениями" и "выводами" все меньше и меньше.

В принципе, подход "измерить все, что можно" - тоже не так хорош, как кажется на первый взгляд. Измерять нужно то, что нужно для модели (простите за тавтологию ;), а все остальное - информационный шум, только усложняющий анализ.

Переходит к "общим" критериям, ИМХО, обоснованно только в следующем случае. Для сложных систем (или больших систем,хотя я бы образование отнес к сложным) иногда удается найти "параметры порядка" - небольшое количество переменных, определяющих тенденции ее эволюции. Достаточно часто это так называемые "агрегированные переменные" - комбинация из нескольких "обычных" переменных состояния системы. Так вот, только в том случае, если удалось показать или доказать, что используемый "общий" критерий является таким параметром порядка - можно им пользоваться. Но, боюсь, это "на наш случай".

Date: 2012-11-14 11:10 am (UTC)
From: [identity profile] ktoshik.livejournal.com
Насколько я понимаю, сейчас критериев, по которым проводят измерение, гораздо больше. Но отбор "неэффективных" пока был проведен только по 6. Я посмотрел "как при Фурсенко". Имхо, большинство этих критериев - "ни о чём". Соответствие ФГОС - это, конечно, критерий, но уж больно дурацкий.

Я бы сказал, что сейчас ключевой вопрос такой - будет ли опубликован список всех измеряемых параметров и таблица со значениями всех параметров для всех вузов? Поскольку это вузы с бюджетным финансированием, я считаю, что все эти параметры должны быть доступны гражданам. Если эта информация будет доступна, тогда есть что предметно обсуждать.

Date: 2012-11-14 12:19 pm (UTC)
From: [identity profile] alex-lukjanov.livejournal.com
Информацию по критериям собирает Йошкар-Ола (центр "НИКА", ЕМНИП). И вот они этой информацией нифига не делятся ((

Date: 2012-11-09 03:19 am (UTC)
From: [identity profile] iefimov.livejournal.com
А кто там в этой команде?

Date: 2012-11-09 04:43 am (UTC)
From: [identity profile] ktoshik.livejournal.com
За карту отвечает Игорь Федюкин http://минобрнауки.рф/%D0%BB%D0%B8%D1%86%D0%B0/62

Date: 2012-11-09 11:46 am (UTC)
From: [identity profile] iefimov.livejournal.com
Он вел пару секций форума Open Innovations. Вроде производит положительное впечатление, хотя непонятно какие квалификации у журналиста в области образования и науки. Посмотрим что из него получится.

Date: 2012-11-09 12:21 pm (UTC)
From: [identity profile] alex-lukjanov.livejournal.com
По моему впечатлению, руководитель из серии "все сломать и построить заново". Это не есть хорошо в образовании.

Date: 2012-11-10 01:32 pm (UTC)
From: [identity profile] iefimov.livejournal.com
Откуда такие сведения?

Date: 2012-11-11 06:09 am (UTC)
From: [identity profile] alex-lukjanov.livejournal.com
Это не сведения. Это личное впечатление от совещания по поводу 3-й очереди конкурса по постановлению №218 о субсидиях предприятиям. И косвенно подтверждено коллегами по результатам совещания проректоров по НИР в Калининграде 2 недели назад.

"Оценочное сужедние", как сейчас модно говорить.

Date: 2012-11-11 02:53 pm (UTC)
From: [identity profile] iefimov.livejournal.com
Мне хотелось бы почитать его бюрократическое творчество, о котором с похвалой пишут на сайтах правительства, но которые я не могу найти. Посмотрим что из него получится, как из журналиста сделают специалиста по образованию.

Date: 2012-11-13 04:15 am (UTC)
From: [identity profile] alex-lukjanov.livejournal.com
Сколько себя помню - у нас в образовании идут непрерывные реформы. Вот и очередное "посмотрим, что получится". ((

Date: 2012-11-25 06:28 pm (UTC)
From: [identity profile] iefimov.livejournal.com
Реформы в образование любой страны идут всегда и постоянно. Наука не стоит на месте - поэтому и образование должно меняться вслед за новым знанием.

March 2013

S M T W T F S
      12
3456789
10111213141516
17181920212223
24252627282930
31      

Most Popular Tags

Style Credit

Expand Cut Tags

No cut tags
Page generated Jul. 23rd, 2017 10:47 pm
Powered by Dreamwidth Studios