Среди победителей первого конкурса 2024 года Фонда президентских грантов есть два проекта, которые целиком направлены на развитие культуры и практики оценки.

Проект «Позитивное качество» новосибирской НКО «Гуманитарный проект» направлен на повышение эффективности работы НКО, работающих в области социально-значимых заболеваний (ВИЧ, гепатиты, туберкулез, наркозависимость), через внедрение подходов мониторинга и оценки качества оказываемых услуг, а также оценки уровня подготовки полевых сотрудников. В его рамках для сотрудников профильных НКО пройдет онлайн-курс по разработке анкет и проведению опросов, семинары по разработке оценки системы качества в НКО. Также для НКО будут разработаны варианты «готовых решений», опросников для организаций, учитывающие специфику работы с социально-значимыми заболеваниями и уязвимыми группами.

Проект «Эффективность независимой оценки качества условий оказания услуг (НОК) в социальной сфере» Кузбасского центра поддержки общественных инициатив направлен на развитие системы независимой оценки качества условий оказания услуг через укрепление роли общественных экспертов, внедрение механизмов обратной связи населения с учреждениями социальной сферы и создание планомерной партнерской работы представителей общественности с органами власти и социальными учреждениями в Кемеровской области-Кузбассе.

Кроме того, поддержку получил проект Благотворительного фонда «Добрый город Петербург», в рамках которого состоится встреча между членами АСОПП и Школы региональных экспертов. Цель проекта - адаптировать и распространить на федеральном уровне механизмы поддержания долговременной и эффективной работы НКО через восстановление ресурсов, передачу применимого опыта и качественную помощь экспертов.

🎉Поздравляем победителей и желаем успешной реализации проектов!🎉

23 января состоялся очередной вебинар АСОПП. Виктория Копейкина, советник по стратегическому развитию программ «Детские деревни SOS», рассказала об опыте внедрения и использования управления на основе результатов в своей организации. Запись вебинара можно посмотреть на YouTube: https://youtu.be/AWYjpaezLus?si=xkAxsi_HUQHs2_eu

Что почитать на выходных? Вышел новый номер журнала «Позитивные изменения». В нем вы найдете большую статью, посвященную конференции АСОПП «Какой у вас индекс счастья?» с подробным обзором того, о чем мы говорили в рамках трека «Оценка с фокусом на благополучие».

Статья Анны Ермягиной, партнера и консультанта Академии Historia, тренера по сторителлингу в бизнесе, посвящена использованию историй в контексте оценки. Вероятно, вы уже слышали термин сторителлинг. Прочитав статью, вы также узнаете, что такое сторимайнинг и сторимейкинг.

Еще одна статья, на которую стоит обратить внимание тем, кто интересуется оценкой социальных проектов и программ, называется «Оценка проектов развития территорий: кейс Фонда целевого капитала «Наш Норильск»». Вы узнаете про модель оценки проектов, финансируемых фондом, которая учитывает вклад проекта в развитие территории и его соответствие актуальной региональной повестке.

Ссылка на номер: https://www.impactjournal.ru/jour?locale=ru_RU

#оценка #АСОПП

Приглашаем вас принять участие в вебинаре АСОПП «Чем знания из области нейробиологии могут быть полезны при проведении оценки». Вебинар состоится во вторник 13 февраля в 11:00-12:30 по московскому времени.

Благодаря развитию измерительной техники ученые сегодня могут наблюдать не только за поведением людей, но и за тем, что при этом происходит у них в голове. Знания из области нейробиологии, науки об устройстве и работе мозга, уже используются в социальной сфере, например, в работе с подростками.

Недавно были сделаны первые шаги по применению наработок нейробиологов в оценке программ и проектов. Офис оценки IFAD, одного из агентства ООН, подготовил рекомендации о том, как строить коммуникацию в процессе оценки с учетом данных нейробиологии. Например, наш мозг устроен так, что во время стресса люди переходят в режим сопротивления всему новому и фокусируются на привычных моделях поведения. Соответственно, когда сотрудники оцениваемых проектов и программ испытывают стресс из-за оценки в целом или того, что какие-то ее результаты воспринимаются ими как негативные, они становятся невосприимчивы к рекомендациям что-либо поменять в своей работе. Поэтому специалисту по оценке важно минимизировать стресс, проявляя эмпатию и сочувствие.

О том, какие еще знания из области нейробиологии могут быть полезны специалистам по оценке, расскажет Наталья Кошелева, консультант по мониторингу и оценке.

Для участия в вебинаре нужна регистрация. После регистрации вы получите электронное письмо с подтверждением, содержащее информацию о входе в конференцию.

Ссылка для регистрации на вебинар: https://us02web.zoom.us/meeting/register/tZUqdu-qrTMiGtc0SPn_sKa2P4tvf34YcPVT

После регистрации вы получите электронное письмо с подтверждением, содержащее информацию о входе в конференцию.

Открыт набор в программу повышения квалификации «Доказательный подход: от практиков практикам». Занятия состоятся 13-14 апреля 2024 года (суббота, воскресенье) в Санкт-Петербурге. Участие очное и платное. Организатор программы - Институт проблем правоприменения при Европейском университете в Санкт-Петербурге.

Программа ориентирована на преподавателей университетов, исследователей и сотрудников НКО. В рамках программы слушатели познакомятся с методологией и современными методами доказательного подхода, а также практикой их применения в академических и прикладных исследованиях в российском контексте. Обучение будет построено на примерах конкретных исследовательских и управленческих кейсов с использованием доказательного подхода.

Программа состоит из трех блоков:
• Методология доказательного подхода и практика его применения при принятии управленческих решений
• Качественная методология в использовании доказательного подхода к оценке социальных программ и проектов
• Методология и практика реализации доказательного подхода в академических исследованиях: случай исследований контрольно-надзорной деятельности

Подробная информация – на сайте программы http://lawstudies.tilda.ws/p3

#оценка

#Интервью_как_метод_оценки
Считается, что качественный метод, который чаще всего используют для сбора данных при проведении оценки, — это интервью. При этом хорошо его использовать достаточно сложно. Поэтому мы решили сделать серию материалов, посвященных этому методу.

Начнем с того, когда и зачем полезно использовать интервью. Этот метод работает особенно хорошо, когда:
• Нужно собрать информацию о том, что происходило в прошлом, и в том числе о том, какие измерения произошли в ходе проекта, и как люди видят связи между мероприятиями, в которых они участвовали, и произошедшими затем изменениями;
• Нет возможности наблюдать поведение участников проекта или программы в настоящем;
• Нужно узнать, как люди интерпретируют свой опыт участия в проекте и полученные результаты, что они думают и чувствуют по этому поводу;
• Нужна подробная информация о том, были ли какие-то различия в траекториях и полученных результатах между разными участниками оцениваемого проекта. Интервью особенно полезны, когда оцениваемый проект использовал индивидуальный подход к работе с благополучателями;
• Есть вопросы к результатам, полученным другими данными. Интервью позволяет собрать дополнительную информацию для ответа на эти вопросы;
• Нужно реконструировать или уточнить теорию изменений/ логику оцениваемого проекта перед началом оценки.

Если у вас есть какие-то вопросы относительно использования интервью при проведении оценки, пожалуйста, оставляйте их в комментариях, мы сможем на них ответить.

#оценка #АСОПП

Сила историй: сторителлинг в оценке социального воздействия

Эксперты в сфере сторителлинга уверены, что область применения историй значительно шире привычного маркетинга и продвижения. Сторителлинг в оценке — вот один из трендов последних лет.

Истории позволяют прожить чужой опыт и рассказать о том, кто мы, во что мы верим, что для нас важно и зачем мы делаем то, что делаем.

Собирая их, мы можем не только увидеть проект изнутри глазами благополучателей, выявить эффекты и социальные результаты, но и понять мотивацию, ценности и эмоции, оказавшие влияние на результат. Истории помогают нам определить, почему эти изменения происходят или не происходят.

Как превратить истории в данные и смыслы, разбираемся в нашей новой статье.

Профессиональное развитие невозможно без любви к тому, что ты делаешь. Мы уже несколько лет отмечаем EVALentine’s Day – День влюбленных в оценку. Оценка – это, конечно, сложно. Нужно разбираться в логике социальных программ и проектов, думать, как можно измерить социальные изменения, какими инструментами и методами собрать и обработать данные, как лучше представить результаты оценки. Но когда все это складывается вместе, тебе открывается почти что музыка сфер: ты видишь, как сложная механика социального проекта создает изменения в жизни людей и сообществ, где эти шестеренки заедают, и как это можно поправить. Разве можно не любить такую профессию?

Межрегиональная благотворительная общественная организация - Российский Комитет «Детские деревни-SOS» проводит конкурс по выбору подрядчика для проведения исследования по оценке потребностей целевых групп Программы «Детская деревня-SOS Москва и Московская область в районах г. Москвы Некрасовка, Новокосино и Косино-Ухтомский.

К участию в отборе приглашаются лица и организации, имеющие опыт в проведении оценки социальных программ и проектов.

Срок для подачи предложений – 29 февраля 23:59 мск.

Подробности в прилагаемом файле.

Не просто мероприятие
Наверняка вы слышали, что конференция – это отдельное мероприятие, и она не может быть целым проектом. Но конференция АСОПП – это реально полномасштабный проект и механизм развития профессионального сообщества и продвижения оценки как профессии. Конференция решает несколько связанных задач. Первая – мотивировать людей поделиться своим опытом применения мониторинга и оценки. Именно для этого мы открываем прием заявок задолго до конференции, проводим вебинары, на которых объясняем, как подать заявку, и почему любой опыт важен для профессионального сообщества, пишем спикерам предыдущих конференции и напоминаем, что хотим их услышать на новой конференции.

Вторая задача – способствовать формированию культуры участия в жизни профессионального сообщества, давая людям возможность внести свой вклад в подготовку и проведение конференции, пусть даже небольшой. Мы даем членам профессионального сообщества возможность самостоятельно разработать и провести предконференционные вебинары, организовать тематические сессии на конференции, участвовать в оценке поданных заявок и модерировать сессии, собранные из отдельных докладов.

Третья задача – создать возможности для обмена опытом информацией, для того чтобы люди «учились друг об друга». Эта задача решается на конференционных сессиях, самой видимой части конференции. Но параллельно на этих сессиях решается еще одна задача – формирование профессиональных связей между участниками, чтобы они могли продолжить профессиональное общение и после конференции.

Наконец, конференция решает задачу расширения круга людей, вовлеченных в профессиональное сообщество специалистов по оценке. Для этого мы активно рассказываем о конференции на этапе подготовки, привлекая для этого партнеров. А статьи о конференции, которые выходят после ее окончания, призваны привлечь новых участников на следующую конференцию.

Шестеренки механизма под названием конференция АСОПП бесперебойно работают уже десять лет подряд. 15-16 октября ждем вас на 10-й конференции АСОПП!

#оценка #конференция_АСОПП

Приглашаем вас принять участие в вебинаре АСОПП «Как использовать искусственный интеллект при проведении оценки: возможности и риски». Вебинар состоится во вторник 12 марта в 11:00-12:30 по московскому времени.

Искусственный интеллект (ИИ), а точнее генеративные нейросети, которые умеют создавать тексты, изображения и видео, активно интегрируется в нашу жизнь, включая профессиональную практику. В рамках этого вебинара мы обсудим, как можно использовать ИИ при проведении оценки, и какие вопросы и вызовы возникают при этом. Будут представлены конкретные примеры применения ИИ в процессе работы с данными.

Ведущий вебинара - Константин Мишеничев, консультант по мониторингу и оценке.

Для участия в вебинаре нужна регистрация: https://us02web.zoom.us/meeting/register/tZUvdeitqDoiE90mVXsJmsP8acYgD9c4JhBt

После регистрации вы получите электронное письмо с подтверждением, содержащее информацию о входе в конференцию.

#оценка #АСОПП

Изображение на обложке этого поста сгенерировано с помощью нейросети Visual Electric.

Межрегиональная благотворительная общественная организация - Российский Комитет «Детские деревни-SOS» проводит конкурс по выбору подрядчика для проведения для проведения исследования по оценке благополучия целевых групп программ «Детских деревень SOS».

К участию в отборе приглашаются лица и организации, имеющие опыт в проведении оценки социальных программ и проектов.

Срок для подачи предложений – 15 марта 23:59 мск.

Подробности в прилагаемом файле.

#Интервью_как_метод_оценки
Продолжаем серию материалов про использование метода интервью в контексте оценки. Сегодня поговорим о том, какие есть виды интервью, и когда они могут быть полезны.

При проведении оценки можно использовать три вида качественных интервью: структурированные с открытыми вопросами, полуструктурированные и неструктурированные. Структурированные интервью с закрытыми вопросами, когда человеку нужно выбрать ответ из предлагаемого списка, принято относить уже в количественным методам. Но какие-то элементы таких интервью можно интегрировать и в качественные их разновидности: например, попросить человека оценить по 10-бальной школе, насколько полезным было для него то или иное мероприятие проекта, в котором он участвовал.

Структурированные интервью с открытыми вопросами полезны, когда в оцениваемом проекте использовался стандартизованный подход к работе с благополучателями, например, все участвовали в одних и тех же мероприятиях. При проведении такого интервью используется заранее разработанный набор вопросов, причем ни порядок вопросов, ни их формулировки не меняются. Метод позволяет собрать достаточно подробную информацию об опыте и результатах, полученных участниками, которую затем относительно несложно обрабатывать.

Полуструктурированные интервью полезны, когда есть определенный круг тем, которые нужно охватить в интервью, но известно, что опыт участников проекта и полученные ими результаты могут заметно варьировать, поэтому при сборе данных нужна определенная гибкость. При проведении таких интервью специалист по оценке опирается на заранее подготовленный план (гайд), в котором определены основные темы и возможные вопросы для обсуждения. При этом в ходе интервью специалист по оценке может в зависимости от ситуации менять порядок тем, менять формулировки вопросов, пропускать или добавлять вопросы. Это позволяет углубляться в темы, которые оказались особенно важными в каком-то конкретном случае. Чтобы эффективно проводить полуструктурированные интервью, специалист по оценке должен быть хорошо знаком и оцениваемым проектом и держать в голове модель его реализации, чтобы понимать, как с этой моделью соотносятся всплывающие в ходе интервью новые темы, и куда стоит углубиться, а куда – нет.

Неструктурированные интервью в контексте оценки – это скорее незапланированные беседы с людьми, имеющими то или иное отношение к проекту, с которыми специалист по оценке встречается в процессе сбора данных. Но такие интервью часто позволяют взглянуть на объект оценки в новой, неожиданной точки зрения. Чтобы такие интервью были полезны, специалист по оценке должен держать в голове модель реализации проекта и уметь по ходу разговора анализировать информацию, чтобы понимать, как соотноситься с моделью получаемая информация.

#оценка #АСОПП

Попросила YandexGPT: «Напиши короткий пост, как можно использовать искусственный интеллект (AI) при проведении оценки социального проекта».

Вот что она ответила:

«Искусственный интеллект (AI) становится все более важным инструментом в мире социального предпринимательства. Его можно использовать для автоматизации процессов, улучшения принятия решений и повышения эффективности.

Один из способов использования AI при оценке социального проекта - это анализ данных. Он может помочь выявить закономерности и тенденции, которые могут быть полезны для определения успеха или неудачи проекта. Кроме того, AI может помочь в разработке новых методов оценки, которые могут быть более точными и эффективными, чем традиционные методы.

Однако, важно помнить, что использование AI не должно заменять человеческое суждение. Важно учитывать контекст и человеческие ценности при принятии решений на основе данных, полученных с помощью AI.

В целом, использование AI может быть полезным инструментом для оценки социальных проектов, но важно подходить к этому процессу с осторожностью и уважением к людям и их потребностям».

Хотите узнать больше? Ждем вас завтра, 12 марта, на вебинаре АСОПП «Как использовать искусственный интеллект при проведении оценки: возможности и риски». Вебинар состоится в 11:00-12:30 по московскому времени.

Ведущий вебинара - Константин Мишеничев, консультант по мониторингу и оценке.

Для участия в вебинаре нужна регистрация: https://us02web.zoom.us/meeting/register/tZUvdeitqDoiE90mVXsJmsP8acYgD9c4JhBt

После регистрации вы получите электронное письмо с подтверждением, содержащее информацию о входе в конференцию.

#оценка #АСОПП

Метафорический подход в оценке личных проектов

Как раскрыть свой потенциал через реализацию социальных проектов? С чего вообще начать? И как использование метафор может помочь увидеть проект в новом свете и понять, что нужно для его реализации?

Метафорическая аналитика помогает определить потенциальные ресурсы, риски и партнеров для проекта. Метафоры — полезный и действенный инструмент для изменения мышления и достижения целей, формирования брендов, стратегий и образа будущего.

Каким образом создатели позитивных изменений могут использовать его для создания и оценки проектов, в нашем новом выпуске подкаста рассказывает Ирина Решта — вице-президент по программным вопросам холдинга «Сибирский центр», координатор проектов Ассоциации «ИнА-Центр».

Пропустили сегодняшний вебинар АСОПП «Как использовать искусственный интеллект при проведении оценки: возможности и риски»? Можно посмотреть его в записи: https://youtu.be/R9q2QQZnjoA

Ниже – краткий пересказ вебинара от YandexGPT:

00:04 Использование искусственного интеллекта в оценке

• Обсуждение использования искусственного интеллекта (ИИ) в проведении оценки, его возможностей и рисков.
• ИИ может быть полезен на разных этапах оценки: планирование, сбор данных, анализ данных, подготовка презентационных материалов.

05:51 Примеры использования ИИ

• Большие языковые модели, такие как чат gpt, могут быть использованы для анализа вторичных данных, формулирования индикаторов и вопросов.
• ИИ может предложить дополнительные индикаторы или предложить варианты ответов на вопросы.

11:25 Отличия ИИ от других инструментов

• ИИ основан на больших языковых моделях, которые предлагают варианты ответов на основе контекста и слов в вопросе.
• ИИ может быть использован для автоматизации процессов оценки, но требует дополнительного обучения и контроля.

12:59 Использование искусственного интеллекта для оценки индикаторов

• Искусственный интеллект анализирует всю конструкцию, написанную до этого, и предлагает методы оценки индикаторов.
• Примеры использования: составление анкеты для оценки индикатора семейной связи и взаимодействия, сбор данных для оценки качества жизни многодетных семей.

20:42 Сбор данных с помощью искусственного интеллекта

• Примеры использования: приложение для поиска пропавших людей, использование технологий для выявления людей, потерявшихся в труднодоступных местах, использование технологий для диагностики падения и нейродегенеративных заболеваний.

25:05 Анализ данных с помощью искусственного интеллекта

• Анализ количественных данных: генеративный искусственный интеллект может формулировать код для анализа данных, например, постов в социальной сети.
• Анализ качественных данных: генеративный искусственный интеллект может анализировать текстовые документы, закодировать нормативно-правовой акт.

28:17 Использование атласа для анализа данных

• Атлас - это инструмент для анализа нормативно-правовых актов и других документов.
• Он может кодировать данные, разбивать их на категории и предоставлять результаты в виде графиков и диаграмм.

34:57 Использование ChatGPT

• ChatGPT может использоваться для анализа качественных данных, визуализации данных и подготовки запросов для программного обеспечения.
• В платной версии есть возможность скачать ChatGPT и использовать его в браузере или в телеграмме.

39:52 Сервис для транскрибации данных

• Сервис для транскрибации данных позволяет загружать аудиофайлы и получать готовый текст.
• Он бесплатный и быстро расшифровывает аудиофайлы.

42:45 Использование искусственного интеллекта в оценке

• Обсуждение этических принципов использования искусственного интеллекта в оценке и его роли в процессе исследования.
• Упоминание о важности роли оценщика и необходимости фиксации его ведущей роли в процессе исследования.

46:55 Использование искусственного интеллекта для кодирования и транскрибирования данных

• Обсуждение использования искусственного интеллекта для кодирования и транскрибирования данных, включая примеры из практики.
• Упоминание о необходимости указания на использование искусственного интеллекта в отчетах и методах исследования.

52:35 Обеспечение ведущей роли оценщика при использовании искусственного интеллекта

• Обсуждение важности критического отношения к результатам искусственного интеллекта и необходимости указания на его использование в отчетах.
• Упоминание о необходимости выработки этических принципов и правил использования искусственного интеллекта в оценке.

55:38 Вопросы об искусственном интеллекте

• Обсуждение использования искусственного интеллекта на американской конференции и его влияния на данные.
• Вопрос о том, как данные загружаются в чат-бот и где они хранятся.

59:08 Этика использования искусственного интеллекта

• Обсуждение того, как искусственный интеллект может быть использован в качестве помощника или самостоятельного исследователя.
• Вопрос о том, где границы искусственного интеллекта проходят в оценке и должны ли специалисты разрабатывать этический кодекс.

01:02:06 Применение искусственного интеллекта в оценке

• Обсуждение возможности использования искусственного интеллекта в оценке для сбора данных и формирования анкеты.
• Идея исследования о том, может ли искусственный интеллект заменить консультантов социальных работников.

01:06:21 Заключение

• Обсуждение необходимости продолжения дискуссии об использовании искусственного интеллекта в оценке и его влиянии на этику.
• Планы на проведение сессии на конференции, посвященной этой теме.

Как измерить индекс счастья?

В 1960-х годах исследователи пришли к выводу, что валовой внутренний продукт и уровень жизни не являются идеальными показателями, которые должны описывать жизнь общества и отдельного человека.

И вот в 1972 году появилось понятие «Валового национального счастья», которое ввел в обиход король Бутана, а в 2008 году в королевстве был разработан соответствующий инструмент — «Индекс валового национального счастья». С тех пор индексы счастья стали рассчитывать по всему миру.

В каких единицах измеряют счастье и какой опыт оценки уровня благополучия есть у России и других стран, читайте в нашей статье по материалам ежегодной конференции Ассоциации специалистов по оценке программ и политик-2023.

Первая конференция АСОПП состоялась 29-30 октября 2015 года. Ее тема – «Оценка программ и политик в России: становление профессии». В анонсе конференции было отмечено несколько направлений, где оценка активно развивалась на тот момент. Это были оценка регулирующего воздействия, оценка программ в сфере детства, оценка эффективности социально-ориентированных государственных и негосударственных программ и проектов, а также оценка образовательных политик и программ.

Отдельный трек конференции был посвящен оценке программ в сфере детства. Трек был организован при поддержке Фонда Тимченко. Решение стать партнером конференции было связано с тем, что в самом фонде появилось понимание значимости мониторинга и оценки как инструментов, которые позволяют отслеживать изменения в жизни благополучателей поддержанных проектов, говорит Эльвира Гарифулина, в 2015 году – руководитель программы «Семья и дети» Фонда Тимченко, а сейчас программный директор Благотворительного фонда «Абсолют-Помощь». «Мы тогда выходили на то, что нам нужно считать не только количество услуг и кто охвачен этими услугами, но и что поменялось в жизни этих людей. Все грантополучатели нам говорили, что видят, как меняется жизнь у детей и семей, с которыми они работают, но сформулировать, на основании чего они это видят, они не могли. Поэтому для нас было важно включить наших грантополучателей в систему понимания важности внедрения и развития мониторинга и оценки». И конференция АСОПП дала такую возможность.

По мнению Эльвиры, участие в конференции стало стимулом для развития компетенций в области мониторинга и оценки для многих НКО, работающих в сфере детства: «Мы туда приглашали организации, многие из которых слабо представляли, что такое мониторинг, какие показатели можно использовать, какими инструментами можно их измерять и т.п., а сейчас они стали гуру в области мониторинга и оценки в сфере детства». И развитие это произошло во многом за счет обмена опытом и включения сотрудников НКО в профессиональное сообщество специалистов по оценке программ и проектов.

Параллельно, многие специалисты по мониторингу и оценке осознали, что оценка проектов в сфере детства требует особых компетенций, в первую очередь по взаимодействию с детьми. При этом, по мнению Эльвиры, конференция помогла им начать развивать у себя эти компетенции и включиться в оценку проектов, программ, услуг в сфере детства: «Часть специалистов в области оценки «опасались» сферы детства. Но потихонечку начали входить, и у некоторых сейчас девяносто процентов их деятельности связаны с оценкой в сфере детства».

«Я очень довольна, что организации сферы защиты детства стали развивать системы мониторинга и оценки, использовать доказательный подход. Сначала они участвуют, потому что видят, что донору хочется, ну, давайте попробуем. Но потом почувствовали пользу и сами вовлеклись», - подытожила программный директор фонда «Абсолют-Помощь» Эльвира Гарифулина.

У вас есть своя история, связанная с конференцией АСОПП? Поделитесь ей в комментариях.

#оценка #АСОПП