Оцінюванню можна дати таке визначення: це соціально-економічне дослідження для перевірки ефективності реалізованих програм. Дехто також розуміє оцінювання як оцінку чи контроль певного заходу. Ще хтось наголошує, що оцінювання – це процес, який служить для вдосконалення застосованих дій.

Однак оцінювання – це, насамперед, усвідомлення реалізованого процесу. Основною його метою повинно бути з’ясування того, чи відповідають методи, які ми використовуємо, форми, які обираємо, співпраця, яку здійснюємо, та витрати, яких ми зазнаємо у зв’язку з реалізацією певного проєкту, нашим фактичним передбаченням та планам.

Оцінювання є системним процесом. Діяльність з оцінювання слід планувати до початку проєкту, на етапі його планування, а потім продовжувати в ході проєкту та після його завершення. Ми робимо так тому, що:

  • на етапі планування маємо можливість вибирати методи, за допомогою яких хочемо збирати інформацію з поставлених раніше питань;
  • на етапі впровадження певного процесу ми все ще можемо щось змінити або вдосконалити, чи, що найголовніше, визнати щось як добру практику, яка варта продовження;
  • після завершення певного процесу ми маємо можливість перевірити, наскільки тривалими є передбачені наслідки.

Як провести оцінювання? Оцінювання публічних консультацій слід розділити на кілька етапів, які ми перелічимо нижче.

ЕТАП I - постановка питань з оцінювання та визначення критеріїв оцінювання

Перш за все, важливо поставити питання, на які ми хочемо відповісти під час проведення оцінювання. У процесі їх постановки варто подумати, яка інформація нас найбільше цікавить і для кого ця інформація буде найкориснішою. У випадку публічних консультацій питання можуть стосуватися таких напрямків:

  • організація процесу публічних консультацій – чи проводилися консультації у зручний час та в зручному місці з урахуванням потреб усіх учасників? Якою була співпраця між усіма залученими до процесу суб’єктами та особами, які співпрацювали під час впровадження процесу?
  • сприяння процесу громадських консультацій – чи використані канали комунікації та просування консультацій були обрані з урахуванням потенційних адресатів?
  • форма та перебіг консультацій – чи був правильним вибір форми зустрічей (наприклад, майстерні-семінари, стаціонарні пункти, мобільні пункти) з точки зору мешканців та осіб, відповідальних за проведення консультаційного процесу? Чи особа, яка проводила консультації, надавала інформацію зрозумілим та доступним для учасників способом?
  • задоволення мешканців процесом публічних консультацій – чи мешканці під час процесу консультацій були почуті і чи відчули, що їхній голос буде врахований на етапі впровадження інвестицій?

За допомогою питань ми визначаємо критерії, за якими можна буде оцінити нашу діяльність.

Приклади критеріїв:

  • влучність – наскільки встановлені цілі процесу відповідають реальним потребам?
  • успішність – в якій мірі були досягнуті намічені ефекти (наприклад, зібрання багатьох різноманітних думок від мешканців)?
  • ефективність – яке співвідношення наших витрат (фінансових, матеріальних, особистих тощо) та досягнутих результатів?
  • корисність – яку користь приніс процес отримувачам? Чи допоміг він у вирішенні діагностованої проблеми?
  • тривалість – чи зберігаються результати процесу після його завершення?
ЕТАП II – визначення детального плану та графіку оцінювання

Перш ніж розпочати оцінювання, слід розробити детальний план та графік, що включає всі етапи публічних консультацій. Найкраще, коли вся команда, яка бере участь у процесі, працює над планом. Варто організувати зустріч, під час якої ви спільно визначаєте питання для оцінювання, визначаєте цілі консультації, опрацьовуєте показники, які дозволять визначити, наскільки ви досягли очікуваних ефектів, також сплануєте весь графік оцінювання.

Наприклад, під час громадських консультацій щодо облаштування парку в одному з районів Варшави ми організували зустріч з усіма залученими особами. На зустріч були запрошені: голова району, представник мерії, представники районної адміністрації, дизайнери, архітектори та зовнішній підрядник, що проводить публічні консультації. Зустріч була запланована на дві години. Учасники спільно намагалися поміркувати про найважливіші цілі консультацій (однією з них було зібрати різні думки мешканців) та визначили способи вимірювання ефектів, тобто те, з чого ми будемо знати, що планований результат був досягнутий. Після зустрічі ми створили документ, в якому були відображені всі ідеї, напрацьовані під час зустрічі, аби згодом ми могли їх використовувати.

ІІІ ЕТАП – збір інформації

Наступний етап – це вибір таких методів збору інформації, які дозволять відповісти на раніше поставлені питання з оцінювання. Методи та прийоми слід вибирати з урахуванням особливостей окремих консультаційних зустрічей, зокрема звертаючи увагу на форми зустрічей або на їх адресатів: чи запланована зустріч для всіх зацікавлених осіб, чи адресована вона певній групі, наприклад, мешканцям певної місцевості, особам певної статі чи віку.

Під час процесу публічних консультацій можна використовувати кілька таких методів та прийомів оцінювання.

Спостереження

Спостереження – це один з найпростіших методів, але варто поміркувати, що буде його предметом. Наприклад, плануючи спостерігати за нарадою на семінарі як частиною процесу публічних консультацій, добре буде визначити, на що ми звернемо увагу під час цієї зустрічі та як занотуємо наші спостереження.

Приклад: якщо для нас важливі відвідуваність та різноманітність учасників, ми повинні спробувати записати кількість учасників наради, намагаючись визначити їх вік, стать та інші відповідні характеристики. Якщо цікавить рівень залучення учасників, давайте заздалегідь подумаємо, яким буде його прояв. Це можуть бути подання ідей, задавання додаткових питань, заохочення інших учасників до активності тощо.

Індивідуальне інтерв’ю

Індивідуальне інтерв’ю – це розмова віч-на-віч. Вона відбувається на певну тему, будується відповідно до раніше продуманих питань або проблем, які потрібно порушити. Перш ніж призначити час інтерв’ю, варто підготувати сценарій розмови, який містить усі запитання. Завдяки йому питання, які нас цікавлять, не буде пропущено. Інтерв’ю можна проводити, наприклад, з виконавцем консультацій, запитуючи про їх перебіг, про оцінку окремих зустрічей, співпрацю з різними особами, залученими до процесу тощо; з координатором процесу від адміністрації міського чи громади щодо оцінки користі та ефективності процесу; або з мешканцем – про його задоволеність участю в консультаційному процесі. Варто зробити аудіо-запис інтерв’ю, щоб зберегти все важливе (але для цього потрібна попередня згода співрозмовника), ви також можете під час розмови робити детальні нотатки.

Анкетування

Наступною методикою є анкетування, тобто використання анкети – аркуша, що містить питання з варіантами відповідей на вибір або відкриті питання, на які треба сформулювати власну відповідь, а іноді питання обох типів. Ми зазвичай використовуємо анкетування при дослідженні великих груп, щоб можна було представити результати у відсотках чи кількісно. Існує кілька видів анкетування. З огляду на специфіку процесів публічних консультацій варто розглянути дві його форми. Перша - це аудиторне анкетування, тобто опитування, яке роздається учасникам під час певної зустрічі, семінару чи роботи консультаційного пункту з проханням відповісти на нього на місці. Безперечною перевагою аудиторного дослідження є можливість отримати великий відсоток заповнених анкет. Друга форма – це онлайн-анкетування, надіслане в електронному вигляді або розміщене на веб-сайті консультації, адміністрації тощо. Ця методика є дешевою і швидкою, але вона несе ризик низької зацікавленості або повторного заповнення анкети однією людиною, що може спотворити кінцеві результати.

Оцінювальний купон

Купон для оцінювання – це форма анкети, питання якої розміщуються на краях сторінки так, щоб учасник, відповідаючи, міг розірвати аркуш у потрібному місці. Питання повинні бути короткими і можуть стосуватися демографічних особливостей, таких як стать, вік, освіта, а також рівня задоволеності (найкраще використовувати числову шкалу від 1 – «дуже погано» до 5 – «дуже добре!), оцінювання окремих елементів заходу тощо. Учасник вкидає відірваний купон у спеціальну коробку або торбинку чи віддає безпосередньо особі, яка проводить оцінювання. Очевидними перевагами цієї методики є швидкість її здійснення, можливість використовувати її для великої кількості учасників, також простота – не потрібно писати. Ця методика особливо рекомендується під час динамічних заходів, наприклад, зустрічей на свіжому повітрі, дослідницьких прогулянок, на мобільних точках, що характеризуються швидкою зміною учасників.

Тест незакінчених речень

Техніка оцінювання за допомогою незакінчених речень полягає в тому, щоб зробити стандартне опитування більш привабливим. На аркуші ми розміщуємо кілька незакінчених речень, наприклад, «Я тут, тому що…», «Найбільш вдалою частиною зустрічі була…», «Наступного разу варто...». Учасник зустрічі висловлює свою думку, доповнюючи речення. Це, по-перше, стандартизує отримані відповіді, а по-друге, завдяки відкритій формі відповіді надає можливість висловити нові цікаві міркування.

Валіза і кошик

Ця методика, у свою чергу, передбачає написання на окремих листках власних роздумів про оцінюваний процес. Згодом ми сортуємо ці роздуми 1) на такі, які варто взяти до уваги на майбутнє і покласти їх «до валізи» або 2) як мало придатні до практичного використання, від яких ми можемо відмовитись у майбутньому, тому кидаємо їх у смітник.

ЕТАП IV – підсумування зібраної інформації

Після збору всієї інформації відбувається етап аналізу та підбиття підсумків. На цьому етапі важливо всі отримані думки пов’язати з початковими питаннями оцінювання.

Наприклад, якщо одне з питань оцінювання стосувалося відповідності використаних каналів комунікації та промоції процесу серед потенційних адресатів, знайдіть у зібраному матеріалі інформацію, яка стосується способу спілкування та промоції консультаційного процесу. Випишіть всю цю інформацію та думки, намагаючись відповісти на раніше поставлене питання.

На етапі аналізу та підсумування варто знову поспілкуватися з командою, відповідальною за процес, щоб поділитися знаннями та досвідом щодо перебігу. Під час такого заняття корисно повернутися до документу, напрацьованого на першій зустрічі, і спробувати визначити, наскільки були досягнуті очікувані результати.

Нехай прикладом цього буде здійснення процесу публічних консультацій щодо одного з Центрів локальної активності. У рамках оцінювання було організовано дві зустрічі з командою. Під час першої з них, ще до початку консультацій, було підготовлено документ у вигляді таблиці, який містив усі цілі та показники процесу. Друга зустріч оцінювального заходу відбулася одразу після консультаційного процесу. Цього разу в тому ж складі, що і під час першої зустрічі, ми розглянули сильні та слабкі сторони консультації, використовуючи техніку «валіза та кошик». У ході обговорення ми торкнулись таких питань: якість завершеного процесу; методи інформування про консультації та ефективність форм, використаних під час зустрічей; спілкування та співпраця між усіма суб’єктами, які брали участь у процесі.

Під час зустрічі учасникам консультацій були представлені результати оцінювання, які стали темою спільного обговорення та основою для вироблення конкретних рекомендацій на майбутнє. Важливою частиною заняття було також повернення до питань, розроблених спільно на засіданні, яке передувало консультаційному процесу. Це дало можливість поміркувати над тим, як передбачувані цілі перетворюються на досягнуті результати.

ЕТАП V - висновки та рекомендації, тобто як підсумувати оцінювання

Напрацювання висновків є дуже важливим кроком у процесі оцінювання. Це вимагає часу та залучення, тому окремі етапи діяльності слід підсумовувати на постійній основі, залишаючи час для обговорення їх з різними людьми, що беруть участь у процесі.

Висновки мають бути сформульовані чітко та випливати зі зробленого перед цим аналізу зібраного матеріалу. Варто також повернутися до питань оцінювання, які ми ставили на початку планування консультацій, щоб пересвідчитись, наскільки наш дослідницький матеріал дає відповіді на них, також чи є необхідність продовжувати оцінювання для їх удосконалення.

Після фази формулювання висновків наступною фазою є розробка рекомендацій. Рекомендація – це, інакше кажучи, порада чи пропозиція змінити, підтримати або вдосконалити щось у майбутньому.

Рекомендації повинні:

  • базуватись на раніше розроблених висновках, аби пропонувати зміни на майбутнє або вказувати сфери, які працюють належним чином і не мають змінюватися (пам’ятайте, що варто помічати і вдалі практики);
  • бути сформульованими чітко і конкретно, щоб не було сумнівів щодо того, як їх реалізувати;
  • бути реалістичні для впровадження, тому слід враховувати всі можливі ресурси та обмеження, наприклад, фінансові бар’єри, можливості команди, інфраструктуру.

Приклад одного з висновків: «Мова, яку ведучі використовували під час зустрічі за участі архітекторів, була спеціалізованою та не пристосованою до адресатів, що може стати перешкодою для участі мешканців у наступних процесах».

А рекомендація буде така: «Рекомендується під час наступних процесів звертати особливу увагу на мову спілкування з мешканцями та дбати про чіткий та доступний виклад. Під час консультаційних зустрічей переконайтесь, що зміст та проблеми, які обговорюються, зрозумілі кожному учаснику зустрічі».

Узагальнений підсумок входить до звіті про оцінювання, який повинен містити такі пункти:

  • вступ, у якому представлена ​​основна інформація про процес консультацій, основні цілі проведеного оцінювання, наприклад, перевірка задоволеності мешканців або напрацювання позитивних практик, а також питання щодо оцінювання, поставлені на початку;
  • методологія, тобто опис ходу дослідження разом із описом використаних методів, прийомів та інструментів – цей опис може бути коротким, але було б добре зробити додаток, у якому вмістити використані нами інструменти, наприклад питання анкети або сценарій інтерв’ю;
  • результати оцінювання – презентація зібраної інформації;
  • висновки та рекомендації, тобто основні підсумки, що випливають з оцінювання, та пропозицій щодо майбутніх рішень. Пропозиції повинні бути можливими для реалізації при обмежених засобах та ресурсах, наприклад, краще не рекомендувати використовувати велику команду для проведення семінарів з мешканцями, якщо ми прогнозуємо, що місцевий бюджет не відшкодує такі витрати.

Під час написання звіту важливо пам’ятати, що цей документ має бути практичним і корисним у вашій подальшій роботі. Його форма та зміст повинні відповідати потребам організаторів публічних консультацій, щоб у майбутньому ви охоче використали цей звіт.

Як впоратися із загрозами оцінювання?

Під час оцінювання публічних консультацій у вас можуть виникнути численні труднощі в його здійсненні, тому ще перед початком процесу слід подумати над тим, як боротися з потенційними загрозами. Нижче наведено приклади труднощів, з якими ми стикалися в ході оцінювання консультацій. Міркування загрози можуть допомогти вам спланувати процес і ефективно його реалізувати.

Явка учасників

Однією з найпоширеніших проблем при здійсненні оцінювання є визначення кількості учасників певного заходу. Оскільки публічні консультації відкриті і кожен може брати участь у них, іноді важко передбачити, чи зможемо ми застосувати обрану методику під час зустрічі. Існують процеси, під час яких буває велика явка учасників. У такому разі важливо, щоб у нас був широкий набір інструментів оцінювання (анкети, тести, купони тощо) та було заздалегідь заплановано спосіб проведення оцінювання, спеціально відведений час, адаптований простір, необхідне обладнання тощо. У випадку низької відвідуваності варто мати кілька альтернативних варіантів здійснення оцінювання.

Наприклад, під час одного з процесів публічних консультацій на сайті Центру локальної активності було анонсовано одну з зустрічей у місцевій кав’ярні. Ми обрали методику оцінювання у формі анкетування, завдяки чому сподівалися з’ясувати мотивацію мешканців взяти участь у процесі, їхню думку щодо організації консультацій та ідеї щодо покращення зустрічей. Доповненням мало стати спостереження за зустріччю. Проте на неї завітали лише двоє людей, тому впровадження першої методики не мало сенсу – було б важко забезпечити анонімність думок та подальший аналіз, а спостереження, у свою чергу, могло сприйматися як форма контролю. Тому ми вирішили обмежитись лише пізнішою розмовою – з виконавицею консультацій, яка розповіла про хід цієї зустрічі.

Оцінювання як контроль

Іноді трапляється, що присутність оцінювача під час зустрічей у рамках публічних консультацій викликає стрес у організаторів (виконавців) чи самих мешканців. Тому варто заздалегідь розкрити свою роль, підкресливши, що здійснюване оцінювання не є формою контролю, а отримувана інформація може лише поліпшити процес у майбутньому. Аби подолати бар’єри, ви можете брати активну участь у консультаціях, допомагаючи їх проведенню, але весь час пам’ятаючи своє завдання.

Варто також забезпечити, щоб виконавці публічних консультацій не ставились до вас як до наглядачів за їхньою роботою, за яку їм потім будуть висловлені претензії. Ось чому так важливо, щоб усі особи, залучені до організації процесу публічних консультацій, були включені в процес оцінювання і щоб кожен із них бачив сенс здійснюваного оцінювання. З цією метою розумно буде звернутися до виконавця консультацій або до ведучого зустрічі про допомогу в проведенні оцінювання, наприклад, у роздачі купонів або анкет.

До роботи!

Підбиваючи підсумок, пам’ятайте, що оцінювання повинно бути не неприємним обов’язком, а ефективним інструментом, завдяки якому ви отримаєте навички та цінні знання щодо своєї роботи та вжитих дій. Можна використовувати довільні методи та прийоми, якщо вони дають відповіді на поставлені раніше питання. Звіт про оцінювання не повинен бути документом, схованим у шухляду. Навпаки, він може стати уроком для інших, які роблять тільки перші кроки у цій галузі. Оцінювання не є складним, воно вимагає лише роздумів, командної роботи та ентузіазму для реалізації. Успіхів!

Магда Прокопчук, Луіза Органек, Катажина Левандовська

Ця публікація взята з посібника «Konsultacje spoleczne. 24 inspiracje z warszawy», виданої Centrum Komunikacji Społecznej Urzędu m.st. Warszawy та перекладена з польської в межах проєкту «Силабус публічних консультацій», що впроваджується Громадянською мережею ОПОРА та Фундацією «Лабораторія соціальних досліджень та інновацій «Сточня» та дофінансовується за програмою «RITA Зміни в регіоні», яка фінансується Польсько-американським фондом Cвободи