Контроль качества

Сотрудники НАФИ помогают подобрать правильную методологию и гарантируют её соблюдение в процессе реализации проекта, что обеспечивает высокое качество получаемой информации. Тщательно проработанная структура выборки выступает залогом репрезентативности данных. Разрабатываемый инструментарий адаптируется под задачи исследования, под метод и целевую аудиторию.

До начала полевых работ происходит пилотирование инструментария, проводится инструктаж с интервьюерами/модераторами и региональными партнёрами. При желании клиент может присутствовать на инструктажах, а если это не противоречит методике, то и при проведении интервью. В ходе телефонных опросов и «тайных проверок» все интервью записываются, что позволяет клиенту послушать любую беседу с респондентами.

В количественных оффлайн исследованиях:

• Телефонный контроль – повторный контакт с респондентом по телефону для проверки факта проведения интервью, соответствия социально-демографических параметров респондента указанным в анкете, а также соблюдения методики опроса. Проводится не позднее 10 дней с даты завершения полевых работ. Применяется для личных опросов на бумажных анкетах (PAPI) и планшетах (TAPI). Объем контроля: от 20% до 100% интервью.

• Аудиконтроль – прослушивание записей интервью (полного или его части) для проверки факта проведения, а также соблюдения методики интервью. Проводится не позднее 10 дней с даты завершения полевых работ, а при возможности, во время полевых работ. Применяется для личных опросов на планшетах (TAPI), телефонных опросов (CATI).

• Пеший контроль – повторное посещение респондента для проверки факта проведения интервью, соответствия социально-демографических параметров респондента указанным в анкете данным, а также для проверки соблюдения методики опроса. Проводится не позднее 10 дней с даты завершения полевых работ. Применяется для личных опросов на бумажных анкетах (PAPI).

• GPS-контроль точки опроса (геолокация) / определение адресов (по данным GPS) и/или фотоотчёт с места опроса. Применяется для опросов с использованием планшета (TAPI).

• Открытый выездной контроль – контролёр выезжает на точку опроса и наблюдает за работой интервьюеров.

• Скрытый выездной контроль – контролёр, не знакомый с интервьюерами, выезжает на точку опроса и скрыто наблюдает за работой интервьюеров.

• «Подставной опрос» – специально проинструктированные люди стараются попасть под опрос, в ходе которого проверяется полнота и точность работы интервьюера. Проводится под запись с фотографией места опроса.

• Все бумажные анкеты, требующие ввода данных, проходят визуальный контроль на логику и наличие ошибок. В процессе ввода осуществляется повторный контроль вводчиком и специальной программой. 

В количественных online-исследованиях:

• проверка времени заполнения анкет

• проверка на заполнение табличных вопросов

• проверка на идентичные ответы

• проверка ответов на открытые вопросы

• проверка на нетипичное заполнение нетаргетируемых квот

• проверка на количество ответов «Затрудняюсь ответить»

• проверка на идентичность IP-адресов

В качестве подрядчиков для проведения опросов через online-панель привлекаются только партнёры, работающие по стандартам ESOMAR, обеспечивающим соблюдение всех требований к процессу рекрутирования и регистрации респондентов в панель, управлению панелью, обеспечению конфиденциальности данных респондентов.

В качественных исследованиях: 

• Сверка со списком респондентов – проверяется факт участия респондента в других исследованиях для исключения «профессиональных» респондентов. Используются как базы данных НАФИ, так и профессиональных сообществ (ОИРОМ, MSPA). 

• Телефонный контроль – повторный контакт с респондентом для проверки соответствия социально-демографических параметров респондента, указанным при рекруте, а также других критериев, необходимых для участия в исследовании. Проводится между датой рекрутирования и началом полевых работ.

• Подтверждение данных в месте проведения исследования (заполнение скринирующей анкеты, предоставление документов и т.п.).

• 100% прослушивание и просмотр аудио- и видеозаписей, а также проверка расшифровки (транскриптов) глубинных, экспертных интервью и фокус-групп.

Минимальный объём контроля равен 10% интервью от общей выборки с равномерным распределением по исполнителям. В зависимости от исходного запроса объём контроля может быть увеличен до 100%.

• проверка на соответствие квотному заданию
• проверка на соответствие записей списку закодированных ответов
• анализ массива данных для выявления максимальных отклонений от средних значений
• проверка соблюдения переходов между вопросами
• проверка соблюдения условия заполнения вопроса (как отдельного вопроса, так и списка ответов от зависимых вопросов)
• проверка интервью на уникальность в рамках одного исполнителя (интервьюера/партнёра)
• использование «вопросов-ловушек»
• проверка на корректное заполнение вопросов с открытым числовым вводом (на допустимость значений)
• проверка на неявную сопоставимость между вопросами
• другие виды проверок по запросу руководителя проекта и клиента 

В случае привлечения партнеров на выполнение отдельных видов работ (подрядчиков) по итогам проекта осуществляется анализ информации о их работе. По каждому проекту выполненной работе присваивается оценка качества по 10-балльной шкале. Балл рассчитывается исходя из процента выявленных нарушений. Формируется рейтинг, на основе которого 1 раз в 6 месяцев принимается решение о продолжении или прекращении работы с исполнителем (за исключением случаев грубых нарушений, когда работа с подрядчиком прекращается сразу). При выявлении многократных случаев некачественной работы у одного и того же подрядчика (до 3-х проектов, по которым получен низший балл) он заносится в «чёрный список», работа с таким партнёром прекращается. Информация о недобросовестных компаниях передается в профессиональные ассоциации исследовательских компаний – Группа 7/89, ОИРОМ, АМКО.