Термин «пробное исследование» в литературе употребляется как:
- синоним поискового (разведывательного) исследования;
- синоним пилотажного исследования;
- собирательное понятие, включающее как свои разновидности (подвиды) поисковое (разведывательное) и пилотажное исследования. Будем считать, что поисковое (разведывательное) и пилотажное — два основных подвида пробного исследования.
Поисковое (разведывательное) исследование проводится с целью уточнения проблемы, более корректной постановки задач и выдвижения обоснованных гипотез. Таким образом, по своей сути оно есть концептуальное исследование. Проведение его особенно желательно в том случае, если литература по интересующей вас тематике отсутствует или ее недостаточно.
Разведывательное исследование — наиболее простой вид социологического анализа: круг задач ограничен, число опрошенных невелико, программа и инструментарий крайне упрощенные; данные нерепрезентативные. Ученый получает лишь прикидочные сведения об объекте исследования для общей ориентации в проблеме. Оно используется для мало изученных или вообще не изученных проблем. Его лозунг — приблизительно, дешево и быстро.
Поисковое исследование может проводиться следующими методами:
- интервью (лучше неформализованное) с потенциальными респондентами;
- наблюдение;
- фокус-группа по центральной проблеме исследования;
- опрос экспертов — специалистов или просто людей, имеющих отношение к интересующей вас проблемной области;
- изучение документов, статистических данных, содержащих необходимые сведения по выдвинутым задачам и гипотезам.
Вариантом разведывательного исследования выступают экспресс-опросы. Их еще называют оперативными опросами. Ими пользуются многочисленные опросные фирмы — от ВЦИОМ до РОМИР. Правда, опросы они проводят, как правило, очень грамотные, но глубоких научных задач развития фундаментальной науки не ставят. Решаются сиюминутные, но очень нужные обществу, ведомству или частному заказчику утилитарные задачи: как народ относится к президенту, запрещению абортов, войне в Чечне, приезду Буша, террористическим актам 11 сентября 2001 г. Таким образом получают свежую, недолговечную (срок ее жизни исчисляется днями, неделями, реже месяцами), но очень нужную в данный момент информацию.
Если за дело берется не солидная опросная фирма, имеющая лицензию на проведение опросов, а группа любителей (отдел кадров, хозяин веб-сайта, кружок друзей словесности, журнал и т.д.), то оперативный опрос дает хотя и свежую, даже нужную информацию, но совершенно нерепрезентативную, не очень надежную или совершенно ненадежную. Она может быть достоверной, но только на первый взгляд. Стоит подойти к инструменту по всем научным меркам, как проявятся многочисленные изъяны. Но там, где не требуется великой строгости, где нужно лишь как-то сориентироваться в проблеме (разведать объект), оперативный опрос вполне годится.
Разведывательное исследование часто называют также пилотажным исследованием. Хотя правильнее считать его самостоятельным видом социологического исследования. Разведывательное и пилотажное исследования похожи в двух аспектах:
- Цель — получить примерные данные о том или ином явлении либо апробировать применение методики к более широкомасштабным исследованиям.
- Объект — для проведения того и другого исследования нужна незначительная совокупность объектов, поэтому они проводятся в ограниченные сроки.
Но в отличие от разведывательного, пилотажное исследование предназначено для отработки технических процедур и приемов, чаще всего — для апробации вопросника. Предварительная проверка опросного инструментария столь же важна для успеха исследования, считают Дж. Мангейм и Р. Рич, как пробная поездка — для успешной покупки подержанного автомобиля. Она помогает обнаружить проблемы, которые в полной мере могут проявиться только в полевых условиях.
При проведении пилотажного исследования необходимо учитывать правила:
- Объем выборки в пилотажном исследовании не имеет четкого методического обоснования. Обычно полагают достаточным опросить около 30 респондентов. Важно только, чтобы они представляли все существенные категории планируемого объекта исследования.
- Малая выборка в пилотаже вовсе не обязательно должна быть репрезентативной по отношению к генеральной совокупности. Куда важнее другое ее качество — разнообразие: она должна включать те группы респондентов, которые способны реагировать на инструментарий по-разному. Если малообразованные люди составят в будущей выборке незначительную долю, их необходимо опрашивать в первую очередь именно потому, что они могут отвечать на ваши умные вопросы совсем не так, как ожидается.
- В пилотажную выборку включают тех респондентов, которые представляют наиболее важные для темы опроса социально-демографичекие признаки (пол, возраст, образование, стаж работы, содержание труда и т.п.).
В социальной психологии пилотажное исследование (рабочий термин «зондаж») применяется для установления необходимого объема выборки, уточнения содержания и числа вопросов анкеты, времени опроса и др. В зарубежной и отечественной практике применения тестов (тестологии) пилотажа (рабочий термин — «претест») служит средством выявления некоторых стандартов основного теста.
В социологии пилотаж проводится до основного исследования и выступает способом проверки обоснованности гипотез и задач, а также профессионального уровня и методической отработанности инструментария. Пилотаж помогает оценить правильность модели выборки и внести в нее в случае необходимости соответствующие исправления; уточнить некоторые характеристики объекта и предмета исследования, обосновать финансовые расходы и сроки проведения главного исследования. Пилотаж полезен также для тренировки группы интервьюеров (анкетеров).
Современные социологи придерживаются правила: прежде чем отдавать анкету в большой тираж, ее целесообразно опробовать в малотиражном (пилотажном) опросе, чтобы уточнить, правильно ли понимают вопросы респонденты, не слишком ли она длинна и утомительна, сколько времени занимает ее заполнение (или интервью), а в случае почтовой рассылки — сколько дней проходит с момента отправления анкеты до получения ответов.
Пилотажное исследование представляет собой исследование по «укороченному» плану — в нем используются малые выборки, не в полной степени проводится сбор информации, полученная информация анализируется только по наиболее значимым критериям. Если пилотажное исследование проводится в цикле исследования хорошо изученной проблемы, оно позволяет «отточить» инструментарий исследования, выявить и устранить его дефекты и дефекты подходов к математическому анализу. Проведение пилотажного исследования в этом случае позволяет избежать сбора информации по «пустым» вопросам, ответы респондентов на которые не подлежат анализу, или неадекватно (неоднозначно) интерпретируются самими респондентами. Для поискового исследования (исследования в сфере недостаточно разработанной) пилотажное исследование предоставляет информацию для уточнения многих пунктов программы, что в дальнейшем обеспечивает немалую экономию ресурсов.
Пилотаж полезен для:
- тестирования инструментария, в котором исследователь вполне уверен,
- усовершенствования инструментария в ситуации, когда предмет исследования хуже известен исследователю.
В первом случае инструментарий проходит предварительное испытание в своем окончательном варианте. Во втором исследователь может захотеть поэкспериментировать с разными вариантами (макетами) инструмента, чтобы узнать, какой из них удобнее в работе, Предварительное тестирование такого типа может включать в себя:
- Тестирование различных словесных формулировок и форм вопросов.
- Опробование анкеты, предназначающейся для самостоятельного заполнения респондентом, в личном интервью, чтобы в процессе живого общения с респондентом выявились возможные трудности ее заполнения.
- Употребление открытых вопросов для выявления типичных ответов, которые затем можно будет включить в набор ответов на закрытые вопросы, с тем чтобы использовать последние в окончательном варианте.
- Тестирование различных видов инструментария (почтовых анкет, очных интервью, телефонных интервью) с целью определения годности каждого из них.
Пилотаж можно считать генеральной репетицией к главному исследованию. Он позволяет сделать первые выводы о том, насколько успешно прошел этап подготовки к нему, какими могут быть ожидаемые результаты. В ходе такого опроса собирается методическая информация, т.е. информация о качестве разработанного инструментария. Проверяются все организационные и методические условия будущего исследования, и прежде всего: доступность необходимых документов, отношение респондентов к опросу и их реакция на вопросы анкеты. Оценивая качества методики опроса, социолог регистрирует любые затруднения респондента, вызванные техникой заполнения, непониманием смысла вопросов, отдельных слов. Учитываются также все замечания и наблюдения анкетеров о методических недостатках, которые им удалось обнаружить.
Пилотаж проводится в двух вариантах. В первом — всю группу респондентов приглашают в отдельную комнату, где на столах разложены анкеты. Респондентов «вводят» в ситуацию пилотажа, т.е. объясняют его цели и задачи, инструктируют по технике заполнения анкеты и просят высказать после заполнения критические замечания, поговорить о неясностях и о тех вопросах, которые затрудняют работу с анкетой. Заполненные анкеты опускаются в опечатанные урны, после чего начинается групповое обсуждение содержания опроса в целом. Показателями, позволяющими оценить пригодность анкетного вопроса, выступают число неответивших на вопрос и характер распределения ответов по шкале, используемой в вопросе.
Второй вариант пилотажного опроса предполагает приглашение группы из 3—4 респондентов для обсуждения анкеты по мере ее заполнения: опрашиваемые делают пометки о качестве вопросов. Перед началом пилотажа их вводят в ситуацию экспертного опроса, объясняя, что содержание ответов не анализируется, так как опрос преследует только методические цели. Им задается примерно тот же круг методических вопросов, что и в предыдущем случае. Замечено, что подобная процедура повышает заинтересованность респондентов и уровень критического восприятия анкетного вопроса.
В Аналитическом центре «Бизнес и маркетинг» обязательный пилотаж сформированной анкеты проводится в ходе пробных интервью с несколькими респондентами, принадлежащими к целевой группе (обычно 3—5 респондентов, при сложных исследованиях — 10—15). Это позволяет определить степень понимания вопросов, обнаружить другие особенности их восприятия. По результатам пилотажа, если необходимо, в анкету вносятся коррективы. Особенности проведения пробного опроса подробно обсуждаются также на «круглых столах» с интервьюерами, участвующими в проекте. При этом коллективно имитируется процесс проведения интервью в лабораторных условиях.
Пилотажные материалы хранятся в особых папках опросной фирмы. Они включают в себя первоначальный вариант вопросника, протоколы, фиксирующие замечания респондентов и социологов, а также доработанный вариант анкеты. Со временем накапливается своеобразный «банк» методических решений, появляется опыт и навыки анализа типичных методических ошибок, доработки инструментария.
Пилотажное исследование составляется на основе логического осмысления всей проблемы будущего исследования, приблизительного расположения вопросов с точки зрения их очевидной целесообразности. В ходе пилотажа проверяются все процедуры, весь инструментарий исследования, выбраковываются неудачные вопросы, вносятся коррективы на отдельных этапах исследования.
К его проведению надо относиться как к приобретению страховки: вы, конечно, можете обойтись и без нее, если повезет. А если нет?