DOI: 10.51217/npsyresearch_2021_01_02_06
Крючков К.С.
Московский институт психоанализа, Москва, Россия
В настоящей статье приведен обзор современных исследований и теоретических работ, посвященных исследованиям эффективности психотерапии. Автор полемизирует c периодически высказываемой позицией превосходства «доказательного» подхода в психотерапии. Автор также выражает сомнения в корректности проверки эффективности психотерапевтических подходов по естественно-научным и медицинским стандартам, указывая на то, что медицинская и естественно-научная методология не слишком пригодна для анализа немедицинских психотерапевтических подходов.
Предложен обзор исследований эффективности психотерапии, демонстрирующих «парадокс эквивалентности», то есть одинаковой эффективности различных психотерапевтических подходов. Данный парадокс, обнаруженный в середине двадцатого века, подтвержден достаточным массивом исследований и по сей день не опровергнут. Автор также производит обзор исследований, опровергающих утверждения о большей эффективности одних подходов (в частности, так называемых «доказательных подходов») по сравнению с другими. Кроме того, в работе проведен анализ исследований «общих факторов» психотерапии.
Концепция общих факторов, явившаяся следствием дальнейшей эмпирической разработки «парадокса эквивалентности», построена на том, что принципиально важен не подход, применяемый психотерапевтом, но определенные личностные и профессиональные качества самого психотерапевта. На основании обзора исследований автор заключает, что «работает» в психотерапии не «подход», а, в первую очередь, человек, психотерапевт. Вопрос же о том «что работает в психотерапии» или «что эффективно» необходимо переформулировать, изменить его формулировку на «кто эффективен»? Автор предостерегает от выхолащивания психотерапии как антропологической практики посредством сведения ее к набору техник или методик и исключения собственно личности психотерапевта, выведения её за скобки.
Ключевые слова: психотерапевтические исследования, эффективность психотерапии, навыки психотерапевта, теория общих факторов психотерапии, парадокс эквивалентности, эффект птицы Додо
Введение
В отечественной психологии и психотерапии периодически возникают споры относительно «доказательности» и «эффективности» психотерапии. Иногда можно встретить достаточно громкие заявления о более высоком качестве конкретных подходов, необходимости «доказательной» психотерапии. Существует позиция обязательного следования медицинскому подходу для проверки эффективности психотерапии: «либо психотерапия попытается преодолеть скептическое отношение к доказательному подходу и откажется от разрушающей профессию конфронтации между различными школами, либо признает, что психотерапевтическую деятельность невозможно оценивать с помощью методов научной статистики и согласится существовать вне доказательной парадигмы» (Менделевич, 2019, с. 9).
Подобные заявления затем переходят со страниц научных журналов в поле более широкого обсуждения в прессе и социальных сетях и служат опорой для вынесения собственного мнения аудиторией, далекой от научных изысканий. Вместе с тем обоснованность подобных заявлений вызывает серьезные сомнения. В рамках настоящей статьи рассматриваются современные зарубежные исследования и обзоры, свидетельствующие не только о снятии с повестки дня вопроса о том, эффективна ли терапия, но преодолевающие ту самую «конфронтацию», о которой ошибочно пишут некоторые авторы. Кроме того, приводятся данные, показывающие недопустимость полагать одну из школ психотерапии как «более эффективную» в сравнении с другими.
Проблема
Эффект птицы «Додо» – все бегут, и все получают призы
Начать стоит с того, что исследования психотерапии как предмета отличаются особой методологией. Очевидно, что невозможно проводить «двойные слепые» исследования психотерапии. По той простой причине, что, в отличие от врача, не знающего, дает он
Неоконченные споры об эффективности психотерапии пациенту плацебо или лекарство, психотерапевт не может не быть осведомлен относительно тех моделей и процедур, которые лежат в основе используемого им метода и которые он «применяет» при работе с клиентом. Своего рода «золотым стандартом» в исследованиях эффективности психотерапии стала процедура метаанализа. Метаанализ, как указывает А.Б. Холмогорова, стал основной процедурой, применяемой в психотерапевтических исследованиях, начиная с 1980-х гг. Этот метод представляет собой статистическое объединение данных нескольких исследований, обобщаемых в систематических обзорах, которые включают результаты различных исследований при условии, что они отвечают общим методическим требованиям к дизайну исследования (общие характеристики изучаемого метода терапии, критерии отбора пациентов, используемые диагностические инструменты) (Холмогорова и др., 2010).
Психотерапия по сути своей является неклассической наукой, следовательно, традиционная методология исследований, применяемая в психофармакологии, в естественных науках, вряд ли применима в психотерапевтических исследованиях (Холмогорова, 2010).
Перейдем, собственно, к исследованиям эффективности психотерапии и психотерапевтических направлений.
Тот факт, что «психотерапия работает» не ставится под сомнение уже давно. Огромный пласт исследований посвящен данному вопросу. Как бы подытоживая более чем вековую историю исследований, в 2012 году Американская психологическая ассоциация принимает резолюцию об эффективности психотерапии. Следует подчеркнуть, что мета-исследования показывают «силу эффекта» (size-effect) 0.8, что означает: у среднего клиента, получающего психотерапию, изменения будут лучше, чем у 79% тех, кто не получает психотерапию (контрольная группа). Стоит отметить, что АПА весьма долго не принимала резолюцию о том, что психотерапия как таковая вообще «работает» и сама по себе лучше, чем плацебо (Campbell et al., 2013).
В отечественной науке, хотя психотерапевтические исследования не являются широко представленной отраслью, данные результаты также известны. В частности, А.Б. Холмогорова с соавторами, приводя обширный обзор исследований психотерапии, отмечает, что уже с 1990-х годов появляются обобщенные обзоры, однозначно свидетельствующие об эффективности психотерапии как таковой (Холмогорова и др., 2009).
Оставляя в стороне вопрос «официального» признания того, что психотерапия «работает», стоит вместе с тем отметить следующее: уже с 50-х годов у специалистов не было сомнений в том, что психотерапия «как таковая», как практика, явно полезна.
Однако остался вопрос о том, какая психотерапия работает лучше. Саулом Розенцвейгом еще в 30-е годы ХХ-го века было предложено понятие «эффекта птицы Додо», в отечественной литературе порою именуемое «парадоксом эквивалентности» (Орлов, 2006). (Метафора «Додо» была взята из сказки Л. Кэррола «Алиса в Стране чудес». Напомним, что данный персонаж устроил забег по кругу, затем объявив победителями всех, кто бежал, всем раздав призы.) Гипотеза об эквивалентной эффективности различных подходов существует, как мы указали, с 30-х годов. В 1975 году Люборски, Сингер и Люборски опубликовали работу, созданную на основе анализа более 100 сравнительных исследований психотерапии. Они подтвердили гипотезу Розенцвейга: если сравнивать результаты различных видов психотерапии, то различия минимальны (Luborsky et al., 1975).
Данный эффект неоднократно подтверждался материалами исследований: к ним следует отнести многочисленные мета-анализы первоначальных данных Люборского (см., напр.: Wampold et al., 1997b). В частности, сам Люборски с соавторами уже в начале 2000-х годов провел обзор 17 мета-анализов различных психотерапевтических исследований, и его результат подтвердил существование эффекта «птицы Додо» (Luborsky, 2002).
Итак, «все получают призы». К чему же привел такой результат исследований? Несмотря на многократные попытки оспорить указанную концепцию, она остается не опровергнутой. Исследования показывают небольшие различия между подходами в работе с различной симптоматикой, но не демонстрируют чьего-либо «превалирующего» преимущества (Холмогорова, 2009)
Анализ
Как отмечают ряд авторов (см., напр.: Baardseth et al., 2013), несмотря на наличие многочисленных данных о равной эффективности различных подходов, существует убеждение в большей эффективности когнитивно-бихевиоральной психотерапии. Как видим, некоторые отечественные авторы (Менделевич, 2019) разделяют это убеждение, ссылаясь, в частности, на ряд метаанализов.
Толин (Tolin, 2010), основываясь не метаанализе 26 исследований, в которых было задействовано более 1800 респондентов, делает вывод, что, по меньшей мере, для пациентов с тревожными и депрессивными расстройствами КБТ должна рассматриваться как «метод первого выбора» – основной и наиболее эффективный метод работы.
Нам представляется, что подобные утверждения нельзя считать полностью адекватно обоснованными. Упомянутые выше Бардсет и его соавторы на основе перепроверки данных, использованных Толином, указали, что повторный анализ его же данных не подтверждает какого- либо преимущества КБТ перед иными подходами. Анализ Толина, как явствует из его перепроверки, указывает на незначительную силу эффекта (0,2) и ряд других методологических ошибок в его работе (Baardseth et al., 2013).
Большой международный коллектив авторов (Cuijpers et al., 2013) проведя анализ 115 исследований КБТ в работе с депрессией, установил, что хотя КБТ несомненно является эффективным методом работы с депрессией, эффект данного подхода явно переоценен. Причина, возможно, кроется в том, что КБТ является наиболее часто изучаемым подходом, но не является наиболее эффективным. Другие терапевтические подходы в работе с депрессией дают результат, сходный с результатом КБТ.
К тому же результаты указанных исследований, проведенных в последние годы, согласуются с куда более ранними работами, например Вомполда и соавторов (см., напр., Wampold et al., 1997a, 2002), показавшими отсутствие существенных различий в результатах КБТ и иных подходов.
Самые последние исследования также опровергают утверждения о большей эффективности так называемых «доказательных» мануализированных методов в сравнении с другими подходами в психотерапии. Мануализированные методы – это методы, которые подразумевают работу с конкретными симптомами посредством следования строгим «протоколам» – мануалам – терапии, разрабатываемым отдельно для каждой проблемы/симптома (Drisko, Grady, 2019). Данные методы зачастую расцениваются как близкие к «золотому стандарту» терапии. Вместе с тем, как показывают исследования, утверждения о большей эффективности указанных методов неверны.
Так, коллектив голландских и бельгийских авторов (Truijens et al., 2019) проанализировал ряд исследований эффективности «мануализированных» методов в сравнении с немануализированными. В их выборку в результате попали шесть исследований, непосредственно оценивающих эффективность мануализированных подходов в сравнении с немануализированными, шестнадцать исследований и девять мета-анализов, оценивающих данную эффективность непрямыми методами. В итоге ни прямые исследования, ни мета-анализы не подтвердили предположение о большей эффективности мануализированных методов в сравнении с немануализированными. Авторы указывают, что хотя мануалы и могут быть привлекательны с позиций исследовательских целей, не следует утверждать или продвигать их как более эффективное средство для клинической практики.
Стоит учесть, что указанные сложности, а равно проблематичность проведения исследований, верифицирующих эффективность мануализированных методов, как и другие проблемы, признают и сами практики «доказательной терапии» в позднейших своих работах (см., напр., Drisco, Grady, 2019).
Таким образом, как видим, положение о сходной эффективности различных терапевтических моделей вне зависимости от следования протоколам или каких-либо теоретических оснований, подтверждается эмпирически. К чему же привело такое положение дел?
Что же работает в психотерапии: от вопроса «что?» к вопросу «кто?»
Очевидно, вопрос «что работает в психотерапии» сам по себе исключен быть не может. Однако, исходя из вышеизложенного, можно согласиться с авторами, указывающими, что «психотерапия работает не так, как медицина» (Duncan et al., 2010). В принципе слож- но представить, что возможна разработка «отдельного метода под каждый симптом».
Можно сказать, что произошел «сдвиг» от медицинской модели, которая пыталась рандомизированно измерить эффективность терапии, к модели, исследовавшей эффективность терапевта и вообще процесс терапии, к модели терапевтических факторов (Thomas, 2006; Duncan et al, 2010, Norcross, Lambert, 2011).
В этой области наиболее разработанной является модель факторов психотерапии, впервые предложенная Ламбертом в 1992 году (Lam- bert, Norcross, 1992; Thomas, 2006). Ламберт, на основе собственных исследований и исследований Джона Норкросса, выделил четыре фактора, влияющих на успешность психотерапии, также установив их процентный вклад в общую результативность: «общие факторы психотерапии», отвечающие за 30% результата, «внетерапевтические факторы», дающие до 40%, «эффект ожидания» (или эффект плаце- бо), вносящий до 15%, и «техника», которая дает лишь 15% (Thomas, 2006).
Экстратерапевтические факторы, или внетерапевтические факторы, равноназываемые «факторами клиента», включают в себя особенности личности клиента, психофизиологические и характерологические особенности, особенности социальной среды клиента, семейную среду клиента и прочие факторы, на которые психотерапевт не имеет возможности непосредственно повлиять.
Общими факторами называются такие факторы, которые присущи успешному психотерапевту, способствуют эффективной психотерапии, вне зависимости от терапевтического подхода. Перефразируя Льва Толстого, можно сказать: «все успешные терапевты успешны одинаково».
Выделяют различные «общие факторы», но, по данным последних исследований, к ним относят «коллаборацию с клиентом/консенсус о целях терапии», эмпатию, терапевтический альянс, позитивное принятие клиента, конгруэнтность (подлинность) (Tracey, 2003; Laska et al., 2014; Nahum et al., 2019).
Стоит отметить, что данные факторы крайне похожи на Роджерианские «необходимые и достаточные условия терапевтических изменений» (Роджерс, 2012) и на факторы, которые независимо друг от друга различные авторы в разных комбинациях считают факторами успешности психотерапии и даже обозначают как «техники» терапии (см. напр., Hill, 2009).
Под «моделью» понимается собственно психотерапевтическая модальность, или техника.
Наконец, под «ожиданием» понимается ожидание клиентом позитивного результата, «вера» в то, что изменения наступят.
Последующие исследования показывают различное процентное соотношение указанных факторов, но неизменно наивысший процент влияния демонстрируют «общие факторы» и «внетерапевтические факторы». Влияние же собственно техники современные исследования оценивают еще ниже, чем 15% (Imel, Wampold, 2008). Некоторые даже приходят к заключению, что терапевтическая техника, модальность, протокол, дает вклад не более 1% в общий результат психотерапии (Laska et al., 2014).
Таким образом, общим местом современного факторного подхода к психотерапии является признание роли психотерапевта и важности его/её профессиональных и личностных качеств. Что же до роли «теории», то, как отмечают Андерсон, Лунен и Оглс, для того, чтобы психотерапия была эффективной, в ее основе может лежать теория или даже миф, принципиальным же является то, чтобы данная основа совпадала с культурной «рамкой» и контекстом, в котором проводится психотерапия (Anderson et al., 2010).
Как важную особенность стоит отметить неспецифичность общих факторов относительно «проблемы» клиента. Действительно, из данной модели, как указано выше, следует, что как минимум 40% результата зависит от «внетерапевтических» факторов, то есть особенностей клиента, включая его физиологию, которые терапевт не в силах контролировать. Но собственно «общие факторы», упомянутые выше – эмпатия, терапевтический альянс, конгруэнтность и прочие, – «работают» для практически любого клиента.
Существует ряд исследований, указывающих на некоторую специфичность работы поведенческих терапевтов с определенной симптоматикой (например, с депрессивными расстройствами), но нет исследований, которые бы доказательно выделяли особенно важные = личностные факторы терапевта для отдельных личностных особенностей клиента (мы не имеем ввиду исследования, в частности, приведенные выше, которые апеллируют к эффективности определенной «техники», а говорим именно об «общих факторах» в том их понимании, в котором они представлены в настоящей статье).
В целом, в зарубежной литературе встречается значительное количество работ, посвященных теории общих факторов. Данная модель неоднократно подвергалась серьезной эмпирической проверке, в том числе, в самые последние годы (см., напр., Nahum et al., 2019; Wampold, 2015; Tolin, 2010).
Одним из наиболее полных источников, посвященных «общим факторам», является книга The Heart and Soul of Change, под редакцией Б. Дункана. Данная работа выдержала несколько изданий и содержит исчерпывающую информацию как относительно методологических проблем исследований психотерапии и вопросов общей эффектив- ности психотерапии, так и относительно «общих факторов» (Duncan et al., 2010).
Надо отметить, что теория общих факторов является, хоть и не слишком широко цитируемой в России, но известной специалистам в области психотерапии (Василенко и др., 2020; Колотильщикова и др., 2011; Орлов, 2006; Холмогорова и др., 2009, 2010; Холмогорова, 2009, 2010).
Как отечественные, так и зарубежные авторы склонны отмечать, что развитие психотерапии идет по пути интеграции, ухода от жесткого следования «подходу», к сближению различных модальностей и переходу к развитию терапевта, а не техник, применяемых терапевтом.
Выводы
Из приведенного нами в данной статье материала можно сделать следующие выводы:
• Исследования показывают, что различные психотерапевтические подходы одинаково эффективны в работе с различными видами клиентов и расстройств. Различия между подходами минимальны и редко когда значимы.
• Утверждения о превалирующей эффективности одного подхода над другими, в частности о когнитивно-поведенческой терапии как наиболее эффективной или о «доказательной» мануализированной психотерапии как наиболее эффективной, не соответствуют реальным эмпирическим данным.
• Методологически невозможно провести исследование психотерапии соответствующее «классическим» представлениям о рандомизированном исследовании, подобно фармакотерапии. Причина этого, в частности, в невозможности обеспечить двойное слепое исследование психотерапии. Психотерапия сама по себе – неклассическая дисциплина.
• Современные исследователи идут по пути изучения личной эффективности конкретного психотерапевта вне зависимости от терапевтического подхода. Подход или техника вкладывают не более 15% в общий результат психотерапевтического процесса.
• «Эффективные психотерапевты» вне зависимости от того, к какому подходу они принадлежат, обладают рядом схожих черт (качеств).
В заключение автор хотел бы отметить, что психотерапия, являясь практикой, направленной на работу с человеком, должна ставить самого человека «в центр внимания». Разделение человека на его «симптомы», а человека, который оказывает терапевтическую помощь, на «техники», может вести к потере собственно ЧЕЛОВЕКА и человеческого в психотерапии. Выхолащивание психотерапии, сведение ее к применению «методик», как видно из приведенных выше исследований, явно не способствует росту «эффективности» психотерапии. Наиболее важным компонентом терапии является личность «эффективного» психотерапевта, а не набор методик, которых он/она придерживается.
Благодарность
Исследование выполнено при поддержке гранта РФФИ, проект No 20-313-90031.
Информация об авторе
Кирилл С. Крючков, член совета Всемирной ассоциации человеко-цен- трированной и экспериментальной психотерапии и консультирования (WAPCEPC), преподаватель, кафедра психотерапии и психологического консультирования, факультет психологии, Московский институт пси- хоанализа, Москва, Россия; 121170, Россия, Москва, Кутузовский про- спект, д. 34, стр. 14; kkryuchkov@gmail.com
Для цитирования: Крючков, К.С. Неоконченные споры об эффективности психотерапии: «общие факторы» и «золотой» стандарт // Новые психологические исследования. 2021. No 2. С. 100–114. DOI: 10.51217/npsyresearch_2021_01_02_06
Литература
Василенко, Д.А., Кучеренко, В.В., Петренко, В.Ф. Вавилонская башня психотерапии // Психология. Журнал Высшей школы экономики. 2020. Т. 17. No. 1. С. 10–26.
Колотильщикова, Е.А., Мизинова, Е.Б., Полторак, C.B. и др. Мотивация в психотерапии (обзор литературы) // Обозрение психиатрии и медицинской психологии имени В.М. Бехтерева. 2011. No. 2. С. 13–16.
Менделевич, В.Д. Доказательная психотерапия: между возможным и необходимым // Неврологический вестник. 2019. Т. 51. No. 2. С. 5–12.
Орлов, А.Б. Психотерапия в процессе рождения // Психология. Журнал Высшей школы экономики. 2006. Т. 3. No. 1. С. 82–96.
Роджерс, К. Необходимые и достаточные условия терапевтических личностных изменений // Журнал практического психолога. 2012. No 1. С. 8–25.
Холмогорова, А.Б. Две конфликтующие методологии в исследованиях психотерапии и ее эффективности: поиск третьего пути // Консультативная психология и психотерапия. 2009. Т. 17. No. 4. С. 5–25.
Холмогорова, А.Б. Две конфликтующие методологии в исследованиях психотерапии и ее эффективности: поиск третьего пути (часть II) // Консультативная психология и психотерапия. 2010. Т. 18. No. 1. С. 14–37.
Холмогорова, А.Б., Гаранян, Г.Г., Никитина, И.В. и др. Научные исследования процесса психотерапии и ее эффективности: современное состояние проблемы. Часть 1 // Социальная и клиническая психиатрия. 2009. Т. 19. No. 3. С. 92–100.
Холмогорова, А.Б., Гаранян, Г.Г., Никитина, И.В. и др. Научные исследования процесса психотерапии и ее эффективности: современное состояние проблемы. Часть 2 // Социальная и клиническая психиатрия. 2010. Т. 20. No. 1. С. 70–79.
Anderson, T., Lunnen, K.M., Ogles, B.M. Putting models and techniques in context // In B.L. Duncan, S.D. Miller, B.E. Wampold (Eds.), The heart & soul of change: Delivering what works in therapy. Washington, DC: American Psychological Association, 2010. P. 143–166. https://doi.org/10.1037/12075- 005
Baardseth, T.P., Goldberg, S.B., Pace, B.T. et al. Cognitive-behavioral thera- py versus other therapies: Redux // Clinical Psychology Review. 2013. Vol. 33. No. 3. P. 395–405.
Campbell, L.F., Norcross, J.C., Vasquez, M.J.T. et al. Recognition of psy- chotherapy effectiveness: The APA resolution // Psychotherapy. 2013. Vol. 50. No. 1. P. 98–101.
Cuijpers, P., Berking, M., Andersson, G. et al. A meta-analysis of cogni-
tive-behavioural therapy for adult depression, alone and in comparison with other treatments // The Canadian Journal of Psychiatry. 2013. Vol. 58. No. 7. P. 376–385.
Drisko, J.W., Grady, M.D. Evidence-based practice in clinical social work. Cham, Switzerland: Springer, 2019.
Duncan, B.L., Miller, S.D., Wampold, B.E. et al. The heart and soul of change: Delivering what works in therapy. Washington, DC: American Psycho- logical Association, 2010.
Hill, C.E. Helping skills: Facilitating, exploration, insight, and action. Wash- ington, DC: American Psychological Association, 2009.
Imel, Z.E., Wampold, B.E. The importance of treatment and the science of common factors in psychotherapy // In S.D. Brown, R.W. Lent (Eds.), Handbook of counseling psychology. Hoboken, NJ: John Wiley & Sons, 2008. Vol. 4. P. 249–266.
Lambert, M.J., Norcross, J.C. Handbook of psychotherapy integration. New York: Basic Books,1992.
Laska, K.M., Gurman, A.S., Wampold, B.E. Expanding the lens of evi- dence-based practice in psychotherapy: A common factors perspective // Psy- chotherapy. 2014. Vol. 51. No. 4. P. 467–481.
Luborsky, L., Rosenthal, R., Diguer, L. et al. The dodo bird verdict is alive and well—mostly // Clinical Psychology: Science and Practice. 2002. Vol. 9. No. 1. P. 2–12.
Luborsky, L., Singer, B., Luborsky, L. Comparative studies of psychothera- pies: Is it true that everyone has won and all must have prizes? // Archives of general psychiatry. 1975. Vol. 32. No. 8. P. 995–1008.
Nahum, D., Alfonso, C.A., Sönmez, E. Common factors in psychother- apy // In A. Javed, K.N. Fountoulakis (Eds.), Advances in Psychiatry. Cham, Switzerland: Springer, 2019. P. 471–481.
Norcross, J.C., Lambert, M.J. Psychotherapy relationships that work II // Psychotherapy. 2011. Vol. 48. No. 1. P. 4–8.
Thomas, M.L. The contributing factors of change in a therapeutic process // Contemporary Family Therapy. 2006. Vol. 28. No. 2. P. 201–210.
Tolin, D.F. Is cognitive–behavioral therapy more effective than other thera- pies?: A meta-analytic review // Clinical psychology review. 2010. Vol. 30. No. 6. P. 710–720.
Tracey, T.J.G. Concept mapping of therapeutic common factors // Psy- chotherapy Research. 2003. Vol. 13. No. 4. P. 401–413.
Truijens, F., Zühlke‐van Hulzen, L., Vanheule, S. To manualize, or not to manualize: Is that still the question? A systematic review of empirical evidence for manual superiority in psychological treatment // Journal of Clinical Psy- chology. 2019. Vol. 75. No. 3. P. 329–343.
Wampold, B.E. How important are the common factors in psychotherapy? An update // World Psychiatry. 2015. Vol. 14. No. 3. P. 270–277.
Wampold, B.E., Minami, T., Baskin, T.W. et al. A meta-(re) analysis of the effects of cognitive therapy versus ‘other therapies’ for depression // Journal of affective disorders. 2002. Vol. 68. No. 2–3. P. 159–165.
Wampold, B.E., Mondin, G.W., Moody, M. et al. The flat earth as a meta- phor for the evidence for uniform efficacy of bona fide psychotherapies: Reply to Crits-Christoph (1997) and Howard et al. (1997) // Psychological Bulletin. 1997а. Vol. 122. No. 3. P. 226–230.
Wampold, B.E., Mondin, G.W., Moody, M. et al. A meta-analysis of out- come studies comparing bona fide psychotherapies: Empirically,” all must have prizes.” // Psychological bulletin. 1997b. Vol. 122. No. 3. P. 203–215.