Trust but verify, or once again about evidence based medicine

Cover Page

Abstract


In everyday life doctors have to verify whether they can trust certain diagnistic procedures and treatment methods. There are different study types that vary in terms of their validity. This article reviews application of famous approach "trust but verify" to the selection of medical literature.


Особая прелесть перелетов в аэропорты Юго-Восточной Азии (Вьетнам, Таиланд, Сингапур) состоит в том, что после длительного путешествия есть возможность быстро и за довольно умеренную цену сделать массаж отекших и уставших от многочасовой обездвиженности стоп, часто прямо в терминале аэропорта, что особенно удобно, если у вас есть немного времени до посадки на стыковочный рейс. В процессе массажа вам обязательно расскажут о том, что это не просто оздоровительная процедура, но вариант рефлексотерапии, при котором путем давления на определенные участки стопы можно воздействовать на функцию тех или иных органов тела, улучшить гомеостаз организма и даже вывести из него токсины.

Конечно, как колумнисту тиреоидологического журнала мне особенно был приятен массаж вокруг подушечек стопы у большого пальца, где предположительно располагается зона ответственности щитовидной железы. Однако для ощущения положительного эффекта от массажа стоп мне вовсе не обязательно было знать теорию Аюрведы и тем более проверять ее на соответствие современным научным знаниям. Мне было хорошо и без привлечения доказательной медицины (ДМ).

Но если вопрос касается более сложных материй, чем массаж подушечек стопы, то, очевидно, нужны более точные доказательства эффективности, надежности и безопасности диагностической или лечебной процедуры (тем более – лекарственного средства), за которыми уже нужно будет обратиться к научной литературе. Как не все йогурты одинаково полезны, так и не всякая научная публикация является надежным источником информации – тут существует определенная иерархия доказательности. Например, та, что представлена нарисунке. Рассмотрим ее, восходя от подножия к вершине пирамиды.

В самом низу пирамиды познания располагаютсяидеи, редакционные статьи и мнения(ideas, editorials and opinions). Увы, мои уважаемые читатели, та статья, которую вы читаете именно сейчас, как раз попадает под категорию идей и мнений. С самого начала сотрудничества с журналом я самонадеянно назвал колонку “De Gusbibus…”, или “О вкусах… (не спорят)”, и излагаю в ней свою собственную точку зрения (вполне возможно – субъективную).

Следующими в иерархии являются исследованияin vitro, т.е. выполненные в пробирке или чашке Петри с культурами тканей или заразными микробами. Они чрезвычайно полезны и необходимы, но степень доверия к ним не столь велика, равно как и к исследованиям наэкспериментальных животных(animal research). Поэтому они тоже располагаются у подножия пирамиды.

По мере восхождения ввысь степень достоверности научных статей возрастает. Публикации отдельныхклинических случаев(case reports, или заметки из практики) или нескольких случаев сразу (case series) часто является первым звонком о новой грозящей опасности. Так было 35 лет тому назад, когда было опубликовано первое сообщение о случае ВИЧ/СПИДа. Так случилось и совсем недавно, когда было сообщено о случаях микроцефалии у детей в странах Южной и Центральной Америки, матери которых были инфицированы вирусом Зика.

Но наиболее частыми, и не только в отечественных медицинских журналах, являются исследования из серии“случай–контроль”(case control studies). Это когда мы сравниваем клинические или лабораторные показатели у группы пациентов с каким-либо заболеванием с контрольной группой. Или оцениваем эффект лекарственного препарата у одной группы пациентов по сравнению с другой.

Еще этажом выше располагаютсякогортные исследования(cohort studies), в которые испытуемых отбирают на основании воздействия на них какого-либо фактора (например, радиации, вдыхания частиц асбеста или препаратов йода) и изучают частоту развития тиреоидных, онкологических, сердечно-сосудистых или прочих заболеваний.

Существуютретроспективныекогортные исследования, которые прослеживают эффект события, которое не только случилось, но и уже дало свои последствия. Например, ретроспективные когортные исследования щитовидной железы у детей в загрязненных радионуклидами районах начались спустя примерно 5 лет после аварии на Чернобыльской АЭС, когда заболеваемость раком щитовидной железы у детей в Гомельской области Белоруссии неожиданно возросла в десятки раз.

А вот после атомной бомбардировки Хиросимы и Нагасаки были проведены массивныепроспективныенаучные исследования влияния радиации на здоровье населения. В конце 1940-х гг. еще мало было известно об отдаленных последствиях радиационного воздействия и американское правительство построило госпиталь и научные лаборатории в Хиросиме для проспективного когортного исследования “хибакуся”1. Другим примером проспективного когортного исследования является знаменитое Фремингемское исследование сердца2, которое является самым продолжительным эпидемиологическим проектом в истории медицины.

По современным воззрениям, “золотым стандартом” в медицинской науке являютсярандомизированные контролируемые исследованияс использованием двойного слепого метода (randomized controlled double-blinded studies). Главным отличием таких исследований является то, что участники основной и контрольной групп пациентов отбираются случайно, а сами исследователи не знают, какие пациенты получают изучаемый препарат, а какие – плацебо. Эти данные открываются только в самом конце исследования.

Ну а на самой вершине пирамиды знаний находятсясистематические обзоры литературы и метаанализ(systematic reviews and meta-analysis) – методы, помогающие исследователям обобщать данные отдельных исследований с тем, чтобы повысить надежность и доказательность данных. Ведущая роль в составлении систематических обзоров принадлежит Кокрановскому сотрудничеству (Cochrane Collaboration) – международной некоммерческой организации, изучающей эффективность медицинских технологий путем критической оценки, анализа и синтеза результатов научных исследований по строгой систематизированной методологии, которую постоянно совершенствуют. Результаты этих исследований в виде систематических обзоров публикуются в базе данных сотрудничества (Cochrane Library).

Насколько обоснована описанная выше иерархия доверия к разным типам научных публикаций? Не очень, скажу прямо: такого рода обобщения являются не более чем личным мнением отдельного автора (в данном случае – журналиста, пишущего на медицинские темы) и, согласно созданной им же пирамиде познания, заслуживают наименьшего доверия.

По моему же личному мнению (которое тоже не заслуживает большого доверия в рамках рассматриваемой концепции), систематические обзоры литературы не должны венчать олимп достоверности и надежности научных публикаций. Все же систематические обзоры не являются самостоятельными исследованиями, а метаанализ представляет собой синтез данных из уже опубликованных научных статей.

У компьютерщиков есть такое понятие как “garbage in, garbage out”, которое можно перевести как “мусор на входе, мусор на выходе”. Компьютер может обрабатывать любые, самые бессмысленные данные (“мусор на входе”), но в результате получается еще большая белиберда (“мусор на выходе”). Конечно, авторы систематических обзоров для включения в метаанализ стараются использовать самые качественные данные из тщательно отобранных источников. Но в науке нет всемирно признанного знака качества, и ситуация “мусор на входе, мусор на выходе” остается весьма вероятной.

Кроме того, при отборе литературы для анализа ученые часто (сознательно или нет) отбирают те исследования, которые больше отражают их собственную точку зрения, нежели мнения оппонентов. В своей колонке я уже не раз писал о научной и практической обоснованности амбициозных программ снижения потребления пищевой поваренной соли. Дискуссии на эту тему не затихают по сей день, выливаясь в новые статьи, комментарии и даже рекомендации ВОЗ. Поляризация мнений достигает такого уровня, что на просьбу известного ученого дать комментарий к статье другой светила медицинской науки ответил (далее мой вольный перевод): “Эта статья не что иное как мусор… почему-то люди до сих пор не понимают, что большинство научных статей против ограничения потребления соли профинансированы пищевой или соляной промышленностью. Точно так же табачная промышленность поступала раньше в отношении ограничения курения. Ничего я по этому поводу писать не буду” [2]. Может, сторонники противных точек зрения в науке скоро станут вызывать друг друга на дуэль и биться на шпагах до первой крови?

Авторы недавней критической статьи [3] проанализировали 269 материалов (25% – первичные исследования, 5% – систематические обзоры, 4% – рекомендации и 66% – комментарии, письма и обзоры литературы), опубликованных с 1978 по 2014 г. Из них 54% были в пользу снижения потребления соли, 33% имели противоположное мнение, а 13% были расценены как неубедительные. Было выявлено, что авторы проанализированных материалов в полтора раза чаще (1,51; 95% CI 1,38–1,65) цитировали исследования, совпадающие с их точкой зрения, чем с противоположной. Можно ли считать такие материалы непредвзятыми?

Кроме непоколебимых убеждений в собственной научной правоте, есть и иные, тактично говоря, материальные причины придерживаться определенной точки зрения в медицинской науке. В свежей статье [4] в журнале PLOS Medicine говорится о том, что только половина (точнее – 51%) из 290 национальных и международных рекомендаций по медицинской практике, опубликованных 95 организациями и зарегистрированных в United States National Guideline Clearinghouse, раскрывали информацию о возможной финансовой заинтересованности их авторов. Некоторые из этих рекомендаций расширяли дефиниции заболеваний (очевидно, формулируя понятия типа “предиабет” или “субклинический гипотиреоз”) или, напротив, снижали пороговые значения индикаторов диагностики. При этом 75% авторов этих рекомендаций честно указали на получение определенных финансовых выгод (плата за лекции и консультации) от фармацевтической промышленности. Никого из вас не терзают смутные сомнения?

Хотя рандомизированные контролируемые исследования считаются “золотым стандартом” в медицинской науке, у них тоже есть свои недостатки. Во-первых, эти исследования очень дороги. Во-вторых, в некоторых ситуациях для них могут существовать этические ограничения. Например, очень сложно провести двойное слепое контролируемое исследование влияния дефицита йода на интеллект детей. С учетом того, что уже известно науке, мало какой этический комитет разрешит использование в таком исследовании плацебо. А в некоторых случаях (например, при исследованиях в области питания) плацебоконтролируемые исследования просто невозможны. Если вы изучаете полезные свойства огурцов, то что можно использовать в качестве плацебо?

Бывают ситуации, когда массивные рандомизированные плацебоконтролируемые исследования не только не проясняют ситуацию, но и еще больше ее запутывают. Это случилось около 10 лет тому назад с самым крупным в истории медицины рандомизированным контролируемым исследованием по влиянию добавок витамина А на смертность детей раннего возраста в развивающихся странах. В исследовании, проведенном в штате Уттар Прадеш в северной Индии, участвовал миллион (!!) детей в возрасте от 6 мес и старше: половине была назначена массивная лечебная доза витамина А в виде капсул, а половине – плацебо.

Результаты были разочаровывающими – не было выявлено достоверного снижения смертности у детей, получивших большую дозу витамина А, по сравнению с контролем. О “фиаско витамина А” я впервые услышал на заседании Форума по микронутриентам в Стамбуле в 2007 г. К сожалению, подробные результаты этого грандиозного проекта так никогда и не были опубликованы. До проведения этого грандиозного исследования предполагалось, что назначение витамина А снижает младенческую и детскую смертность примерно на 10%, и многие развивающиеся страны проводили массивные кампании по распространению капсул с витамином А, которые им поставляли международные организации, включая ЮНИСЕФ. Само же исследование ставило задачей окончательно доказать обоснованность расходов и усилий на проведение этих мероприятий [5]. Однако годы прошли, а научное сообщество так и осталось в состоянии мучительного сомнения…

Русская поговорка “доверяй, но проверяй”, которая стала широко известной в мире благодаря президенту США Р. Рейгану3, очень хорошо отражает смысл ДМ. В реальной жизни тут могут возникать вопросы, например, чему больше верить: старой кафедральной методичке или новому кокрановскому обзору? Есть даже целые научные дисциплины, которые плохо пока уживаются с ДМ.

В начале этой колонки я сознался в любви к массажу. Скажу больше – я люблю места в центре Европы с названиями, начинающимися или кончающимися слогом “бад”, что в географическом смысле означает курорт с минеральными водами. Большинство этих мест ведет свою историю с времен завоевания римлянами (большими любителями терм) земель варваров, и столетиями они являлись местом паломничества как европейской знати, так и простолюдинов, нуждающихся в лечении недугов целебными водами.

Сегодня, как тактично пишет памятка, которую я подобрал у бювета одного из европейских курортов, “эффект от лечения минеральными водами принято ставить под сомнение, однако такие курорты по-прежнему популярны по всей Европе”. Россия в плане популярности лечения термальными водами не является исключением, а их целительные свойства даже изучает отдельная научная специальность “14.00.34 – курортология и физиотерапия”.

Возьмем для примера лечение радоновыми ваннами (сам, сознаюсь, принимал их 30 лет тому назад в пятигорском санатории). Представить такой курорт в Америке довольно трудно – у радона за океаном очень плохая репутация канцерогена, а при покупке домов даже полагается сначала проверять строение на содержание радона в воздухе. После всего этого вряд ли вы найдете достаточно желающих добровольно нырнуть в радоновую ванну.

На сайте отечественных медицинских диссертаций4выложены десятки работ по применению бальнеологических методов лечения, включая радоновые ванны. Однако ни заграничная поисковая машина Google, ни даже российский Яндекс не желают принимать к рассмотрению начертанное латинскими буквами слово radonotherapy и автоматически исправляют его на radiotherapy, что, может быть, и немного похоже по смыслу, но категорически отличается по существу. Доверия к ключевому слову это не прибавляет, свидетельствуя об отсутствии такого термина в мировой литературе.

Действительно, на поверку ни систематических обзоров литературы, ни метаанализа результатов лечения радоновыми ванными в кокрановской базе обзоров найти мне не удалось. Как говорит ведущий одного популярного телевизионного шоу – “нет такой буквы в этом слове”. Спустившись по научной пирамиде на этаж ниже, я стал искать рандомизированные контролируемые исследования по интригующей меня теме. И тут меня постигла удача! Спасибо, что кроме России радоновые ванны также применяются в Германии и такое исследование было проведено и опубликовано во вполне уважаемом научном журнале [6].

Всего лечение получило 60 больных ревматоидным артритом. Была выполнена рандомизация, и половина пациентов получила курс из 15 радоновых ванн, а другая часть – плацебо (углеводородные ванны), т.е. те же волшебные пузырьки газа, но без радиации. По специальной шкале исследовали выраженность болевого синдрома до курса лечения, по его окончании и спустя 3 и 6 мес. Сразу после курса лечения водами одинаковый положительный эффект был выявлен в обеих группах. Но вот спустя 6 мес болезненность была достоверно менее выражена у тех пациентов, которые получали радоновые ванны.

Таким образом, с позиции ДМ можно сделать вывод о преимуществах радоновых ванн перед углекислым газом, хотя различия в интенсивности боли в 16,9% даже прир< 0,05 меня, честно говоря, не очень убедили. Некоторые научные журналы вообще отказываются сейчас публиковать статьи, если их выводы основаны только наp< 0,05, а требуют многосторонних статистических доказательств.

А может быть, в каких-то случаях (парная баня, массаж стоп в аэропортах или минеральные ванны на курортах) никаких научных доказательств пользы и вовсе не требуется? Ведь о вкусах не спорят…

Gregory A. Gerasimov

Iodine Global Network (IGN), New-York

Author for correspondence.
Email: gerasimovg@inbox.ru

United States

MD, PhD, Professor

  1. Schwitzer G. Covering medical research. A guide for reporting on studies. Center for excellence in health care journalism; 2010.
  2. Ioannidis JP. Commentary: Salt and the assault of opinion on evidence. Int J Epidemiol. 2016;45(1):264-265. doi: 10.1093/ije/dyw015.
  3. Trinquart L, Johns DM, Galea S. Why do we think we know what we know? A metaknowledge analysis of the salt controversy. Int J Epidemiol. 2016;45(1):251-260. doi: 10.1093/ije/dyv184.
  4. Bastian H. Nondisclosure of financial interest in clinical practice guideline development: an intractable problem? PLoS Med. 2016;13(5):e1002030. doi: 10.1371/journal.pmed.1002030.
  5. Latham M. The great vitamin A fiasco. World nutrition. 2010;1(1):12-45.
  6. Franke A, Reiner L, Pratzel HG, et al. Long-term efficacy of radon spa therapy in rheumatoid arthritis – a randomized, sham-controlled study and follow-up. Rheumatology (Oxford). 2000;39(8):894-902.

Views

Abstract - 1099

PDF (Russian) - 471

Cited-By


PlumX

Dimensions


Copyright (c) 2016 Gerasimov G.A.

Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.

This website uses cookies

You consent to our cookies if you continue to use our website.

About Cookies