Вестник неминуемых катастроф и научный журналист Ольга Добровидова продолжают скрупулёзно фиксировать все повседневности, которые нас обязательно прикончат. Сегодня вы узнаете, почему чуть более чем все исследования о вреде еды — миф и обман.
Поскольку катастрофы, которые уже произошли, — по определению неминуемые, сегодня Вестник неминуемых катастроф отвлечётся и расскажет о тлене, который с нами уже давно. Так что возьмите чёрный чай, зелёный чай, кофе, красное вино, белое вино, пиво, квас, кумыс, смузи из капусты кейл, апельсиновый сок, соевое молоко, баббл-чай, кефир или спаржевую воду по 6 долларов за 500 миллилитров из Whole Foods и устраивайтесь поудобнее.
На самом деле всё, что вы знаете о еде и её пользе, — неправда, поэтому совершенно неважно, что именно вы взяли и как устроились.
Нет, правда: исследования о питании и его влиянии на здоровье, продолжительность жизни, риск онкологических заболеваний и прочее находятся где-то на уровне шутки про огурцы, ведущие к неминуемой смерти — как известно, 100% тех, кто когда-либо ел огурцы, или обязательно умрут, или уже. Так что одновременно все научные новости, скажем, о кофе — полезно, вредно, непонятно — примерно одинаково бессмысленны.
Наука, как известно, is really fucking hard (по ссылке чудесная статья FiveThirtyEight, из которой я взяла эту цитату). И особенно fucking hard бывает сделать именно то, что во всех этих научных новостях делается с полпинка, — выявить и доказать причинно-следственную связь. Чем она отличается от корреляции, наверное, говорить уже не обязательно: если кто не видел, вот сайт Spurious Correlations, где показано, как иногда переменные вроде числа свадеб в штате Кентукки и количества тех, кто утонул, выпав из лодки на рыбалке, меняются ну очень похожим образом.
Так что для начала обозначим, что фраза «зелёный чай продлевает жизнь» — на самом деле означает в лучшем случае «среди тех, кто пьёт много зелёного чая, много долгожителей» или, наоборот, «среди долгожителей много тех, кто пьёт зеленый чай». В лучшем случае. И это мы ещё не стали разбираться, что такое «много» зелёного чая, что это за чай, что значит «пьёт» (чашечка утром? три литра в день?), а также что такое «долгожитель» и сколько всего «тех» участвовало в исследовании.
Но проблемы с едой, естественно, не ограничиваются плохой научной журналистикой — с наукой тоже не всё в порядке.
В сферическом вакууме, чтобы понять, вызывает ли продукт А явление Б, надо набрать случайную большую выборку людей; случайно поделить её на группы, причём так, чтобы ни испытуемые, ни работающие с ними учёные не знали, кто в какой; одним давать А, а другим ничего или плацебо — что-то на вид и вкус очень похожее на А, но не А; и внимательно мониторить явление Б. Ещё желательно иметь хотя бы какие-то предположения о том, каким образом вообще А может влиять на Б. И ещё желательно, чтобы, повторив ваш эксперимент, кто-то ещё получил такой же результат.
В 1747 году Джеймс Линд из Шотландии поделил двенадцать матросов с цингой на шесть групп прямо на борту корабля Salisbury — удобно, потому что матросы гарантированно жили в одинаковых условиях и, что очень важно в данном случае, одинаково питались. Четырнадцать дней Линд лечил матросов сидром, разбавленной серной кислотой, уксусом трижды в день, морской водой, пастой из чеснока, горчицы, редиса и смолы, а последних двух — двумя апельсинами и лимоном. Апельсинов и лимонов хватило всего на шесть дней, потом они кончились, но подействовали так хорошо, что один из матросов вернулся к обычной службе, а второй стал ухаживать за больными сослуживцами. Что произошло с другими десятью матросами, история, по-видимому, умалчивает.
Линд, как пишут источники, сбился на выводах — почему-то он не стал писать, что цитрусовыми можно лечить цингу. Но его эксперимент всё равно считается первым более-менее современным клиническим испытанием. И сейчас эффективность витамина С в борьбе с цингой — острым дефицитом этого витамина — подтверждена последующими экспериментами.
История с Линдом и его подневольными матросами хорошо иллюстрирует первую проблему с исследованиями питания. Матросов было мало, они никуда не могли сбежать с подводной лодки, то есть с корабля, а их диета жёстко контролировалась корабельной кухней — в современных реалиях так строго можно поставить только очень непродолжительный эксперимент с небольшой группой людей. Иначе они разбегаются, переезжают и, главное, не соблюдают предписанную им диету.
Если же вы всё же нашли способ запереть пару десятков человек в своей лаборатории на несколько дней, а затем правильно провести исследование, вы получите ответы ровно на те вопросы, которые ставили, а именно — о краткосрочном влиянии того или иного продукта на то, что вы оценивали. Любое отступление от этого будет спекуляцией; а поскольку никакой продукт, к счастью, не вызовет у испытуемых рак или ожирение за несколько дней, даже если он на самом деле вызывает рак при регулярном потреблении, вы об этом не узнаете. Все исследователи тайно завидуют Линду и его проклятой цинге.
Если в этот момент вы тоже подумали про тюрьмы, поздравляю, вы достойные читатели «Вестника неминуемых катастроф». У этой идеи есть свои сложности (непростая логистика, очень сомнительная этика — могут ли заключённые дать свободное и информированное согласие?) и свои преимущества (почти всё, как у матросов, плюс — безумно, но факт — с помощью заключённых в США можно было бы сильно повысить этническое разнообразие участников клинических испытаний). Но проблема ещё и в том, что с исследованиями на заключённых уже очень сильно напортачили — в 1942 году, скажем, их заражали малярией, а в 1946 году сифилисом, не предупредив. И теперь это вопрос, на который нет простого ответа. Джессика Митфорд (помимо прочего, автор очень актуальной для нас книжки про похоронную индустрию «The American Way of Death», изо всех сил рекомендую) в 1973 году написала статью о популярности «тюремных» экспериментов, процитировав одного из учёных — по его словам, заключённые «обходились дешевле шимпанзе». Весёлые страницы истории медицинских исследований, очень весёлые.
Так вот, невозможность поставить истинные эксперименты в абсолютном большинстве случаев сильно подрывает доверие к полученным результатам. Более того, некоторые эксперименты ставить нельзя не потому, что не получится, а потому, что это неэтично: если вы предполагаете, что маринованные помидоры вызывают какое-нибудь очень опасное хроническое заболевание, в рамках эксперимента вы, возможно, случайно обрекаете всю вашу экспериментальную группу (ту, которая будет есть помидоры) на это заболевание. Это очень плохая идея.
Выходы из этой ситуации — эксперименты на бессловесных животных, которые обычно довольно сильно отличаются от людей, или наблюдения: когда вы следите за жизнью и здоровьем подопытных, которые просто ведут себя как хотят. Вы записываете, как именно они себя ведут (или собираете медицинские данные, что неизмеримо лучше, чем опросы), записываете, что и когда с ними происходит, и пытаетесь понять, есть ли в этом безумии система.
Тут у исследований еды есть ещё одно весёлое осложнение. Большинство участников не дадут вам установить им в желудок датчик, который собирал бы информацию о попадающей туда еде, то есть вам придётся полагаться на их дневники питания и анкеты. Мало того, что никто не считает, сколько именно пельменей было в тарелке и сколько сухариков насыпали в суп, но также не ходит в ресторан с кухонными весами — без специальных усилий люди вообще плохо помнят, что ели. К тому же участники исследований о вреде продуктов будут лгать вам просто потому, что мало кто готов признать, что добровольно увеличил у себя риск какого-нибудь заболевания.
А ещё в наблюдениях за пищевыми привычками есть элементы квантовой механики. Когда человек знает, что ему вечером заполнять журнал, он может трижды подумать, есть ли эту конфетку — сам факт наблюдения за процессом меняет процесс.
Допустим, вы всё же каким-то чудом собрали нужные вам данные, дальше начинается процесс их «приготовления» с помощью статистического анализа. Слова про ложь, наглую ложь и статистику стоит понимать именно так — проблема не в 86% статистики, придуманной на ходу, а в том, что статистика как инструмент очень похожа на ружьё. Можно довольно сильно ошибиться и даже кого-нибудь убить. Это лишь отчасти преувеличение, если интересно, почитайте про эстрогенозаместительную терапию и статистические баталии вокруг риска онкологических заболеваний от неё, которые продолжаются до сих пор.
О том, какие возможности открывает (не)знание статистики для некачественных научных исследований, лучше всего расскажет исследование об активности мозга мёртвого лосося, которое в 2012 году получило Ig Nobel. Если очень хотеть и не до конца понимать возможности своих инструментов, можно и у охлаждённой рыбины обнаружить реакцию на фотографии людей.
Или, что даже лучше подходит для темы нашего разговора, история о том, как один находчивый научный журналист протащил в СМИ «исследование» о пользе шоколада для похудения. Исследование там действительно было, но карикатурно плохое — его авторы специально собрали все типичные ошибки, подвохи и трюки в организации таких работ, обработке данных и представлении результатов, после чего сыграли на печальной готовности многих журналистов слепо поверить пресс-релизу от научной организации. Если вы как-то упустили разоблачение этой акции, то ровно с этого момента (ПРЯМО СЕЙЧАС) вы официально едите тёмный шоколад просто так, а не чтобы похудеть, да-да.
Тот же FiveThirtyEight опросил пятьдесят четыре своих читателя и с помощью особой уличной магии — чтобы показать, как легко манипулировать результатами подобных исследований — выяснил, что статистически значимые связи существуют, например, между потреблением газировки и «странной сыпью в прошлом году» или потреблением соли и «хорошими отношениями с интернет-провайдером». А также что те, кто пьёт лимонад, чаще считают, что драма «Столкновение» заслуживала Оскар за лучший фильм, а те, кто пьёт холодный чай, — что не заслуживала. Очень полезная информация, обо всём этом смело можно было написать десяток плохих новостей, которые пошли бы на ура.
Это последний важный момент: nutritional studies — это вам не математика, физика или даже астрономия, это наука, в которой специалистом себя видит каждый, кто был на кухне, и которую журналисты очень любят представлять как лёгкую и приятную. Популярность этих новостей запредельна, а длина заголовков — нет. Главную формулировку таких исследований — о связи того или иного продукта с чем-нибудь — редакторы обычно терпеть не могут, так что она редко доживает до выхода материала. Иногда мы между собой шутим о моратории на новости об исследованиях еды, но со слезами на глазах, потому что всё это пустые мечты.
Всё это не значит, что в области исследований продуктов питания нет ну вообще никаких надёжных знаний — они есть, но их очень мало. Например, мы знаем, что транс-жиры вредны — но полезно помнить, что американская FDA запретила их спустя примерно сорок лет после того, как появились первые научные данные об их связи с сердечно-сосудистыми заболеваниями. Сорок лет понадобилось не только потому, что производители продуктов с транс-жирами активно противостояли новой научной информации, почти как образцовые табачные компании, но и потому, что представления об их пользе по сравнению с насыщенными жирами в обществе были очень сильны.
Кстати, о противостоянии научной информации. Принцип «кто платит, тот заказывает музыку» работает как минимум для лекарств, газировки и, судя по оценкам Марион Несл, для еды в целом (и не только по её оценкам). Все пищевые продукты кто-то производит. Для нас это может прозвучать несколько диковато, но, например, в Штатах навалом ассоциаций фермеров, выращивающих какой-нибудь виноград или орехи, то есть даже такие продукты есть кому лоббировать. При этом американские исследователи еды регулярно сетуют, что государственного финансирования на такие работы не допросишься (не уверена, впрочем, после всего сказанного выше, что это плохо).
Если союз производителей укропа и петрушки хочет продемонстрировать полезные свойства этой зелени, он может заказать исследование какой-нибудь научной группе. Если научная группа добросовестная, она укажет, что исследование оплачивалось укропными магнатами. Само по себе это не означает, что внутри там ложь и пропаганда, но: 1) не указать ничего будет крайне подозрительно, и хорошие научные журналы в любом случае не разрешат вам ничего не указывать; 2) за обман можно лишиться не только репутации, но и работы; 3) есть неиллюзорный риск того, что, если заказчикам не понравится результат вашего исследования, он не будет опубликован.
Финансирование работ — это довольно лобовой пример конфликта интересов, можно владеть акциями и патентами, давать платные и бесплатные консультации, входить в советы директоров и экспертные комитеты, выступать на конференциях. Можно, как делала Coca-Cola, деликатно платить тем, кто будет упирать на важность физических упражнений и занижать роль диеты.
Итак, надёжные результаты — внезапно — дают долговременные исследования на больших выборках, неоднократно воспроизведённые разными группами, которые не имеют связей с отраслью. Предыдущее предложение настолько насыщено наивностью и оптимизмом, что его можно принимать трижды в день для улучшения самочувствия — после еды, которая нас не спасёт.
Берегите себя и не забывайте: мир в огне.
