Элиезер Юдковский

Аргумент «по определению»

«У этой ощипанной курицы две ноги и нет перьев, следовательно, по определению, она человек!»

Обычно, когда люди спорят про определения, они начинают с бросающихся в глаза или широко принятых характеристик, затем достают словарь и показывают, что эти характеристики соответствуют написанному в словаре определению; потом они делают вывод: «Следовательно, по определению, атеизм это религия!»

Но бросающиеся в глаза или широко принятые характеристики редко являются настоящим предметом спора. Один лишь факт того, что кто-то видит наличие двух ног достаточно очевидной основой для вывода «Следовательно, по определению, Сократ — человек», свидетельствует о том, что двуногость не выступает конечной целью спора, ведь в противном случае оппонент бы заявил что-то вроде: «Да че ты говоришь, мы ведь об этом и спорим!»

Разумеется, есть правильный способ перехода от очевидных характеристик к не совсем очевидным. Вы вполне оправданно можете, увидев гуманоидную форму тела Сократа, предположить, что он уязвим для болиголова. Но этот вероятностный вывод не основывается на определении в словаре или традиционном понимании; он основывается на существовании во вселенной эмпирических кластеров подобных друг другу вещей.

Такая кластерная структура не изменится просто потому, что вы дадите слову другое определение. Даже если в словаре понятие «человек» будет определено как «все двуногие без перьев, кроме Сократа», то это не изменит степень подобия между Сократом и остальными двуногими без перьев существами.

Когда вы будете выстраивать аргументацию на основе кластерной структуры, вы скажете что-то вроде: «у Сократа две руки, две ноги, нос и язык, он говорит бегло на греческом, использует инструменты, проявляет все крупные и мелкие характеристики Homo sapiens (в то время, когда я наблюдал за ним); так что я предположу, что у него человеческая ДНК, человеческая биохимия, и что он так же уязвим для болиголова, как и другие Homo sapiens, для которых летальность болиголова была подтверждена клинически».

На что я мог бы ответить: «Но я видел, как Сократ разговаривал со знахарем, и думаю, что они собираются приготовить антидот. Так что я ожидаю, что Сократ, приняв болиголов, копыта не откинет. Он будет исключением для общего правила поведения объектов этого кластера. Они не принимали антидот, а он примет».

Как видите, тут уже нет смысла спорить о том, человек Сократ или нет. Разговор должен перейти на более детальный уровень, следует рассмотреть детали категории «человек», а именно — биохимию, и в данном случае, нейротоксичные эффекты кониина.

Вы, разумеется, можете продолжать настаивать на том, что «Сократ человек и по определению смертен», но вы, на самом деле, лишь будете смазывать в одну точку все, что вы знаете о Сократе, кроме его человечности, как будто единственное верное предсказание может быть построено только на том, что мы ничего о Сократе не знаем, кроме того, что он человек.

Это все равно что настаивать на том, что вероятность выпадения орла или решки составляет 50%, потому что это «симметричная монета», после того, как вы ее подкинули и выпал орел. Это все равно что настаивать на том, что у Фродо десять пальцев, после того, как вы видели, что у него девять пальцев на руках. И это, естественно, некорректно с точки зрения байесовской эпистемологии — вы не можете отказаться от учета наблюдаемых свидетельств.

И вы не можете останавливаться на первой итерации классифицирования и продолжать делать выводы на ее основе, игнорируя остальную информацию.

Не каждое свидетельство, разумеется, окажет сильное влияние на вывод. Если я увижу, что у Сократа лишь девять пальцев, это не повлияет на мое ожидание наблюдать его смерть после приема болиголова, ведь ожидаю, что потеря пальца не оказала сильного влияния на его биохимию. И это будет правдой независимо от того, что в словаре написано про количество пальцев. Правильный вывод основан на кластерной структуре окружающей среды и причинной структуре биологических процессов, а не на том, что решит написать составитель словаря. И уж тем более не на «традиционном понимании».

Как правило, если вы делаете вывод правильным, логически допустимым путем, вы просто можете сказать: «Содержащийся в болиголове алкалоид кониин вызывает мышечный паралич у людей, что приводит к смерти от удушья». Или еще проще: «Болиголов опасен для людей». Так выстраивается правильный аргумент.

Так в какой же ситуации может возникнуть желание усилить аргумент фразой «по определению»? (Например — «Люди, по определению, уязвимы для болиголова»). Ну разумеется в случае высказанных оппонентом сомнений по поводу предполагаемой характеристики (есть свидетели разговора между Сократом и знахарем) — поэтому может возникнуть желание затянуть оковы логики.

И когда вы видите такое использование «по определению», знайте, что на самом деле вам говорят что-то вроде «Забудьте лучше этот момент со знахарем, люди по определению смертны».

Люди чувствуют необходимость укрепить курс развития спора словами «Любое Р, по определению, обладает свойством Х!», именно в том случае, когда они видят и без промедления отбрасывают информацию, которая бросает тень сомнений на оригинальный вывод, основанный на кластерах.

Это же касается и аргументов вроде «Х, по определению — У». Например, «Атеисты верят что Бога нет; следовательно, они имеют убеждение о Боге, потому что неверие это тоже убеждение; следовательно, атеизм дает ответы на теологические вопросы; следовательно, атеизм, по определению — религия».

Вам не нужно было бы убеждать нас, что Индуизм — это религия, потому что Индуизм это, вроде как, и есть религия. И не просто «религия по определению», а настоящая религия.

Атеизм не похож на центральных представителей кластера «религия», поэтому, если бы он не был религией «по определению», вы могли бы воображать себе, что он религией не является. Поэтому вам и приходится давить оппозицию, указывая на то, что «атеизм это религия» верно по определению, потому что это неверно в любом другом контексте.

То есть люди настаивают на том, что «Х по определению У!» именно в тех случаях, когда они пытаются протащить не указанную прямо в определении характеристику У, а Х не слишком похож на представителей кластера У.

В течение последних тринадцати лет я старался отмечать случаи корректного использования фразы «по определению», не утруждаясь ведением статистики, разумеется. На основе такого поверхностного взгляда я могу сделать вывод, что использование этой фразы где-либо за пределами математики является одним из ярчайших сигналов дефектного аргумента из тех что я видел. Он стоит рядом с «Гитлер» (link is external), «Бог», «абсолютно уверен» и «ты не можешь доказать это».

Эта эвристика определения такого режима провала не идеальна — впервые я видел корректное употребление этой фразы за пределами математики — у Ричарда Фейнмана; и с тех пор видел еще. Но вам, скорее всего, стоит просто стереть из своего словарного запаса эту фразу и сохранять бдительность, особенно если вам захочется употребить ее с восклицательным знаком или выделить курсивом. Ведь это, по определению, плохая идея!

Элиезер Юдковский

Перевод: Muyyd

Честно спизженно с сайта lesswrong.ru
Конкретно эта статья -https://lesswrong.ru/w/%D0%90%D1%80%D0%B3%D1%83%D0%BC%D0%B5%D0%BD%D1%82_%C2%AB%D0%BF%D0%BE_%D0%BE%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%B8%D1%8E%C2%BB

Линза, видящая свои изъяны

 Свет покидает Солнце, ударяется о шнурки и отпрыгивает прочь; некоторые фотоны входят в зрачок и попадают на сетчатку; энергия фотонов запускает волну нервных импульсов; нервные импульсы доходят до зрительной коры, где на основе оптической информации строится трёхмерная модель, распознанная как развязанные шнурки; и теперь ты убеждён в том, что твои шнурки и в самом деле развязаны.

Вот секрет осознанной рациональности: в этом процессе передачи сцепленности нет ничего магического, и его можно понять. Ты можешь понять, как ты видишь свои шнурки. Ты можешь думать о том, какие когнитивные процессы создают убеждения, отражающие реальность, и какие когнитивные процессы — нет.

 Мыши могут видеть, но они не могут понять зрения. Ты можешь понять зрение, и поэтому ты способен на вещи, которые мышам и не снились. Подивись этому несколько секунд, ведь это действительно чудо.

 Мыши видят, но они не знают, что у них есть зрительная кора, и поэтому они не могут систематически бороться с оптическими иллюзиями. Мышь живёт в ментальном мире, где есть кошки, дыры, сыр и мышеловки, — но нет мышиных мозгов. Их камеры не могут сфотографировать линзы собственного объектива. Но люди могут посмотреть на причудливую картину (link is external) и осознать, что часть того, что они видят, является линзами их объектива. Ты не обязан всегда верить своим глазам, но ты обязан понимать, что у тебя есть глаза — у тебя должны быть отдельные участки памяти для карты и для местности, для чувств и реальности. Если ты считаешь этот навык тривиальным, вспомни, насколько он редок в царстве животных.

 Вся идея Науки — это, в сущности, поиск наиболее надёжного способа отразить в зеркале разума содержимое целого мира. Мыши никогда не смогли бы изобрести такую идею. Размышляя о всех вопросах вроде «мы проводим повторяемые эксперименты, чтобы фальсифицировать теорию», мы можем разобраться, почему именно наука работает. Наука — это не отдельный магистерий, далёкий от реальной жизни и непонятный для простых смертных. Нельзя сказать, что науку можно применять только в лабораториях. Наука — это постижимый и объективно существующий процесс, который связывает содержимое мозга с реальностью.

 Наука довольно логична, если как следует о ней подумать. Но мыши не могут думать о мышлении, и поэтому у них нет науки. Не проглядите заключённого в этом чуда, не упустите потенциальной мощи, которую нам дарит этот факт. Нам — в смысле «личностям», а не «научным сообществам».

 Нужно признать, что задача понять мыслительный механизм может быть сложнее задачи понять часовой механизм — но между этими задачами нет фундаментальных различий.

Однажды я спросил посетителей канала #philosophy: «Верите ли вы в то, что ядерная война случится в течение ближайших 20 лет? Если нет, то почему?». Один человек сказал: «Я не думаю, что в ближайшие 100 лет начнётся ядерная война: все игроки, участвующие в принятии подобных решений, сейчас в ней не заинтересованны». Я спросил: «Но почему ты считаешь, что ситуация сохранится в течении 100 лет?». «Просто надежда», ответил он.

Если поразмыслить об этом мыслительном процессе, то можно увидеть, что перспектива ядерной войны пугает этого человека, и поэтому его мозг отвергает соответствующее убеждение. Но если представить себе миллиард миров — ответвления Эверетта или дупликаты Тегмарка (link is external)(English) — то станет ясно, что такие размышления не создают корреляции между оптимистами и мирами без ядерной войны, как должно было бы быть, если бы они были бы рациональными.

 (В этот момент у кого-то может появится соблазн сказать «Но если у меня есть надежда, я буду работать лучше, заработаю больше денег, тем самым помогу мировой экономике, и в результате страны будет не так просто столкнуть в пучину злобы, бедности и отчаяния, когда возможность ядерной войны всерьёз угрожает будущему. Получается, что надежда имеет отношение к реальности». Раз уж дошло до такого, мне придётся вытащить теорему Байеса (link is external) и количественно измерить силу этого свидетельства. Оптимизм не может иметь столь огромный эффект на мире; его недостаточно для того, чтобы сместить вероятность ядерной войны на 20%, или насколько там оптимизм смещает степень убеждённости. Сильно изменять свои убеждения из-за события, несущего очень малый заряд сцепленности — практика, не способствующая точному картографированию.)

 Задуматься о том, какие убеждения сделают тебя счастливым — посмотреть внутрь, а не наружу. Ответ может сказать что-то новое о твоей психике, но это не свидетельство, сцепленное с окружением. Я не имею ничего против счастья, но счастье должно порождаться картиной мира, а не преступным использованием ментальных карандашей в целях сокрытия правды.

 Если ты можешь это увидеть — если ты можешь заметить, что надежда слишком сильно влияет на твои размышления первого уровня; если ты можешь увидеть свой мозг как рисующий карты механизм, в котором есть недочёты — то ты можешь что-нибудь исправить. Мозг — дефектная линза, не совсем точно показывающая действительность. Это верно в отношении мозга как мыши, так и человека. Но мозг человека — это линза, могущая понять свои изъяны, могущая увидеть свои систематические ошибки, свои искажения, а после применить к ним исправления второго уровня. Этот факт делает дефектную линзу намного могущественней на практике. Делает её не совершенной, но намного более эффективной.

Элиезер Юдковский

Честно спизженно с сайта lesswrong.ru
Конкретно эта статья - https://lesswrong.ru/w/%D0%9B%D0%B8%D0%BD%D0%B7%D0%B0_%D0%B2%D0%B8%D0%B4%D1%8F%D1%89%D0%B0%D1%8F_%D1%81%D0%B2%D0%BE%D0%B8_%D0%B8%D0%B7%D1%8A%D1%8F%D0%BD%D1%8B

&attribute_insert_3&