Плохо структурированные домены

7 сентября 2023

Две недели назад мы обсуждали теорию когнитивной гибкости (CFT), теорию адаптивного опыта в плохо структурированных областях. Вопрос, с которым сталкивается теория, звучит примерно так: “Как эксперты справляются с новизной в своих областях, то есть с вещами, которых они никогда раньше не видели?” Мы говорили о том, как ответы на этот вопрос дают нам рекомендации по улучшению ведения заметок, объясняют, как изучение истории может быть инструментально полезным, и объясняют, как эксперты в плохо структурированных областях рассуждают по аналогии (в отличие от первых принципов).

На этой неделе мы рассмотрим некоторые предостережения.

Концепции более важны в хорошо структурированных областях

В своей оригинальной статье о CFT я много говорил о том, что изучение кейсов как будто не более важно, чем изучение концепций в плохо структурированных доменах. Это было примечательно, потому что шло вразрез со стилем преподавания, к которому мы так привыкли в школе, где концепции часто преподносятся как более ценная вещь; к примерам обычно относятся как к одноразовым.

Однако в этой идее есть важное предостережение, которое подтверждается пунктом "...в плохо структурированных доменах" выше. В хорошо структурированных областях концепции по-прежнему важнее конкретных случаев, и рассуждения, основанные на первых принципах, обычно более эффективны, чем рассуждения по аналогии. Иными словами, CFT дает всевозможные интересные, неортодоксальные рекомендации по обучению в плохо структурированных областях реального мира, но не пытайтесь применять ее идеи к математике, компьютерному программированию или, черт возьми, к изучению французского языка.

Формальное определение “плохо структурированного домена” таково: "создание примера концепции сильно варьируется для случаев одного и того же номинального типа" - другими словами, в вашем домене могут быть такие понятия, как "конкурентное преимущество", "выгода от масштаба" или "сердечный приступ", но способ отображения этих понятий сильно зависит от контекста.

Но не каждый домен плохо структурирован. Математика, французский язык и компьютерное программирование - все это удивительно хорошо структурированные области: способ решения квадратного уравнения одинаков независимо от того, сдаете ли вы экзамен сегодня, или завтра, или через год; цикл Python работает одинаково в каждой программе на Python, которую вы пишете. Точно так же, хотя правила французского языка богаты и несколько разнообразны — как и во всех естественных языках, — они не меняются с каждым произнесенным вами предложением.

(Да, те из вас, кто знаком с языковой педагогикой, могут возразить на этот счет. Как мы вскоре увидим, изучение вторых языков - это нечто среднее — между хорошо структурированным и плохо структурированным, причем в теориях обучения за последние четыре десятилетия было представлено немного обоих элементов. Но я выбрал пример изучения языка не просто так, и мы вернемся к этому чуть позже.)

Сравните эти примеры с разработкой программного обеспечения. Со временем опытный инженер-программист может овладеть несколькими эвристическими приемами, позволяющими более точно прогнозировать временные рамки функций, но каждая функция по-своему уникальна. Чтобы сделать прогноз для конкретной задачи, инженеру пришлось бы учитывать множество различных факторов: состояние кодовой базы (некоторые лучше, чем другие), сложность функции (некоторые сложнее, чем другие), неоднозначность предметной области (знаем ли мы, что нам действительно нужно решить?) и информационная среда, в которой работает команда (будут ли инженеры, работающие над функцией, обладать знаниями, необходимыми для ее завершения?)

В результате всех этих вариаций CFT напоминает нам, что часто вы не можете делать обобщения на основе тематических исследований. Это также говорит нам о том, что попытка пойти другим путем — то есть попытка применить "универсальные" принципы, которые на самом деле зависят от контекста, - часто приводит к неудаче. Итак, то, что CFT предлагает вам сделать, вызывает удивление, если вы хорошо адаптированы к традиционной системе образования: это говорит вам о том, что эксперты в плохо структурированных областях рассуждают по аналогии с предыдущими случаями; в CFT утверждается, что вы должны изучать кейсы во всем их разнообразии, не абстрагируясь, и что вы должны держать в голове группу кейсов, чтобы вы могли рассуждать, сравнивая фрагменты кейсов, которые вы уже видели.

Однако вы должны заметить, что все рекомендации CFT в некоторой степени неэффективны. На самом деле, я бы зашел так далеко, чтобы утверждать, что если вы работаете в хорошо структурированной области, рекомендации, поддерживаемые CFT, следует рассматривать как крайне неэффективные - неэффективные до такой степени, что вам следует избегать ее идей. Я думаю, это интуитивно понятно. Если у вас есть концепции, и ваша предметная область четко выражает эти концепции — тогда, ей-богу, идите и изучайте эти концепции. Вы сэкономите себе уйму времени, если сможете свести большой выбор кейсов к одному-двум простым принципам.

Я говорю это главным образом потому, что возникает соблазн прочитать CFT и сказать: “Конкретные случаи важнее абстрактных принципов!” и отстаивать преимущество аналогического мышления над мышлением на основе первых принципов. Но это действительно зависит от домена. Много было написано о любви Илона Маска к первым принципам — вплоть до того, что сайты самопомощи провозглашают, что мышление на основе первых принципов является секретом эффективности и успеха Маска. Но большинство конкретных примеров, которые я видел, когда Маск сводил что-то к первым принципам и добивался успеха, часто относились к какой-то более хорошо структурированной области - скажем, к жесткому ракетостроению или переворачиванию десятилетних догм отрасли путем расчета "фактической" спецификации материалов для изготовления космического корабля. Не случайно инженеры часто придерживаются принципа первичности мышления, основанного на принципах: когда вы решаете проблемы в инженерном деле, рассуждения, основанные на принципах, обычно приводят вас дальше всего.

Ладно, ладно, инженерия - это все прекрасно. А как насчет языка?

Ранее я упоминал об изучении французского языка по уважительной причине. Вообще говоря, существует два основных подхода к изучению языка. Первый подход заключается в изучении правил языка — грамматики наряду с некоторым словарным запасом, которые сочетаются друг с другом посредством обучения, тренировки и практики. Это тот вид обучения, который вы, скорее всего, получите, если будете посещать языковые курсы сегодня. Второй подход заключается в обучении так, как это делал бы малыш: то есть знакомство с большим количеством образцов, акцент на общении, а не на правильности, и затем, благодаря огромному объему, у учащегося в конечном итоге развивается внутреннее представление о грамматических правилах языка. Я пропускаю здесь долгую историю педагогического развития, описывая только два основных подхода — моя точка зрения заключается в том, что изучающие язык во всем мире учатся с помощью некоторой комбинации двух вышеупомянутых методов, и что есть определенное сходство с нашим обсуждением случаев (языковых образцов) и концепций (грамматических правил), который мы впервые увидели в CFT.

Что с этим делать? На данный момент я думаю, что полезно думать о структурированности как о спектре. Если бы я провел воображаемую линию в своей голове, компьютерное программирование и математика оказались бы на хорошо структурированном конце спектра; бизнес оказался бы на плохо структурированном конце. Изучение языка находится где-то посередине. Это многословный способ сказать, что языки в основном следуют некоторому набору грамматических правил, но также демонстрируют некоторую вариативность в использовании (если бы мы были в Твиттере и я написал “it me”, цитируя в Твиттере фотографию довольного кота, вы бы поняли, что я вспоминаю шутку lolcat, и что я не обязательно ужасен в грамматике).

Я думаю, что общепринятый аргумент практиков в пользу оптимального изучения языка заключается в том, чтобы делать понемногу и то, и другое — то есть, если вы хотите достичь высокого уровня владения французским языком, прагматичный подход заключается в сочетании как концептуального изучения, так и натуралистического "поговорите с большим количеством французов и выведите их из себя". Обобщающий урок, если таковой имеется: если есть концепции, которые последовательно реализуются в вашей предметной области, изучите их. CFT просто объясняет, что делают эксперты, когда это невозможно. Среди прочего, это объясняет, почему стратегии обучения, которые так хорошо работают в школе (и в условиях сдачи тестов), часто не дают таких же положительных результатов в реальном мире. Плохо структурированные домены просто требуют другого подхода.

Спектр структурированности

Последнее замечание: вы, возможно, заметили, что я поместил инвестирование в дальний конец спектра, за рамки примера бизнеса. О, вы могли бы сказать. Почему стоит инвестирование именно там? Я думаю, что это само по себе достойно отдельного обсуждения.

Плохо структурированные домены не обязательно являются чем-то плохим

В своей книге 2001 года "Воспитание интуиции" психолог Робин Хогарт ввел понятие "доброй" и "злой" обучающих сред — то есть идею о том, что определенные среды могут привести к эффективной экспертной интуиции, в то время как другие, более "злые" среды приводят к ошибочной интуиции и, следовательно, высокомерию. Дихотомия "добрый" и "злой" была идеей, которая была повторно использована Гэри Кляйном и Дэниелом Канеманом в их знаковой статье "Условия для интуитивной экспертизы", и она была вновь популяризирована в серии книг Дэвида Эпштейна Range.

Я не читал книгу Хогарта — по крайней мере, до того, как начал готовиться к этой статье. Если бы я руководствовался только работами Эпштейна или аргументами Канемана и Кляйна в их статье 2009 года, я бы подумал, что Хогарт приводил аргумент о "добрых" и "злых" свойствах, присущих определенной области. Например, Канеман и Кляйн в своей статье утверждали следующее:

Модель распознавания подразумевает два условия, которые должны быть выполнены для того, чтобы интуитивное суждение (распознавание) было по-настоящему квалифицированным: во-первых, окружающая среда должна предоставлять адекватно обоснованные сигналы о характере ситуации. Во-вторых, у людей должна быть возможность усвоить соответствующие сигналы.

Затем они высказались о подборе акций:

Валидность, как мы используем этот термин, описывает причинно-следственную и статистическую структуру соответствующей среды. Например, весьма вероятно, что имеются ранние признаки того, что здание вот-вот рухнет в результате пожара, или что у младенца вскоре проявятся очевидные симптомы инфекции. С другой стороны, маловероятно, что существует общедоступная информация, которую можно было бы использовать для прогнозирования того, насколько хорошо будут расти те или иные акции — если бы такая достоверная информация существовала, цена акций уже отражала бы ее. Таким образом, у нас больше оснований доверять интуиции опытного командира пожарной части относительно устойчивости здания или интуиции медсестры относительно младенца, чем доверять интуиции трейдера относительно акций. Мы можем с уверенностью ожидать, что детальное изучение того, как мыслят профессионалы, с большей вероятностью выявит полезные прогностические признаки в первых случаях, чем во вторых.

Это ход рассуждений, который преследовал меня в течение некоторого времени. Возможен ли интуитивный опыт при подборе акций? Ответ, по крайней мере, по мнению Канемана и Кляйна, заключается в том, что это не так. В связи с чем возникает вопрос: какие виды экспертных знаний существуют в области инвестирования в акции? Если при инвестировании нельзя доверять интуиции, то в чем еще заключается такой опыт?

У меня пока нет хороших ответов на этот вопрос, но я лучше понимаю добрую и злую среду обучения — те виды среды, которые, по утверждению Канемана и Кляйна, так важны для развития интуитивных знаний. Это то, что мы собираемся обсудить сегодня.

Мое первоначальное предположение состояло в том, что работа Хогарта обосновала точку зрения Канемана и Кляйна, и что среда, которая обеспечивает адекватно обоснованные сигналы (добрая), и среда, которая не обеспечивает таких сигналов (злая), являются просто неизменными свойствами рабочей среды практикующего.

Но оказалось, что я ошибался. Аргументы Хогарта были тоньше, чем я первоначально ожидал. Когда вы читаете "Воспитание интуиции", вы быстро приходите к пониманию того, что Хогарт приводил доводы о взаимосвязи между видами структур обучения и развитием интуитивных знаний: интуиции, возникшей в злых структурах обучения, следует не доверять, в то время как экспертные интуиции, которые были созданы в рамках добрых структур обучения, могут считаться действительными. Однако самое главное, Хогарт писал, что вы можете влиять на достоверность своей интуиции — и способ, которым вы это делаете, заключается в выборе условий обучения, в которых вы развиваете свой опыт.

Другими словами, добрые обучающие структуры и злые обучающие структуры ортогональны* доброй или злой операционной области. Инвестирование может быть злой областью, но вы можете создать более благоприятную среду обучения, чтобы закрепить свой опыт в инвестировании. И медицина вполне может быть своего рода учебной областью (в том смысле, что существуют достоверные причинно-следственные и статистические признаки заболеваний, хотя и с огромной вариабельностью), но вы, как практикующий врач, можете оказаться в злой учебной среде. На самом деле, Хогарт приводит пример именно этого в своей книге:

Ортогональность - термин для обозначения несвязанности. Два или более объекта ортогональны, если изменения, вносимые в один из них, не влияют на любой другой.
- прим. Holy Finance

Рассмотрим врачей, работающих в отделении неотложной помощи больницы, — классический пример злой учебной среды. Сотрудники отделения неотложной помощи редко видят результат лечения. В случаях незначительной травмы или заболевания, последующий уход после выписки осуществляется лечащим врачом пациента. В случаях более серьезных травм или заболеваний, пациенты переводятся в другое отделение для дальнейшего обследования и последующего ухода. Поэтому персонал отделения неотложной помощи не может полагаться на долгосрочную обратную связь; они могут наблюдать только за тем, что происходит в краткосрочной перспективе. У них также мало возможностей для экспериментов, и часто нет возможности узнать, является ли поставленная задача легкой (многие состояния можно улучшить антибиотиками) или сложной (одышка является симптомом многих состояний, некоторые незначительные, некоторые потенциально опасные для жизни).

Как вы определяете домен как добрый или злой? Хогарт дал нам несколько подсказок. В книге "Воспитание интуиции" он предлагает следующий ряд вопросов при оценке вашей собственной интуиции:

Сравните свою структуру обучения с известными примерами. Похоже ли это, например, на поведение профессионального теннисиста (добрая среда) или врача отделения неотложной помощи (злая)?
Сколько раз вы выносили подобные суждения или решения в прошлом? Вы действительно знаете, каков ваш послужной список? Помните, что уверенность в интуиции может быть палкой о двух концах. Если только что-то не заставит нас явно осознать прошлые ошибки, многократные действия в прошлом могут придать нам уверенности. Но эта уверенность может оказаться неоправданной.
Какие результаты вы получали в прошлом?
Было ли это ясно, то есть недвусмысленно? Например, такой критерий, как относительный успех на работе, может быть довольно расплывчатым.
Насколько немедленной была обратная связь? Другими словами, получили ли вы обратную связь о своем суждении или действии вскоре после этого?
Была ли обратная связь каким-либо образом скомпрометирована? Например, могло ли это быть вызвано самореализующимися пророчествами или другими действиями?
Какую роль играла удача в прошлых ситуациях подобного рода?
Это важно? Если это так, то стоит попытаться проанализировать это более подробно. Не полагайтесь только на интуицию.

Эти вопросы могут быть перевернуты, чтобы получить рекомендации по поиску или созданию благоприятных условий обучения для себя. Например:

Структурируйте свое окружение таким образом, чтобы вы могли получать четкую обратную связь. То есть: убедитесь, что у вас есть однозначный критерий для оценки того, было ли ваше действие хорошим или плохим.
Если обратная связь задерживается, найдите способы зафиксировать момент, когда вы приняли решение, чтобы вы могли просмотреть его позже, когда обратная связь станет доступной.
Убедитесь, что обратная связь существует. (В ситуации с отделением неотложной помощи это сложно — вам, вероятно, придется внести некоторые системные изменения, когда результаты лечения направляются врачам скорой помощи для рассмотрения, а расписание меняется с учетом таких проверок.)
Проверяйте, нет ли компромисса в результатах рассмотрения дел. Компромисс здесь означает, что результаты подчиняются своего рода самоисполняющемуся пророчеству, когда решение предпочесть что-то одно другому приводит к тому, что это что-то становится успешным. Вам придется проявить изрядную аналитическую скрупулезность, чтобы рассмотреть возможные рассказы, противоречащие фактам.
Разработайте методы проверки старых дел, чтобы распутать (хотя бы частично) последствия мастерства и удачи.
Наконец, вероятно, необходимо придерживаться предварительных и расплывчатых выводов, подлежащих пересмотру в будущем — особенно когда возможно только частичное распутывание.

Напомним, что CFT - это теория обучения, возникшая в результате работы, проделанной по ускорению медицинской экспертизы. Если рассматривать системы обучения CFT в этом свете, то это просто попытка предоставить врачам более гибкие структуры обучения, чем если бы они были вынуждены накапливать случаи на основе реального опыта.

Итак, вот моя точка зрения: неструктурированность - это свойство, отдельное от доборты домена. Вполне возможно работать в хорошо структурированной предметной области, но в злоой учебной среде (где обратная связь - по какой-то богом забытой причине — от вас утаивается), или в плохо структурированной предметной области, но в более благоприятной учебной среде (где относительно легко отслеживать результаты принятия решений по сильно изменяющимся концепциям в течение длительных периодов времени).

Инвестирование, возможно, более плохо структурировано, чем бизнес - концепции отличаются большей вариативностью в зависимости от отрасли и сектора, на который вы смотрите; долгосрочные отраслевые модели, участники рынка и структура рынка — все это, как правило, меняется в течение нескольких лет. Но присущая выбору акций неструктурированность может быть несколько смягчена путем внедрения передовых практик — не случайно, например, что ведение журнала принятия решений более распространено среди инвесторов, чем среди населения в целом, а также не так удивительно, что как количественные, так и качественные тематические исследования более распространены в институциональном инвестировании. Эти методы помогают создать более благоприятную среду обучения, чем та, которая непосредственно доступна на рынках.

Давайте закругляться. О чем мы говорили сегодня? Мы говорили о CFT, теории обучения с интересными рекомендациями по наращиванию экспертных знаний во всевозможных плохо структурированных областях реального мира. Мы обсудили несколько предостережений:

Во-первых, рекомендации CFT в основном подходят для плохо структурированных доменов. Мы рассмотрели, насколько они неэффективны при использовании в хорошо структурированных доменах.
Во-вторых, мы обсудили, как существуют области навыков в диапазоне от хорошо структурированных до плохо структурированных. Некоторые области, такие как изучение второго языка, занимают промежуточное положение. Обучение в таких областях, вероятно, требует сочетания изучения как конкретных случаев, так и концепций.
В-третьих, что плохо структурированные домены не обязательно являются порочными, и что порочные структуры обучения могут существовать во всех доменах. Недавно я разговаривал с читателем, который сказал мне, что CFT дала ему советы о том, как лучше учиться в злой среде. Я сказал, что мне не по себе от такой характеристики, и что я бы покопался поглубже в литературе, чтобы посмотреть, что они говорят. В конце концов, объяснение, которое меня больше всего удовлетворяет, заключается в том, что CFT дает вам набор рекомендаций по обучению в условиях плохой структурированности, но вам все равно решать, искать ли подходящую среду обучения или создавать такую среду обучения для себя.

Как бы то ни было, я нахожу это различие вдохновляющим — оно подразумевает, что не имеет значения, в каких областях вы работаете, насколько они плохо структурированы. Приложив усилия, вы все равно сможете создать для себя более благоприятную среду обучения. Если это не вселяет надежды, то я не знаю, что именно; я надеюсь, что вы тоже найдете эту идею вдохновляющей.

Не является индивидуальной инвестиционной рекомендацией
При копировании ссылка обязательна Нашли ошибку: выделить и нажать Ctrl+Enter