Поиск сообщества

Три способа испортить свою торговую стратегию (и как их избежать) Роберт Карвер – системный трейдер, который провел немало лет на должности главы отдела AHL, одного из крупнейших фондов количественного трейдинга. Сейчас он торгует самостоятельно, используя долгосрочные стратегии. В данном интервью он поднимет сложный и, можно сказать, философский вопрос о том, что можно считать подгонкой, и расскажет, как ее избежать. Интересного чтения! Ссылки: YouTube, сайт подкаста, первое интервью с Робертом *** — Доброе утро, добрый день, добрый вечер! Рад, что вы смогли к нам сегодня присоединиться! Случалось ли с вами такое: вы создаете торговую систему, проводите бэктесты, получаете прекрасный результат, начинаете торговать… Но система внезапно перестает работать! Или работает, но результаты оказываются гораздо ниже ожидаемых. Что ж, если с вами такое случалось, вы не одиноки! С этим сталкивались многие трейдеры, не исключая и меня. Возможно, вы гадаете – что же вы сделали не так? Что сломало ваши торговые стратегии? Именно это мы сегодня и обсудим – три способа испортить свою торговую стратегию! И гость у нас сегодня просто фантастический! Я всегда рад возможности пообщаться с ним. Сегодня у нас в гостях Роб! Роб – количественный трейдер с богатым опытом компьютерного моделирования. Он уже дважды посещал наш подкаст! Роб, добро пожаловать, я вам всегда рад! Хорошо, что вы смогли к нам сегодня присоединиться! — Большое спасибо, Эндрю! Рад, что вы меня пригласили! — Вы с нами на связи из Великобритании! Если я правильно помню, у вас сейчас режим самоизоляции. Как идут дела? — Да… Завтра наш премьер-министр выступит с речью! Мы все надеемся, что он расскажет о плане снятия режима самоизоляции. Все ждут этого с нетерпением! Мы сегодня отправились вместе с семьей на прогулку... Прошли мимо трех пабов – ни один не работает! Большое разочарование [смеются]. Больше всего меня интересуют две даты – открытие пабов и открытие школ! — Да уж, это точно! Не могли бы вы для начала рассказать в двух словах о себе и о своей торговле? Для тех, кто не знаком с вами, вашими работами и вашим опытом! Как вы начали торговать? Как пришли к своему текущему подходу? Чем вы занимаетесь сейчас? — Первый опыт профессионального трейдинга я получил двадцать лет назад! У меня два экономических образования – бакалавриат и магистратура. После вуза меня взяли на должность трейдера экзотическими опционами в Barclays Capital. Так в те времена называлось подразделение Barclays, специализирующееся на инвестиционном банкинге. Пару лет я занимался этим! А потом еще пару – экономическими исследованиями. После этого я устроился в AHL, крупный фонд количественной торговли, он входит в Man Group. Активов в управлении там было 20-30 миллиардов, так что это – игрок достаточно крупный! Сначала я работал над созданием системы для торговли глобальных макроэкономических данных. Я занимался этим в течение нескольких лет, после чего меня повысили до главы отдела торговли продуктами с фиксированной доходностью. На него тогда приходилось около 40% всех активов в управлении, так что… Риски были приличными! Но это был интересный опыт. А примерно семь-восемь лет назад я решил, что торговля на чужие средства – это слишком большой стресс! Вся эта ответственность оказывает серьезное давление... Конечно, стоит учесть и то, что я работал в AHL с 2006 по 2013 – период достаточно интересный! В общем, я ушел в отставку. Сейчас я торгую на свои деньги, используя свои собственные системы, созданные мной с нуля. Системы полностью автоматические! Я написал три книги: «Systematic Trading», «Smart Portfolios» и «Leveraged Trading». А еще я преподаю в университете. В общем, постоянно чем-то занят! Но, к счастью, мне больше не приходится вставать затемно и отправляться работать на дядю! Что здорово. — Да… Надеюсь, пабы скоро откроют, и вы сможете сходить выпить пива! Но не прямо с утра, конечно [смеется]! — Было бы здорово! — Хотя можете и с утра, не мне судить! — Если бы захотел – мог бы себе позволить! Это – один из плюсов торговли на собственные средства… Как и системного трейдинга! Компьютер работает, даже когда я в пабе. — Да, именно! Это – одно из главных преимуществ системной торговли. Итак, сегодня мы обсудим сложности, с которыми сталкиваются системные и количественные трейдеры! Как я и сказал во вступлении к выпуску, нередко бывает, что трейдер создает просто прекрасную стратегию, которая легко проходит бэктесты, и думает – ну все, наконец-то теперь разбогатею и захвачу весь мир! Но когда он начинает по ней торговать, то получает опыт, далекий от ожидаемого… Сегодня вы расскажете нам, в чем именно заключается проблема, и что мы можем сделать, чтобы ее решить. Но прежде чем углубляться в подробности, давайте сначала обсудим все на более базовом уровне! Как вы думаете, почему так сложно создать стратегию, которая показывала бы в реальной торговле результаты не хуже, чем в бэктестах? — Проблема в том, что слишком много всего может пойти не так! Начнем с того, что мир имеет свойство меняться. Будущее не похоже на прошлое. Нам как системным трейдерам приходится работать, отталкиваясь от предположения, что будущее окажется похожим на тот отрезок прошлого, который мы использовали для тестирования. Во многом это зависит от того, какой подход вы используете… Лично я предпочитаю сравнительно медленные системы. В некоторых из них периоды удержания сделок исчисляются неделями… Меня интересуют системы, которые работали десятилетиями! Это дает мне уверенность в том, что они и продолжат работать и дальше. А на другой стороне спектра находятся высокочастотные трейдеры, которые используют для оптимизации исторические данные длиной всего в несколько месяцев. На несколько месяцев реальной работоспособности они обычно и рассчитывают! Так что мир рано или поздно обязательно изменится! Но это не станет для вас проблемой, если вы будете использовать достаточно медленные системы. А вот если вы используете быстрые, вам придется регулярно производить перенастройку... Второе, что может пойти не так – вы можете совершить в своем бэктесте какую-нибудь очевидную глупость [смеются]. Пожалуй, большую часть того, что мы будем сегодня обсуждать, можно отнести к категории глупостей, но сейчас я говорю о действительно глупых вещах! Например, игнорирование ошибки выжившего… Бывает, что трейдер тестирует систему торговли биржевого индекса или портфолио, состоящего из набора акций, но при этом не учитывает, что некоторые из этих компаний обанкротились. Или банальная ошибка в датах… Вы анализируете какую-то временную отметку, но ошибаетесь на минуты, часы или даже дни! И ваши результаты оказываются завышенными. Трейдер думает – так, здорово, система отлично смогла поторговать выход данных Nonfarm Payrolls, случившийся в восемь утра! Хотя тот на самом деле произошел в два часа дня… Ошибочка на шесть часов! А еще можно недооценить торговые издержки. Трейдер думает, что торговля по его системе обойдется ему сравнительно дешево, но на практике оказывается, что издержки выходят достаточно крупными… В общем, есть целый ряд глупых ошибок, на обсуждение которых у нас может уйти весь день! Но, думаю, сегодня мы сосредоточимся на том, что называется подгонкой или чрезмерной оптимизацией? — Верно! — Если говорить простыми словами, подгонка – это когда мы используем вышеупомянутое предположение, что будущее окажется похожим на прошлое! Но при этом мы доводим все до абсурда, считая, что будущее будет точь-в-точь таким же, как прошлое! Что мы увидим точно такие же данные, как и те, на которых мы проводили оптимизацию. Что, очевидно, совершенно нереалистично… И представляет собой проблему! Причем серьезную, потому что мир со временем обязательно изменится, и мы ничего не можем с этим поделать, чего не скажешь о других проблемах типа игнорирования ошибки выжившего или неправильных подсчетов издержек… Исправить эти проблемы сравнительно просто, нужно всего лишь убедиться, что вы используете правильный набор данных и учитываете все комиссии и так далее. Но вот подгонка – гораздо более коварная вещь! — Прежде чем мы перейдем к трем видам подгонки, о которых вы собираетесь нам рассказать, не могли бы мы сначала обсудить их последствия? Вы уже назвали некоторые из них. Думаю, многим нашим слушателям эти последствия подгонки знакомы не понаслышке! За себя могу ручаться, моему торговому счету в свое время пришлось нелегко! — Да, у меня подготовлено несколько слайдов на эту тему! Эндрю, покажете нам первый? Я люблю показывать этот график, когда рассказываю про подгонку! Кстати, как раз недавно показывал его своим студентам в университете, в прошлую пятницу… Ось X – сложность модели: чем правее мы находимся, тем сложнее наша модель. Сложность может выражаться в количестве параметров или операторов «если – то», например, «если S&P сделает это, и если FTSE сделает это, то сделай то». Сложные системы могут одновременно обрабатывать информацию из большого количества источников… И при этом обладать большим количеством переменных параметров. В общем, существует множество способов усложнить модель. Ось Y – параметр так называемой ошибки предсказания [prediction error]. Очевидно, чем ниже ваша система располагается по оси Y, тем лучше. Давайте на минуту сосредоточимся на красной линии… Она показывает нам, что происходит по мере того, как мы усложняем свою модель, оптимизируя ее на каком-либо отрезке исторических данных. Если использовать слишком простую модель, она не будет захватывать всего происходящего. Параметр ошибки предсказания будет высоким! А коэффициент Шарпа – низким! Маленькая доходность, глубокие просадки. Как видите, по мере увеличения сложности модели красная линия опускается все ниже и ниже. Ошибка предсказания падает, коэффициент Шарпа растет. И это здорово! К этому мы и стремимся. Говоря на техническом языке, если количество степеней свободы вашей модели равняется шенноновской энтропии вашего набора данных, в теории можно дойти до нулевой ошибки предсказания! Что означает бесконечные прибыли... Модель, которая не ошибается. Но, разумеется, проблема в том, что мы с вами не торгуем исторические данные! Мы только создаем на их основе свои торговые модели. А торгуем мы в реальном рынке на реальные деньги! Реальный рынок – это данные, которые наша модель никогда не видела. Невозможно заработать на прибыльном бэктесте! Нам нужно, чтобы наша стратегия успешно торговала реальный рынок. Это вам не написать красивую научную работу без капли практики… В некотором смысле писать научные работы проще, чем торговать! А теперь давайте взглянем на серую линию… Обратите внимание на ошибку предсказания! Как вы могли заметить, серая линия всегда находится выше, чем красная! Ваши результаты всегда будут лучше на тех данных, которые ваша модель уже видела. И всегда хуже на новых для нее данных реального рынка! Это – просто здравый смысл… Чем сложнее модель и чем лучше она оптимизирована под исторические данные, тем больше будет разница между результатами на истории и результатами в реальных условиях! Как вы видите, в какой-то момент серая линия перестает идти вниз и разворачивается вверх… С этого момента и далее вы добавляете в модель излишнюю сложность, что снижает ее результаты при работе вне выборки. То есть реальная торговля будет идти в убыток! Возвращаясь к проблеме, описанной вами во вступлении… Какую именно ошибку совершают трейдеры? Они сосредотачивают все свое внимание только на красной линии! Они оптимизируют свою модель до тех пор, пока красная линия не начинает выглядеть настолько хорошо, насколько это вообще возможно. А добиваются они этого с помощью усложнения своей модели! И с помощью нескольких других трюков, которые мы тоже сегодня обсудим. Но когда дело доходит до торговли на реальные деньги… Их модель внезапно переключается на серую линию! И чем она сложнее, тем больший шок их ожидает! Система оказывается не такой уж прибыльной… Эндрю, следующий слайд, пожалуйста! Нижняя точка серой линии – именно к ней нам нужно стремиться! Это – лучший результат, которого можно достичь без использования выборки реальной торговли. Все, что правее – чрезмерная оптимизация… Или подгонка, как ее еще называют. Конечно, проблема в том, что никто не дает вам этот график перед началом оптимизации и не говорит: «В данном случае вам нужно ограничиться вот таким уровнем сложности модели». К сожалению, в жизни все не так просто! Могу сказать: практически все известные мне трейдеры, включая меня и, уверен, вас, Эндрю, совершали ошибку чрезмерного усложнения своих моделей, заходя в правую часть этого графика… Это – суть проблемы! — Да... Прежде чем мы продолжим, не могли бы вы рассказать подробнее о том, что именно вы подразумеваете под сложностью модели? Спрашиваю не просто так! Пожалуй, мне стоило начать свой вопрос иначе. Среди трейдеров распространено мнение, что сложность торговой системы – это просто количество оптимизированных переменных… Некоторые считают, что лучше всего, когда оптимизированных переменных нет совсем! Но судя по вашему графику… По крайней мере, насколько я его понял! Простые системы обладают высоким параметром ошибки предсказания. Или я ошибся?.. — Нет, действительно, модель может быть слишком проста! Как выглядит простейшая торговая модель? «Покупай S&P!». Или ASX… Или, в моем случае, FTSE. Параметр ошибки предсказания у такой модели будет высоким. Она будет хуже, чем какая-нибудь более сложная модель, например, «покупай S&P, когда цена зайдет за скользящую среднюю с периодом 200!». Умеренное усложнение снижает параметр ошибки предсказания и повышает прибыльность. Можно усложнить свою систему еще сильнее, например, воспользоваться не простой скользящей средней, а экспоненциальной… Или торговать пересечение двух скользящих средних! Или сразу нескольких… А потом добавить дополнительные фильтры и приправить все Фибоначчи… Весьма вероятно, что в какой-то момент этого путешествия вы перейдете в правую часть графика и начнете заниматься не усложнением, а подгонкой. — Ясно! Хороший комментарий в чате от пользователя с ником skousend: «Самая простая модель – не открывать сделок вообще». Да, иногда эта модель – лучшая, верно [смеются]? — Возможно, возможно! Но если комментатора интересуют такие модели, он, пожалуй, ошибся с подкастом! — Кажется, вы хотели показать нам еще один слайд, прежде чем мы перейдем к подробному обсуждению проблем оптимизации? — Да, вы спрашивали меня, какими могут быть последствия… Давайте взглянем на третий слайд! Последствий два, и первое из них очевидно. Как уже не раз было сказано, когда начинаешь торговать реальный рынок, начинаются проблемы! Система не дотягивает до ожидаемых результатов или даже торгует в убыток. Но есть и еще одно последствие, менее очевидное! Ваша доходность на бэктестах будет завышенной. И эти два последствия – не одно и то же! Позвольте привести пример. Предположим, у меня есть торговая стратегия, которая показывает просто прекрасные результаты на исторических данных длиной в несколько лет! И тут я решаю начать торговать по ней реальный рынок. Очевидно, есть вероятность, что все закончится плохо! Возможно, я потерплю несколько лет, но в итоге все-таки избавлюсь от убыточной стратегии. Суть в том, что благодаря этому я получу достаточно информации, чтобы принять взвешенное решение о том, что я, похоже, вложился в стратегию, в которую никогда не стал бы вкладываться, если бы знал, как она работает на реальной выборке… Она не стоила даже того, чтобы проводить по ней бэктесты, но… Если бы я ее не протестировал, я вообще не получил бы о ней никакой информации! Так что я делаю так… Закончив разработку стратегии, я не запускаю ее на реальном счете, а продолжаю тестировать ее еще несколько лет. И удаляю ее из своего арсенала только тогда, когда получаю значительный отрицательный результат. Важно, что первые несколько лет стратегия будет торговать только в бэктестах… Так что если она окажется убыточной, это не отразится на моей доходности! Что здорово. Такой подход симулирует то, что происходило бы в реальности. Ведь в реальных условиях нам тоже потребовалось бы несколько лет, чтобы накопить достаточно информации и принять взвешенное решение о том, стоит ли удалять стратегию или нет. А на это требуется время! Если вы не будете использовать этот метод, вы не только лишите себя нескольких лет данных, но и будете обладать завышенными ожиданиями насчет своей доходности. Это довольно тонкая тема, не знаю, удалось ли мне ее объяснить! — Думаю, удалось! — Так что получение завышенной доходности на бэктестах приводит к двум следствиям! К двум проблемам… Во-первых, завышение рисков! Трейдер смотрит на бэктесты и думает – так, я мог бы сделать 100% в год, но просадка получалась небольшая, значит, я смогу заработать еще больше, если повышу риски! Нечто похожее происходит и с издержками. Трейдер думает – так, раз я буду делать 100% в год, то ничего страшного, если я буду торговать чаще и отдавать за комиссии 20-30%, никаких проблем. Но это не так! Ваша историческая доходность завышена, и у вас на самом деле нет подушки безопасности в 100%. В действительности она гораздо тоньше! Так что нужно искать способы снизить и риски, и издержки. А если вы торгуете на чужие средства, встает еще и вопрос честности! Если у вас еще нет реальной истории торгов, а есть только бэктесты, и ваши инвесторы достаточно наивны, чтобы поверить в них… Конечно, в ваших интересах, чтобы бэктесты выглядели настолько хорошо, насколько это возможно! Но в долгосрочной перспективе… Пожалуй, это не лучший ход. — У меня возник один интересный вопрос насчет издержек... Сегодняшние торговые условия сильно отличаются от тех, которые были, скажем, 10 лет назад! Как в плане операционных затрат, так и в плане проскальзываний и так далее… Учитываете ли вы это? И сильно ли это влияет на результаты? — Я использую простой подход. Издержки я измеряю с поправкой на риск. Если говорить в целом, когда волатильность на рынке растет (хороший пример – март 2020 года), спреды становятся шире, и издержки в денежном значении получатся выше. Если делать поправку на риск, показатель издержек получается довольно стабильным. Но это работает только на ограниченном отрезке исторических данных… Чем дальше мы смотрим в прошлое, тем менее реалистичными будут наши представления об издержках. Если, конечно, вы не торгуете уже 30-40 лет и не собирали все эти годы подробные данные по издержкам. Это может привести к принятию решений, далеких от оптимальных… Взять к примеру краткосрочные трендовые системы торговли биржевыми индексами... Они торговали довольно неплохо – примерно до 2000 года! А с тех пор их доходность топчется около нуля. Но… Лично я подозреваю, что они не были прибыльными и в прошлом [смеются]! Потому что издержки тогда были гораздо выше. Потом они снизились, эти системы стали выглядеть прибыльно... И перестали работать! Если вы попробуете провести бэктесты, то увидите, что раньше они сделали бы кучу денег! А примерно 20 лет назад они делать деньги перестали. Но в реальности они, возможно, вообще никогда не были прибыльными! Сейчас я торгую со сравнительно низкими издержками, но нельзя предполагать, что такие же издержки были в восьмидесятых и девяностых! Иначе можно получить нереалистично завышенную доходность. Но это не такая уж большая проблема, если вы не делаете глупостей! Я просто слежу, не вернутся ли прибыльные системы, работавшие в восьмидесятых-девяностых, снова в строй. В таких случаях обычно требуется скопить побольше актуальных данных. В принципе, в этом всегда есть смысл! Но тот факт, что издержки со временем действительно становятся все меньше и меньше – хороший дополнительный аргумент! — Интересное наблюдение! Я не раз слышал, что стратегии, созданные, скажем, 10 лет назад, прекрасно работали лет 8, а год или два назад начали сливать. Очевидно, возможных причин множество, издержками дело не ограничивается! Но тема все-таки интересная. Окей, как я знаю, сегодня вы собираетесь рассказать нам о трех видах подгонки! Когда я делал рассылку об этом выпуске, я не стал уточнять, о каких именно видах идет речь, так что, уверен, многие гадают, что же вы нам сегодня расскажете! Первые два вида подгонки достаточно очевидны, вы уже успели их коснуться. Давайте приступим? Расскажете нам о первом виде подгонки, который вы, кажется, называете «явным», и о котором известно всем? — Точно! Именно его обычно подразумевают, когда говорят о подгонке. Что он собой представляет? Вот трейдер берет исторические данные, загружает их в какой-нибудь софт для оптимизации – может, готовый, может, собственной разработки (мой случай), а может, даже в какой-нибудь вычурный алгоритм машинного обучения… И начинает оптимизацию, стараясь получить набор торговых правил или параметров, которые обладают самым высоким коэффициентом Шарпа, наименьшей просадкой и так далее… Очевидно, что это несет в себе опасность подгонки! Если все, что вас интересует – это результаты системы в бэктесте, вы наверняка поддадитесь соблазну немного все усложнить, чтобы получить наилучший набор параметров, который идеально работал бы на вашем отрезке данных. Поступая так, вы рискуете оказаться в ситуации, когда ваша прекрасная система будет разрушена до основания каким-нибудь крошечным изменением рынка. Про этот вид подгонки известно всем. Что приводит к двум следствиям… Первое – большинство трейдеров отдают себе отчет в том, что они это делают! Это не секрет. Спросите у любого трейдера, что такое подгонка, и он, вероятно, опишет вам именно этот процесс. И это хорошо! То, что все об этом знают – это хорошо. Но следующие два типа подгонки, которые мы обсудим… Большинство людей о них, честно говоря, даже не подозревают! То, что все знают о первом виде – это хорошо. А еще хорошо то, что против него можно выстроить защиту! Сделать так, чтобы это вообще перестало быть для вас проблемой. Ведь этот вид подгонки выполняется машиной! Компьютерным алгоритмом. Но алгоритмом управляем мы сами! Мы можем приказать ему провести оптимизацию таким образом, чтобы минимизировать вероятность подгонки. Мы можем сказать ему – окей, оптимизируй стратегию в последний год данных… Потом подожди год и проведи реоптимизацию уже на двух годах данных! А потом еще раз и еще… Возможно, рано или поздно вы решите, что все, хватит, данных достаточно, с этого момента будем просто использовать последние 10 лет. Некоторые называют это форвардным тестированием. Суть в том, что это в некоторой степени имитирует то, что мы делали бы в реальной торговле… Ведь в этом и заключается смысл бэктестов! Как я уже говорил, невозможно узнать, способна ли система на прибыльную торговлю, пока вы не проверите это на новых данных. Я люблю говорить так… Машины времени не существует. В реальности у вас ведь нет машины времени? А значит, не нужно тестировать свои стратегии так, как будто она у вас есть! Не нужно делать бэктест с оптимизацией на выборке длиной в 30 лет. Вы же не Марти Макфлай! Представьте, как он перемещается из 1985 в будущее, скачивает все исторические данные, записывает их на какую-нибудь древнюю дискету, чтобы ее можно было прочитать в его эпоху, и возвращается обратно... Помните, как он попал в прошлое с результатами ипподромных забегов из будущего? Кажется, это было во второй части «Назад в будущее»! Именно так и выглядит бэктест, когда вы используете все доступные вам данные! Как будто у вас есть машина времени… Лучше использовать форвардное тестирование, позволяя компьютеру оглядываться на прошлое по мере движения в будущее. Так вы будете имитировать то, что делали бы на практике! Начали бы торговать в 1985 году практически вообще без данных. С годами получали бы их все больше и больше… А вместе с ними и доказательства прибыльности или убыточности вашей стратегии! Это – более честный, более реалистичный подход. Это – первое! Второе, что можно предпринять – приказать компьютеру использовать для калибровки и оптимизации более надежные подходы. Надежность – концепт, которому нелегко дать четкое определение! Но суть в том, что ваша модель должна быть настолько сложной, насколько это оправдано для имеющихся у вас данных, но не больше! Если вы скормите надежному процессу оптимизации стопроцентный шум, он вам ответит: «Пф-ф-ф, понятия не имею! Понятия не имею, какая торговая модель тут будет подходящей, это просто шум!». А ненадежный процесс скажет: «О да, вам подойдет вот такая модель с 500 параметрами!». Так что существует немало интересных способов и техник, но сегодня у нас не хватит времени, чтобы пройтись по всем. Лично мне нравится такой подход… Я начинаю с набора очень простых торговых правил, отвожу на них небольшую сумму – и начинаю применять форвардный подход. Сначала все наборы правил находятся в равных условиях, ведь аргументы в пользу какого-либо из них у меня просто отсутствуют. Но со временем я получаю их все больше и больше! Например, замечаю, что вот эти торговые правила не коррелируют, диверсификация – это хорошо, возможно, стоит вложить в них больше средств, а вот у этих правил лучшие результаты, им тоже стоит повысить капитализацию. Использование этого подхода гарантирует, что мы не будем отклоняться от сценария равенства до тех пор, пока не получим для этого веского довода. А значит, маловероятно, что мы вложим все свои деньги в какое-то одно торговое правило! Просто потому, что маловероятно, что все полученные нами аргументы будут в его пользу. В итоге мы получим диверсифицированный набор торговых правил, а не одно правило, которое можно легко подогнать. — Вы упомянули несколько техник, которыми можно злоупотребить... Знаю, вы собираетесь подробнее рассказать о них в следующих темах, так что давайте продолжим! Второй вид подгонки – «скрытый». Им занимаются все, но никто в этом не признается [смеются]. Полагаю, чтобы осознать это, трейдерам придется заняться самоанализом! Расскажете нам о скрытом виде подгонки? — Окей, он выглядит так! Представим, что вы создаете торговую модель... Причем очень простую! С каким-нибудь простым правилом, параметров минимум… Хотя это относится и к сложным правилам, и явному типу подгонки, но… Суть в том, что чрезмерной оптимизацией могут грешить даже те трейдеры, которые думают, что уж они-то точно чисты душой, потому что используют только простые торговые системы! Так вот, у вас есть какое-нибудь торговое правило, простое или сложное, и вы решаете его протестировать, посмотреть, работает ли оно. И вот вы видите, что правило далеко от идеала … И решаете в нем что-нибудь изменить. Снова прогоняете бэктест – «вау, гораздо лучше! Окей, буду использовать второй вариант!». В чем проблема? В том, что это – тоже подгонка! Просто она проводится самостоятельно, без помощи компьютера. Ведь вы, по сути, сказали: «Я взял набор исторических данных, прогнал по нему два варианта и выбрал наилучший». Это – подгонка! То, что вы не воспользовались для этого компьютером или каким-нибудь алгоритмом машинного обучения, не означает, что подгонки нет. Я называю этот вид подгонки скрытым, потому что если вы спросите у человека, который это сделал, использовал ли он подгонку, он ответит – нет, не использовал! Но у этого подхода точно такие же последствия, как и у явной подгонки. Более того, он даже опаснее! По двум причинам. Первая – очевидно, в данном случае трейдер не признает факта подгонки! Вторая – подгонкой занимается человек, а не компьютер, что означает, что мы имеем дело с неконтролируемым процессом. Вы можете заставить компьютер использовать только форвардную оптимизацию. Но себя вы заставить не сможете! Вы уже просмотрели кучу данных и приняли решение, оттолкнувшись при этом, возможно, от всей доступной вам истории! Ну, или только от последних двадцати лет, если вы умеете держать себя в руках… Вы можете заставить компьютер использовать только надежные варианты оптимизации. Но себя вы заставить не сможете, вы просто скажете – вот этот вариант лучше, выбираю его! И не станете тратить свое время на всякие вычурные байесовские анализы, взвешивая каждый вариант по отдельности… У скрытого вида подгонки есть несколько, так сказать, уровней греховности [смеются]. Худший вариант – изменение параметров. Предположим, вы тестируете стратегию, которая торгует пересечения скользящих средних с периодами в 2 дня и 6 дней… И тут вы думаете – интересно, а если использовать вместо этого периоды 2 и 8? Вы пробуете – о, так лучше, выберу второй вариант! В общем-то, в этом даже нет ничего скрытого, вы совершенно очевидно выбираете наилучшую модель, отталкиваясь от результатов бэктестов. Другой вариант – адаптация или изменение используемого вами правила. Например, вы решаете попробовать вместо простых скользящих средних экспоненциальные, видите, что они лучше, и выбираете их. Вы думаете, что ваша душа чиста, ведь вы не изменили ни одного параметра, а значит, подгонки не было. Но она была! Вы полностью изменили свою модель! Есть и еще более скрытые варианты… Например, вы можете начать подбирать длину временного отрезка для определения своего ATR или стандартного отклонения… Это относится уже не к торговой стратегии, а к контролю рисков, так что это не считается, верно? Нет, считается! Это все равно подгонка. А еще вы можете изменять то, что на техническом жаргоне называется гиперпараметрами… Скажем, вы используете какую-нибудь программу, которая сама проводит за вас оптимизацию… Некоторые из таких готовых программ выглядят совершенно впечатляюще! Они предлагают вашему выбору целую сотню способов подгонки. Кажется, что разумный вариант – пройтись по всем методам оптимизации и выбрать тот, который выдает наилучшую модель, верно? Вы не занимаетесь подгонкой! Подгонку делает за вас компьютер, а значит, все честно, так? Конечно же, нет! Даже выбор метода оптимизации, по сути, является оптимизацией! Ведь для создания торговой модели вы используете весь доступный вам набор данных. Так что да… Вот так выглядит скрытый тип подгонки! Если кто-то признается мне в этом грехе, я, конечно, скажу прочитать три раза «Аве Мария», ну или аналог в их религии, и скажу – иди и не греши! Но вопрос в том, как можно этого избежать? Эндрю, готовы ли вы признаться мне в том, что тоже в прошлом поддавались греху скрытой подгонки? — Несомненно! — Так я и думал! — А что насчет вас? — Несомненно! Думаю, все это делали [смеются]! Так как же этого можно избежать? Начать нужно со скрупулезной честности! Если вы уже прогнали бэктест, ничего не меняйте. Если вы торгуете так же, как я, используя портфолио торговых правил… Каждый раз, когда вы будете тестировать новое правило, вам нужно будет добавлять его в свое портфолио систем для бэктеста и следовать тому же методу, что и я... Если выяснится, что модель нерабочая, не нужно выкидывать ее и сразу переходить к следующей. Позвольте системе самой снизить свою долю капитализации по ходу последующих бэктестов. Вероятно, когда придет время перевести ее на реальные деньги, вы уже прекратите по ней торговать – годы плохих результатов снизят ее капитализацию до нуля. Но что важнее – коэффициент Шарпа вашего портфолио для бэктестинга не будет преувеличен… Потому что эта плохая модель будет присутствовать в нем на протяжении многих лет! Вот так в идеале и нужно делать. В крупных фирмах прекрасно умеют с этим справляться. Там работают компьютерные системы, которые регистрируют каждый проведенный вами бэктест! Буквально ловят вас с поличным! Когда вы придете к инвестиционному комитету и предложите им прекрасную новую идею с впечатляющей доходностью, вам ответят – ага, ничего удивительного, Роб, ведь ты провел 150 000 бэктестов, чтобы создать эту красотку [смеются]! Есть приемы, позволяющие контролировать эту так называемую проблему множественного тестирования. Например, нельзя устанавливать какой-либо порог, а потом добиваться его, проводя одну оптимизацию за другой… Рано или поздно вы обязательно получите желаемый результат – просто по чистой случайности! Если вы решите найти систему с винрейтом в 99%, а потом протестируете 500 моделей, вы обязательно ее найдете, причем даже не одну! Но в реальной торговле винрейт этих систем, конечно, окажется гораздо ниже. В статистике есть специальные инструменты, помогающие избегать этого эффекта. А еще постарайтесь не доводить дело до датамайнинга! Не пытайтесь вытянуть из своих исторических данных какую-либо модель. Не позволяйте данным диктовать вам то, как будет выглядеть ваша система! Я предпочитаю следовать методу, который называю «идеи – в первую очередь». Сначала я придумываю идею, у которой есть какой-то надежный фундамент, и только потом тестирую ее… А не просто говорю – так, посмотрим, что покажут мне данные! Это гораздо менее надежно. — Я хотел бы спросить вас о практическом применении ваших концептов! Давайте в двух словах, а то у нас в чате уже скопилось много вопросов. Возвращаясь к вашему примеру с простыми и экспоненциальными скользящими средними… Предположим, трейдер Эндрю попробовал оба варианта, увидел, что экспоненциальные работают лучше, и выбрал их. А трейдер Роб говорит – я попробую поторговать только по экспоненциальным, и плевать на все остальное. Оба трейдера придут к одинаковому результату. Судя по тому, что вы нам рассказали, трейдер Роб, если можно так выразиться, более прав, чем трейдер Эндрю, так?.. Но ведь результат у них будет один и тот же! Как бы вы рационализировали подход Роба? — Это напрямую связано с третьим видом подгонки! Не уверен, что смогу ответить на ваш вопрос, не объяснив его. — Хорошо, тогда расскажите нам о нем, а к вопросу вернемся позже! — Какой плавный переход к новой теме! Народ, мы это не репетировали [смеются]! Годы опыта ведения подкаста – вот что это такое! — Просто я наконец-то почувствовал эффект от кофе! — Да уж! Мне нравится такой пример… Давайте представим, что меня отправили на необитаемый остров. У меня нет с собой ничего, кроме ноутбука… На котором отсутствуют какие бы то ни было исторические данные! И меня ставят перед задачей: Роб, создай рабочую систему для фьючерсной торговли! В этом случае я, вероятно, быстренько запрограммировал бы систему, торгующую пересечения экспоненциальных скользящих средних. Мне хорошо знакома эта модель, я много с ней работал, я знаю, что она прибыльна. Миссия выполнена. Так в чем же проблема? А вот в чем… Откуда мне известно, что эта система работает? Воспользовался ли я машиной времени? Ответ – да! В 1985 году… Мне тогда было всего 9, трейдингом я еще не увлекался! Но если гипотетически… Знал ли я-девятилетний, что эта торговая модель работает? Можно отправиться еще дальше в прошлое! В 1960 год, когда в экономике еще не было опубликовано ни одной научной работы на эту тему. Возможно, кто-то в те времена и торговал по экспоненциальным скользящим средним, но это держалось в секрете! В прошлом мы не могли знать, что они работают. Но поскольку я это знаю, значит, я все-таки воспользовался машиной времени… Несмотря на то, что я не использовал исторические данные, я все равно знаю, что это работает! Я называю этот вид подгонки негласным, потому что в его основе лежит негласное знание человека, оптимизирующего систему. Эти знания могут быть почерпнуты из научных работ, от других трейдеров, из презентаций, книг или даже из понимания тонкостей работы индустрии… Но суть в том, что это знание доступно нам только потому, что кто-то другой уже опробовал эту систему – либо в бэктестах, либо в реальных условиях. Ведь это не какое-то знание свыше! «Используй пересечение экспоненциальных скользящих средних, сын мой, и все будет хорошо» [смеются]. Не так это было! Прощу прощения, сегодня воскресенье, так что религиозные отсылки получаются у меня сами собой. Но… Смысл в том, что да, действительно, если говорить формально, подгонка отсутствовала, потому что я не протестировал абсолютно ничего, кроме единственной системы пересечения экспоненциальных скользящих средних! Но и мой бэктест, и мой коэффициент Шарпа будут завышены, потому что я знаю о прибыльности этой системы только благодаря тому, что воспользовался машиной времени. Мне нравится приводить еще один пример, доводя все до абсурда. Если мы хотим торговать тренды, мы можем воспользоваться для этого комбинацией «быстрая скользящая средняя минус медленная скользящая средняя». Если взять противоположную комбинацию, то мы, по сути, получим систему возврата к среднему, которая ищет развороты тренда. Откуда мы знаем, что из этого работает? Когда приходит время для оптимизации, никто не говорит «так, сейчас я протестирую все варианты быстрой и все варианты медленной скользящей средней, но моя быстрая всегда будет быстрее медленной». Никто так не говорит, но все это подразумевают! Получается, люди автоматически отсеивают половину всех торговых стратегий, которые можно создать на основе пересечения скользящих средних! Вы игнорируете этот вид систем возврата к среднему, потому что знаете, что он не работает! А все из-за негласного знания. Оно значительно завышает ваш коэффициент Шарпа на истории. Я пробовал это измерить – разница получается примерно в два раза! Более честным подходом будет сказать: «Я не знаю, работает ли возврат к среднему или скользящие средние, потому что у меня нет негласного знания, так что я протестирую и то, и другое». Или, если использовать ваш пример, «протестирую и простую, и экспоненциальную скользящую среднюю. И пусть со временем мои системы сами покажут мне, какая из них лучше. Так результаты моего портфолио для бэктестов не будет завышены, потому что в нем будут содержаться не только хорошие системы, но и плохие». — Да, интересно подмечено! Вы заставили меня серьезно задуматься… Мне кажется, многие трейдеры любят читать результаты исследований и все такое! Но это, как вы подметили, продукт бэктестов и датамайнинга, просто их за нас сделал кто-то другой… А мы смотрим и думаем – окей, выглядит неплохо, воспользуюсь этим! Еще в сети часто можно наткнуться на результаты статистических тестов, например, «на второй день после выхода на уровень максимума последнего месяца в 56% случаев рынок проходит такое-то расстояние»… Для определения этих закономерностей обычно используются все доступные данные, ну, или весьма значительная их часть! Получается, люди выстраивают стратегии, используя машину времени… И ведь можно легко подвергнуться этой проблеме, даже не осознавая ее! Думаю, это случалось с большинством трейдеров… Включая меня! Причем, кажется, я делал это недавно… Придется теперь все переосмыслить! И ведь если ты этого не знаешь, то даже не осознаешь, что ты это делаешь. Вы открыли мне глаза! Думаю, очень важно понимать это и всегда быть начеку. Можете прокомментировать?.. — Хотите, чтобы я рассказал о том, как можно избежать негласного вида подгонки? Я поставил его последним, потому что это – самый сложный и коварный вид чрезмерной оптимизации! Представьте: вам говорят – просто забудьте все, что вы знаете о трейдинге! Сделайте ваш ум совершенно чистым и открытым для новых идей! И просто пробуйте все на свете! Безумие какое-то. Кажется неразумным сбрасывать со счетов годы опыта… Кстати, с этой точки зрения новички обладают преимуществом над опытными трейдерами! Как ни странно, есть много фондов количественного трейдинга, которые никогда не берут на работу людей с опытом торговли. Или, по крайней мере, не брали в течение долгого времени… AHL, на который я проработал много лет, раньше брал на работу только физиков-выпускников без опыта в сфере финансов! Прошло немало лет, прежде чем они начали нанимать людей типа меня – специалистов других специальностей, в том числе и с опытом торговли. Еще один пример – фонд Renaissance Technologies… Они тоже с большой неохотой берут к себе людей с опытом в сфере финансов. Их больше интересуют ученые с докторскими степенями по обработке естественного языка и все такое… И в этом есть свои плюсы! Они не нанимают трейдеров не потому, что боятся безусловной подгонки. Они не нанимают трейдеров потому, что хотят, чтобы у их сотрудников был свежий взгляд на трейдинг! Им не нужны люди, которые делают то же самое, что и все. Да, конечно, людям без опыта в сфере финансов придется заново открывать то, о чем другим известно уже давно... Но на мой взгляд, это – разумная плата. Куда более интересный вопрос – что таким фирмам делать с людьми, которые проработали на них уже несколько лет и получили опыт работы в индустрии? Нельзя же их просто уволить – они сразу отправятся к конкурентам! Мне кажется, выбор только один – убивать их [смеются]! Как это ни прискорбно! Я предлагал эту политику в нескольких фирмах, в которых занимался консультированием, но наткнулся на определенные сложности со стороны отдела кадров… Ладно, давайте серьезней! На самом деле именно здесь идут в дело технологии машинного обучения, главное – делать все правильно. Хороший алгоритм машинного обучения может протестировать множество подходов, причем надежным способом. Поскольку поиск будет вестись по огромному набору параметров… От негласного знания никуда не денешься! Ведь вам придется выбирать, какие данные вы будете скармливать этой штуке. Скармливая ей цену, вы как бы намекаете – «цена играет в трейдинге важную роль»! Можно поспорить, что это тоже относится к негласному знанию, но… Это – здравый смысл, так что ничего страшного. Но вот если вы скармливаете алгоритму какой-нибудь кастомный индикатор, который вы уже использовали в прошлом и про который точно знаете, что он работает… Вы, можно сказать, впускаете негласную подгонку через заднюю дверь! Но да, действительно, если правильно подойти к использованию алгоритмов машинного обучения, мы можем получить тот же эффект, что и от найма молодого специалиста со свежим взглядом, который ничего не знает о финансах и полностью открыт для новых идей. Правда, иногда это приводит к неудовлетворительным результатам. Помню, однажды я работал с трейдером, который использовал один исключительно вычурный алгоритм машинного обучения. Он выдал нам настолько сложные результаты, что нам пришлось пару недель разбираться в том, как их можно интерпретировать. В итоге оказалось, что этот впечатляющий алгоритм машинного обучения… Заново открыл торговлю по тренду! Но сделал это хорошим и надежным способом. С позиции ведения бизнеса ценности в этом было немного. Но мы по крайней мере были уверены в том, что этот бэктест чист и не заражен негласным знанием. Благодаря ему мы получили более реалистичное представление о том, каким должен быть коэффициент Шарпа, что само по себе ценно! Так что да, избежать негласного типа подгонки очень тяжело. Единственный способ – тестировать огромное количество подходов! Что на самом деле идет вразрез с самой идеей избегания подгонки… На мой взгляд, это – что-то вроде плохой привычки, с которой можно жить, главное – отдавать себе в ней отчет и понимать, что она может привести к завышенным результатам бэктестов. Мне тоже приходится с ней мириться! Каждый день живу в боли [смеются]! Думаю, использование вычурных алгоритмов машинного обучения для меня просто нереалистично... Получить устройство из «Людей в черном», которое стирает память – тоже не вариант. Как и убить себя, заменив выпускником со свежим взглядом. Так что я решил, что продолжу делать то, что я делаю! И постараюсь принять тот факт, что негласная подгонка всегда со мной. — Есть еще один вариант – допиться до такого состояния, что забудешь все свои знания о торговых стратегиях [смеются]! Но у него, конечно, есть свои минусы. — Наши слушатели, должно быть, сейчас закатывают глаза и думают: «Вот что бывает, когда на подкасте встречаются австралиец и англичанин!». Одна только выпивка и странные шутки! Стыд и позор. — Да уж, мой секрет – после завтрака я заменяю свою бутылку с водой на бутылку с водкой [смеются]! Ладно, в чате скопилась масса вопросов! Я не хотел бы вас задерживать, так что позвольте мне выбрать всего пару... Вопрос от GoogleUser2004 – он показался мне интересным! И, пожалуй, даже философским… «Роб, в чем смысл бэктестов? В том, чтобы открывать новые стратегии? Или в том, чтобы их оценивать?» Кажется, этот вопрос пришел тогда, когда вы рассказывали об изменении правил в поисках рабочего подхода! Полагаю, в этом контексте вопрос выглядит достаточно интересно. Что скажете? — Вопрос просто прекрасный! Ответ – и в том, и в другом. Как я уже сказал, вести эту игру можно двумя способами… В первом мы сначала берем идею, а потом тестируем ее. Во втором мы начинаем с данных и смотрим, что они нам скажут. Но на практике, конечно, приходится заниматься и тем, и другим. Вы пробуете какую-либо идею, тестируете ее, возможно, модифицируете, изменяя параметры с оглядкой на то, что говорят вам данные… Но можно делать это хорошо и надежно, а можно делать это плохо, как мы уже обсудили. Так что вопрос, на мой взгляд, нельзя отнести к бинарным! Это – два конца спектра. На одном конце – чистое машинное обучение, когда ты понятия не имеешь, какой окажется твоя стратегия и что тебе скажут исторические данные. При правильном использовании этот подход является прекрасным способом избежать негласной подгонки. При неправильном – он оказывается худшей подгонкой, какая только вообще возможна, и… Я бы сказал, что, пожалуй, около 95% людей, которые занимаются этой темой в сфере финансов, используют его неправильно. А на другом конце этого спектра – человек, который придумывает идею, тестирует ее, оценивает… И либо начинает по ней торговать, либо нет. Но не уверен, что такие люди вообще существуют! Вряд ли кто-то когда-либо придумывал прекрасную торговую идею, обнаруживал, что она идеально работает, и – все, работа сделана! А если не работает – в мусор ее! Думаю, большинство трейдеров находятся где-то посередине. Я, пожалуй, больше склоняюсь к концу идей. Я начинаю с идей, я тестирую их… И да, оптимизирую – до определенной степени! Даю данным возможность сказать мне, как именно моя модель должна выглядеть. Но в целом большинство трейдеров находятся примерно посередине. — Окей, еще один вопрос, поступивший к нам примерно в то же время! «Как вы считаете, стоит ли вообще заниматься тестированием новых стратегий? Или лучше торговать по существующим стратегиям, про которые уже известно, что они работают? Многие пытаются достичь экстраординарных доходностей, что и приводит к подгонке». — Должен сказать, я симпатизирую вашей точке зрения! Да, можно делать так, если вы тоже следуете подходу «сперва идеи». Просто в данном случае вы начинаете с чужих идей, про которые уже известно, что они работают… Причем есть немало торговых правил, которые работают сравнительно неплохо! Но это возможно только в том случае, если вы не соревнуетесь с другими за одну и ту же альфу! К примеру, если вы – высокочастотный трейдер, вам нельзя торговать по чужим стратегиям! Вообще, стоило бы начать с того, что все стратегии высокочастотного трейдинга засекречены… Стоит информации выйти наружу – и все, стратегия перестает работать. Они очень быстро приходят в негодность. Так что эта игра нам с вами не по зубам! Но если вы торгуете самостоятельно, как я, то да… Я бы сказал, около 90% моего капитала вложено в стратегии, которые являются общеизвестными, причем уже очень давно. А 10%... Не стану утверждать, что о них не известно никому, кроме меня, но это, скажем так, не общедоступное знание. Я обнаружил эти закономерности самостоятельно. Если задуматься, соотношение 90 к 10 выглядит достаточно депрессивно [смеются]! Вполне можно было бы торговать готовыми стратегиями не на 90, а на все 100%! Пожалуй, это правда. Помню, проводились какие-то исследования – используя общедоступные стратегии, можно достичь 90% доходности Уоррена Баффетта. Возможно, эта идея не так уж плоха! — Окей, спасибо, Роб! Вопрос от Амера. «Часто говорят, что проводить оптимизацию с оглядкой на годовую доходность – это грех. Что можно использовать вместо этого? Может, подойдет волатильность или асимметрия [skew]?» — Кажется, я слишком часто использую слово «грех» [смеются]! Пожалуй, ответить на ваш вопрос можно так… Все зависит от того, какие цели вы преследуете! Если вы проводите оптимизацию, чтобы получить лучшую торговую стратегию (в том числе и при работе вне выборки), и при этом делаете все правильно… Тогда вам не обойтись без какого-нибудь параметра, в котором учитывается доходность с поправкой на риски. Например, коэффициент Шарпа, коэффициент Сортино, доходность, скорректированная на просадку… Что-то в этом роде! Одни статистические параметры хуже, другие – лучше. Не будем начинать долгую и скучную беседу на эту тему! Волатильность и асимметрия в этом плане немного отличаются. Мне не кажется, что есть смысл оптимизировать стратегию по волатильности, но я всегда интересуюсь волатильностью своих стратегий! В предыдущем вопросе говорилось, что бэктесты проводятся по двум причинам… Но на самом деле их три! Третья – желание побольше узнать о поведении стратегии! Как часто она торгует? Каким соотношением продаж к покупкам обладает? Каковы издержки? Волатильность? Асимметрия? Все это – полезная информация! Не обязательно проводить оптимизацию этих параметров, но их понимание поможет вам спрогнозировать, чего можно ожидать от стратегии в будущем. Что, если повезет, поможет вам не вмешиваться в ее работу, когда начнется просадка. Что касается асимметрии… В некоторых фирмах этот параметр действительно используется при оптимизации. Например, это принято в среде CTA [управляющие на фьючерсном рынке], потому что там положительная асимметрия – распространенное требование инвесторов. Так что этот параметр действительно могут оптимизировать… Но учитывать – обязательно! Это значение должно хорошо выглядеть. Лично я асимметрию не оптимизирую, но учитываю. Так что да, если вы ищете лучшую торговую стратегию, вам не избежать оптимизации какого-либо параметра, связанного с доходностью, скорректированной на риск, потому что высокая доходность и низкие риски – это, можно сказать, и есть определение лучшей стратегии. — Окей, спасибо, Роб! У вас есть еще пара минут? Мы беседуем уже больше часа… — Да-да! — Хорошо! Вопрос от Truestox о том, как размер выборки влияет на параметр ошибки предсказания. «Говоря о законе больших чисел… Если использовать крупный объем выборки, скажем, 10-15 лет исторических данных, поможет ли это снизить ошибку предсказания?» — И да, и нет! Если говорить чисто статистически, все это можно рассчитать, используя квадратный корень. 10 лет данных – это в 1,414 раза лучше, чем 5 лет данных. 10 в два раза больше, чем 5, а корень из двух – 1,414. В этом смысле чем больше данных, тем лучше… Но чем большие отрезки времени мы сравниваем, тем меньше становится преимущество! 30 лет данных принесут вам ненамного больше пользы, чем 10. Но по сравнению с 1 годом 10 лет данных совершенно неоценимы! Есть и другая проблема, которой мы уже коснулись – данные, которым 30 лет, возможно, окажутся для вас не особенно полезными, потому что мир с тех пор слишком сильно изменился! Так говорит статистика. Но что касается практики… Использование более крупной выборки вовсе не обязательно поможет вам создать стратегию с более высокой доходностью. А вот с более высокой надежностью – вполне! Ведь так ваша модель повидает больше разных рыночных событий. Например, если вы будете использовать для тестов выборку в 15 лет, ваша модель застанет кризис 2008 года! И повидает немало рыночных циклов… А если оптимизировать модель на отрезке длиной всего в год… Модель получится очень странной, не так ли [смеются]? Только представьте систему, которая стартовала бы в феврале 2020! Ее торговля не будет похожа ни на одну модель прошлого. И сомнительно, что она покажет хорошие результаты в будущем… Если, конечно, все это безумие не продолжится и дальше. Так что для нас наибольшей ценностью обладает, если можно так выразиться, не длинный набор данных, а широкий. Мне нравится проводить оптимизацию своих моделей на разных инструментах… Конечно, издержки везде разные, но так модель получается более надежной. В общем, чем больше данных, тем лучше, но большое количество данных не гарантирует вам получение прибыльной стратегии, если вы неправильно их используете. — Окей! Вопрос от Джеффа. «Какие данные лучше всего подходят для бэктестов? К примеру, многие брокеры предоставляют данные, дающие только 90% качества модели. Насколько важны данные для бэктестов?» — Не уверен, что имеется в виду под «90% качества модели»… И как вообще можно объективно измерить качество модели? Эндрю, у вас есть идеи? Хотелось бы ответить на вопрос наилучшим образом... — Нет, я тоже не уверен! Возможно, Джефф захочет уточнить свой вопрос… — Ладно, тогда пока отвечу вкратце! Все зависит от того, каким типом трейдинга вы занимаетесь. Я провожу тесты на D1, так что не нуждаюсь в высокоточных внутридневных данных. Но, пожалуй, перед тем, как использовать данные, всегда стоит проверить их и почистить, если необходимо. Самое простое, что можно сделать – разметить линии и поискать пробои, скачки и любое необычное поведение. Можно написать программу, которая будет проверять данные за вас. Лично я использую фильтр, анализирующий ценовые данные по мере их поступления от брокера. Если программа замечает слишком резкий скачок цены, она не станет загружать данные в базу, а отправит мне письмо на электронную почту: «Проверь-ка, это выглядит немного странно». И пока я не дам добро, подозрительные данные не попадут ко мне в базу! Я всегда стараюсь максимально снизить вероятность получения плохих данных. Но какая-то их часть просачивается! Одно из решений этой проблемы – разрабатывайте только те системы, которые не отличаются высокой чувствительностью к плохим данным. Хороший пример – скользящие средние! Они сглаживают ценовые данные. Если цена резко скакнет вверх, а на следующий день опустится обратно, скользящая средняя лишь немного повысится, а потом быстро вернется на место, что почти не повлияет на ваши позиции… Возможно, вы вообще не заметите, что что-то не так! Есть и другие приемы для сглаживания и буферизации сделок, например, диверсификация между большим количеством торговых правил и торговых инструментов… Все это снижает урон, который могут нанести вам плохие данные. Но… Могу судить по многолетнему опыту торговли в институциональных фирмах! Даже если ваш бюджет на исторические данные исчисляется десятками и сотнями миллионов в год, плохие данные все равно найдут дорогу! Конечно, нужно стараться это предотвращать, но… Лучше на всякий случай использовать системы, не отличающиеся высокой чувствительностью к плохим данным. — Окей! Джефф дополнил свой вопрос, но вы и так прекрасно все объяснили. Вопрос от JG… Незнакомое имя, добро пожаловать, JG! «Применяете ли вы поэтапные входы и доливки? Если да, то какой подход для управления рисками вы используете?» — Да, я их применяю… Но, если можно так выразиться, неосознанно! Это – что-то вроде артефакта моего подхода. Я использую не дискретные системы, а континуальные. Возьмем, для примера, пересечение скользящих средних… Когда одна отдаляется от другой, расстояние между ними растет. Для меня это показатель того, что сила моего сигнала увеличивается, что является поводом для доливки. А когда все идет в другую сторону, я снижаю размер своей позиции до тех пор, пока не закрою ее совсем… После чего я вхожу в другую сторону! Так что да, я использую поэтапные входы и выходы, но у меня нет правил типа «если цена дойдет до этого уровня, я открою дополнительную сделку». Это – своеобразный артефакт движения цены в тренде, если мы, конечно, говорим о трендовых системах. А что касается риск-менеджмента – риск по позиции у меня всегда зависит от текущей рыночной волатильности. Опять же, я не использую правил типа «здесь закуплюсь с риском в один юнит, здесь – еще, здесь – еще». Для этого приходится использовать разные стоп-лоссы, разное сопровождение сделок… На мой взгляд, это слишком сложно! Но мне и не приходится этим заниматься, так как мои системы устроены иначе! — Окей, у нас осталось еще несколько вопросов, но, думаю, пора заканчивать, ведь нам еще нужно сходить на отпущение торговых грехов [смеются]! Ну, я-то точно пойду! В чате спрашивают, какой тип оптимизации вы одобряете и производите ли рекалибровку своих моделей… Давайте выберем один из них, он станет последним. Вопрос от Джона – спасибо за активное общение в чате! «Существует ли тип оптимизации, который вы одобряете?» — Я одобряю явную оптимизацию! Которая проводится компьютером, причем надежным способом, о котором я уже рассказал. Скрытая оптимизация – здесь не может быть никаких оправданий! Ею не стоит заниматься в принципе! А негласная… Я с ней просто смирился! Я ее не одобряю, но это – слишком сложная проблема, чтобы ее решать. — Комментарий в чате от Truestox – «аминь!» [смеются]. Ладно, Роб, большое спасибо, что уделили нам время! Знаю, мы задержались и у вас уже вечер воскресенья, так что вам, наверное, пора ужинать… Большое спасибо за все, чем вы с нами сегодня поделились! Как с вами можно связаться? И где можно побольше узнать о вас? — Можете посетить мой сайт systematicmoney.org! Там есть ссылки и на мои аккаунты в соцсетях, и на мой блог. Пожалуй, лучше начать с этого! — Окей, здорово! В чате пишут хорошие комментарии, давайте выведем парочку на экран, чтобы закончить выпуск на позитивной ноте… «Спасибо, Роб!» Кевин: «Спасибо за вебкаст, всегда рад, когда Роб делится своими идеями!». Даже если это вызывает чувство вины! — Эй, последнего он не говорил! Это вы от себя добавили [смеются]! — Не знаю, должно быть, просто не поместилось на экране! Слушатели продолжают благодарить вас… Очевидно, людям понравилось то, чем вы с нами сегодня поделились! Пожалуйста, оставляйте комментарии, это помогает продвижению видео! И спасибо, что присоединились к нам сегодня! На следующей неделе у нас запланирован новый выпуск, точно не помню, кого я на него пригласил, но могу сказать, что потягаться с Робом будет непросто! Еще раз спасибо, Роб, всего вам наилучшего! — Спасибо, пока-пока! Переведено специально для Tlap.com

Роберт Карвер: О правилах торговых систем и опасностях чрезмерной оптимизации Роберт Карвер – опытный трейдер и исследователь рынков, который за свою карьеру успел поработать в Barclays Capital и в AHL – одном из крупнейших мировых хедж-фондов, специализирующихся на системной торговле. Подход Роберта интересен тем, что он не использует никаких секретных или уникальных техник, а применяет общеизвестные рабочие концепты. В этом интервью он коснется общих вопросов разработки торговых стратегий: определение правил, форвардное тестирование, оптимизация, уникальность (или ее отсутствие) отдельных рынков. Кроме того, в конце он расскажет о континуальных правилах и их преимуществах над широко распространенными в трейдинге бинарными правилами, а также коснется темы самого важного качества, необходимого для всех системных трейдеров. Интересного чтения! Ссылки: YouTube, сайт подкаста, ссылка на второе интервью *** Добро пожаловать на подкаст Better System Trader! Это – выпуск номер двадцать шесть, я – ваш ведущий, Эндрю Суонскотт! На этой неделе у нас в гостях Роберт Карвер – независимый системный трейдер, писатель-фрилансер и научный консультант. Роберт более семи лет проработал в AHL - одном из крупнейших хедж-фондов, специализирующихся на системной торговле. На пике своей карьеры управляющего он работал с портфолио инвестиций с фиксированной доходностью, капитал которого исчислялся миллиардами. На данный момент он торгует на своем собственном депозите с помощью систем, которые он разработал самостоятельно. Кроме того, недавно Роберт опубликовал свою книгу «Systematic Trading: A unique new method for designing trading and investing systems». В этом выпуске мы уделили немало внимания теме правил торговых систем: обсудили, что можно назвать хорошим правилом, и поговорили о преимуществах континуальных правил над бинарными. Кроме того, Роберт поделился с нами своими мыслями на тему чрезмерной оптимизации и рассказал о сложностях и опасностях форвардного тестирования, игнорирование которых может свести на нет практичность этого метода. Ладно, давайте приступим! Надеюсь, вам понравится мое интервью с Робертом Карвером! *** — Спасибо, что присоединились к нам сегодня, Роберт! Если вы не против, для начала расскажите в двух словах о себе! Как вы попали в трейдинг? Как пролегал ваш путь дальше? — Хорошо! Торговать я начал в 2002 году, когда устроился в Barclays Capital, это – британский инвестиционный банк. Примерно два года я проработал в отделе торговли экзотическими деривативами процентных ставок. Честно говоря, мне это не очень понравилось! Думаю, отчасти я решил встать на путь системной торговли потому, что дискреционный трейдер из меня – так себе! Мне это просто не по душе. После этого я два года работал в «мозговом центре», занимался там исследованиями. Совершенно другой род деятельности! Мне удалось здорово отдохнуть от трейдинга. А после мне посчастливилось устроиться на работу в AHL! Возможно, некоторые из ваших слушателей слышали об этой фирме, это – крупный хедж-фонд, специализирующийся исключительно на количественном системном трейдинге. Основным направлением был фьючерсный рынок, но в той или иной степени были представлены все инструменты. Моей первой работой в AHL была разработка торговой модели, которая бы основывалась на фундаментальном анализе. Там, как и во многих других подобных фирмах, использовались в основном только трендовые торговые системы, основанные на техническом анализе. Но AHL захотелось улучшить свою диверсификацию! Я имел некоторый опыт в экономике, так что меня взяли на борт, чтобы я разработал модель, которая давала бы прогнозы цены, используя только фундаментальные, макроэкономические данные. Я проработал в этом направлении несколько лет, а потом меня назначили на должность менеджера портфолио инвестиций с фиксированной доходностью. Там применялся и технический анализ, и фундаментальный, но торговались только инструменты с фиксированной доходностью: фьючерсы на казначейские и денежные облигации, краткосрочные процентные ставки, свопы процентных ставок и кредитные деривативы. Я занимался этим до 2013 года. Портфолио набрал достаточно приличное! Риски составляли сотни миллионов долларов в год. Было здорово! И интересно! Я узнал много нового. Но в 2013 году я решил, что хватит с меня работы фондового управляющего, и решил сделать перерыв. Во время этого перерыва я начал торговать на свои собственные средства, применяя самостоятельно разработанные полностью автоматические торговые системы. О них мы, наверное, еще сегодня поговорим! Торгуя на своем депозите, я вновь занялся научной работой. Недавно опубликовал книгу по системному трейдингу! Вот, собственно, и все! Я стараюсь помогать трейдерам, обучать их этому предмету, прокачивать их понимание вопроса. Как с точки зрения институционального трейдинга, так и с позиции ритейл-трейдинга, – пара лет опыта у меня есть! — Окей, здорово! Как вы и упомянули, несколько недель назад вы выпустили книгу «Systematic Trading», – думаю, она просто отличная! Поздравляю вас с публикацией. В ней вы подняли несколько интересных тем, о которых, возможно, многие трейдеры даже не задумывались. Хотелось бы сегодня обсудить с вами некоторые из них! Но сначала давайте поговорим об основах. Начнем с торговых правил! Очевидно, они – важная составляющая системного трейдинга. Скажите, что из себя представляет хорошее правило? — В основе системного трейдинга лежит концепт повторяемого процесса. То есть у вас должна быть возможность протестировать торговую идею и убедиться, что она является прибыльной на истории. Некоторые трейдеры думают, что они тоже занимаются системным трейдингом, когда, например, торгуют по паттернам. Но такую торговлю можно считать системной только в том случае, если они могут выразить свой подход в виде точного алгоритма идентификации паттернов – какого-то набора правил, который мог бы примениться и другим трейдером, и компьютером. Если строго сформулированного алгоритма трейдер составить не может, – значит, такую торговлю нельзя считать полностью системной. То есть нам нужны правила, которые можно было бы протестировать. Тестирование нужно для того, чтобы посмотреть, является ли система прибыльной на истории. А дальше, по сути, нам приходится сделать предположение, что если правило работало в прошлом, то, вероятно, оно будет работать и в будущем, так как на рынках не произошло никаких серьезных изменений. Это подразумевает, что наши торговые правила не должны быть чрезмерно оптимизированы, или, как некоторые говорят, подогнаны. Нужно стремиться к правилам, которые хорошо работали бы в различных рыночных условиях, по крайней мере, я так считаю. И правила эти должны быть сравнительно просты! Чем сложнее правила, тем выше вероятность подгонки, а чем проще, – тем она ниже… Другое преимущество сравнительно простых правил заключается в том, что вы можете их понять! Понять, что они делают сейчас и что будут делать в будущем. Это не «черный ящик», который показывает вам сигналы на покупку и продажу, а вы даже не понимаете, почему. Так что, как мне кажется, очень важно, чтобы правила системы были простыми и интуитивно понятными. Давайте возьмем какое-нибудь элементарное правило, например, правило торговли по тренду. Вы можете спросить, в чем оно заключается? В предположении, что если цена растет сейчас, то она продолжит расти и в будущем. То же самое и в случае снижения цены. Понять эту идею очень просто! А вот если бы мое правило было очень сложным, то я бы не смог его объяснить. И понять! Следовательно, оно оказывало бы на мой трейдинг непредсказуемое влияние, и я бы испытывал намного больше сомнений, торгуя по нему. И еще один важный момент: если правило является простым и понятным, – это значит, что я, вероятно, смогу идентифицировать состояние рынка, при котором это правило работать не будет. Что намного труднее, если правило является сложным. Так что хорошее правило – это правило простое, надежное, не подогнанное, понятное и обоснованное. Вот такие правила мне по душе! — Здорово! Вы затронули тему того, почему некоторые правила могут не работать. А как вы думаете, почему некоторые правила работают? — Я не верю, что в трейдинге есть множество правил, которые являются выдающимися, необычными – и очень прибыльными. Во что я верю, так это в стабильность и регулярность определенных рыночных явлений. Экономисты бы возразили – всегда существуют факторы риска! Например, премия за риск по акциям (разница между ожидаемой доходностью по инвестициям в обыкновенные акции и доходностью по безрисковым инвестиционным инструментам). То есть в целом акции имеют большую доходность, чем облигации, потому что и риск там выше. Или, например, временная структура… Долгосрочные облигации приносят больше дохода, чем краткосрочные, и это логично, ведь в психологическом плане гораздо легче инвестировать во что-то на 5 лет, чем на 10. Так что существует множество нюансов, которые нужно учитывать! Многие считают, что истина лежит где-то между бетой (обычным, невысоким доходом с рынка при стратегии типа «покупай и держи») и альфой (экстраординарной доходностью, требующей особых умений). Это можно назвать «альтернативной бетой». Свое портфолио я предпочитаю составлять из торговых правил, которые никого не удивят! Из правил, которые основываются на общеизвестных фактах. Например, все знают, что торговля по тренду работает, как и торговля импульсов. Может, не всегда, но, по крайней мере, – часто! И на большом разнообразии активов и таймфреймов! Это – факт настолько известный, что про него нельзя сказать, будто это – какой-то секрет, требующий от трейдера особых знаний и умений. Так что для разработки правил я ищу явления, которые присутствуют на рынках уже давно и имеют под собой правдоподобное основание. Которые не являются новыми или уникальными! Может, нечто подобное и правда существует! Но, наверное, за пределами моей области специализации. Например, в высокочастотном трейдинге… Но не думаю, что в среднесрочной и долгосрочной торговле остались какие-то серьезные нераскрытые секреты. — Окей! Давайте вернемся к торговым правилам чуть позже, а сейчас, может, обсудим вопросы тестирования? Очевидно, существует немало подходов к выбору временных периодов для тестирования и оценки работоспособности стратегии. Один из самых популярных – форвардное тестирование или тестирование по методу «скользящего окна» (rolling window). У вас в книге есть интересная глава под названием «Когда оптимизация приносит вред», в которой описывается этот подход и приводятся различные примеры, в которых этот вид тестирования оказывался не так эффективен, как некоторые другие альтернативы. Результаты исследований, которые вы туда включили, оказались для меня достаточно неожиданными! Не могли бы вы поделиться этим с нами и заодно описать этот подход? — Ну, у форвардного тестирования есть свои плюсы! Один из них – вы не хитрите, заглядывая в будущее, тестирование вы проводите вне выборки. Это очень хорошо! Но у этого подхода есть и минус, – очевидно, определенный набор данных для подгонки своей модели вы же используете. И этот набор данных остается неизменным. Часто бывает, что для оптимизации модели трейдер берет отрезок данных длиной в год, а после начинает поэтапное форвардное тестирование, проводя повторную оптимизацию после каждого прошедшего года. Проблема в том, что один год – это слишком мало, если вы хотите найти статистическое подтверждение работоспособности своей системы. Для того, чтобы убедиться, что вы нашли что-то стоящее, требуются гораздо более длинные временные отрезки! Нужно быть уверенным в том, что результаты тестирования – это не просто удачное стечение обстоятельств, не просто удачный для стратегии рыночный период. В своей книге я привожу результаты исследований, согласно которым требуется, по меньшей мере, 10 лет исторических данных (а в идеале – гораздо больше), чтобы определить, что торговое правило является прибыльным. Либо что одно торговое правило лучше, чем другое. Или хуже! Так что если вы хотите воспользоваться методом форвардного тестирования, то вам потребуются настолько большие временные отрезки, что это поставит под сомнение сам смысл этой затеи. Только представьте: для того, чтобы сделать надежный, статистически обоснованный вывод, вам потребуется сначала провести бэктесты за 20 лет данных, то есть с 1980 года. И это – еще не форвардное тестирование! Это – только то, что я называю «тестированием по методу расширяющегося окна». То есть набор данных, с которым вы будете работать, будет начинаться с 1980 года и становиться все больше и больше по мере вашего продвижения по бэктесту. И только после 2000 года можно будет переходить к форвардному тестированию! В 2001 вы будете использовать набор данных с 1981 до 2001. И так далее! Так что в самом форвардном тестировании нет ничего плохого, но сложность в том, что необходимый объем исторических данных значительно превышает тот, который обычно используется при бэктестах, что делает сам подход немного непрактичным. — Да! Наверное, наиболее распространенный вариант форвардного тестирования – это определение наилучшего значения какого-либо параметра и дальнейшая его проверка с помощью тестирования стратегии в следующем периоде… Однако вы пришли к выводу, что это – не лучший способ. Не могли бы вы поделиться с нами своим мнением на этот счет? — Конечно! Проблема в том, что… Скажем, у нас есть набор относительно идентичных торговых моделей, которые отличаются друг от друга только одним параметром. Мы решаем, что для торговли нам стоит выбрать и оставить только одну из них, потому что торговать по всем нам кажется неразумным, ведь они идентичны! Отличается только один-единственный параметр. И вот мы начинаем процесс тестирования! Для определения наиболее эффективного торгового правила мы берем окно размером, например, в пять лет. Однако очень вероятно, что мы обнаружим, что каждое окно имеет свой наилучший вариант! Стабильности в этом плане мы не увидим, потому что идеального торгового правила не существует. Правило, которое показывало наилучшие результаты последние пять лет, вовсе не обязательно окажется наилучшим и для следующего года, двух, пяти лет… Но есть гораздо более простой подход! Мы можем сказать: «Я не буду пытаться выбрать наилучшее торговое правило, вместо этого я возьму все варианты – и создам среднее. И буду использовать в своем портфолио это усредненное правило!». Этот подход является немного более эффективным, чем обычный, в котором вы выбираете только одно, наилучшее торговое правило. Чтобы убедиться в этом, я воспользовался различными методиками тестирования. О чем это говорит нам? В статистике доходности разных торговых правил за разные годы наблюдается немало «шума». Это справедливо и в отношении более крупных временных периодов! Так что выбрать одно наилучшее правило – это очень сложно. На мой взгляд, более эффективный подход – использовать средние значения. — Это интересно! Получается, вместо использования наилучшего правила или вариации вы предлагаете обратить внимание на корреляцию? А не на доходность и другие свойства правила. — Да, но корреляции следует учесть чуть раньше, на этапе отбора. Скажем, у нас есть множество вариаций какого-нибудь правила торговли по тренду. Весьма вероятно, что мы обнаружим, что многие из них обладают очень высокой корреляцией – более 99%! Хотя я сказал, что стоит использовать среднее значение, наверное, нет большого смысла применять этот подход, когда речь идет о наборе торговых правил с корреляцией в 99%! Но мы можем собрать набор торговых правил, которые имеют более низкую корреляцию: 80, 90, 95%, в зависимости от используемых нами данных. И если нам удастся набрать достаточно большое количество правил с достаточно отличающимися параметрами, то есть с низкой корреляцией… Ведь чем ближе параметры правил, тем выше корреляция! А если составить набор из правил с низкой корреляцией, то можно вывести из них усредненное значение и использовать его. Это – очень надежный метод, применение которого позволит вам получить нечто большее, чем просто одно торговое правило. И не нужно усредняться среди тысяч правил! — Когда вы говорите об усреднении между торговыми правилами, вы подразумеваете что-то вроде скользящих средних с разными периодами? Это вы имеете в виду?.. — Именно! Это – очень хороший пример. Скажем, вы используете стратегию торговли пересечения скользящих средних. С этим правилом, думаю, знакомо большинство! Есть две скользящие средние: быстрая с периодом X и медленная с периодом Y. Ваш торговый сигнал, по сути, это скользящая средняя X минус скользящая средняя Y. У параметров X и Y есть множество вариантов. При торговле на дневных графиках адекватный диапазон для X может составлять примерно от 2 до 250 (то есть до года, если использовать только торговые дни). Диапазон достаточно большой! Но подавляющее большинство вариантов этого параметра будут иметь очень высокую корреляцию. Вариант X = 5 и Y = 20 с вариантом X = 5 и Y = 21 будут иметь корреляцию в 99,999%, так что нет смысла использовать и то, и другое! Стоит выбирать варианты, которые находятся друг от друга на некотором отдалении. Изучив множество вариантов и их корреляций, можно обнаружить, что варианты с удвоением значений параметров будут иметь примерно одинаковую корреляцию. К примеру, система с параметрами X = 5 и Y = 20 и система с параметрами X = 10 и Y = 40 будут иметь корреляцию примерно в 95%. То же самое, если сравнивать систему с параметрами X = 10 и Y = 40 с системой с параметрами X = 20 и Y = 80, – тут тоже будет 95% корреляции. Это – неплохой пример подхода к отбору торговых правил. Этот метод является достаточно репрезентативным и позволяет покрыть весь рабочий диапазон. Благодаря этому можно исключить варианты с очень высокой корреляцией. Возьмите среднее значение от рабочих вариантов с низкой корреляцией – и получите достаточно надежную систему. — Но когда вы говорите, что берете средние значения этих параметров… Некоторые из них демонстрируют на определенных периодах тестирования плохие результаты, а некоторые – наоборот… Что обладает наибольшей статистической важностью для расчета средних значений?.. — Да! Давайте обсудим эту тему. По сути, это – проблема построения портфолио. Выстраивая портфолио для торговли на финансовых рынках, нужно учитывать три основные переменные. Корреляция между активами (эту тему мы уже затронули), ожидаемая средняя доходность и волатильность доходности. Я разрабатываю свои торговые правила таким образом, что они имеют примерно одинаковую волатильность доходности, так что давайте лучше обсудим ожидаемую среднюю доходность. Тут нужно уточнить, что мы говорим о доходности после вычета всех издержек. Очевидно, нужно это учитывать, ведь за трейдинг нам приходится платить… Тут есть один ключевой момент, которому, как мне кажется, люди уделяют недостаточно много внимания. Доходность до вычета издержек с точки зрения статистики очень «шумна». Вам будет очень тяжело найти сколько-нибудь серьезную статистическую разницу между средней ожидаемой доходностью двух разных торговых правил, если только вы не обладаете огромными объемами исторических данных и при этом выбираете между совершенно великолепным и совершенно ужасным правилом... Но если вы добавите в уравнение издержки… Издержки спрогнозировать несложно! Все, что нужно, – взглянуть на свою систему и подсчитать: так, в среднем за год я торгую столько-то фьючерсных контрактов, за один контракт я плачу примерно столько комиссий… Умножьте одно на другое – и получите неплохое представление о том, во сколько вам обходится ваш трейдинг. Такой подход сразу отсеет сравнительно краткосрочные правила, если вы торгуете какие-то недешевые инструменты. Получается, мы оказываемся в ситуации, когда самой ценной информацией являются корреляции между торговыми правилами и торговые издержки. Все остальные данные большой статистической важностью не обладают! Что это означает для нашей торговли? Если вы торгуете каким-то недешевым инструментом, к примеру, фьючерсами на австралийские процентные ставки… Это, кстати, в моем трейдинге самый дорогой инструмент! Ничего личного, так уж сложилось… — Да, тут, в Австралии, все дорогое (смеются)! — Именно! Если вы торгуете инструменты с высокой комиссией, то большей ценностью для вас будут обладать более медленные скользящие средние. А если вы торгуете что-то очень дешевое, например, контракты на S&P 500, то можете использовать и более краткосрочные правила. И оцените корреляции! Тут нужно отдавать предпочтение вариантам, позволяющим добиться наилучшей диверсификации. Снова возвращаясь к примеру с выбором разных периодов скользящих средних… Те варианты, которые будут лежать в середине диапазона, «средней скорости», если можно так выразиться, будут обладать чуть меньшим статистическим весом, так как они коррелируют и с быстрыми скользящими средними, и с медленными. А те, в свою очередь, будут иметь между собой наименьшую корреляцию. Такой вот эффект! Так что статистическая значимость будет немного варьироваться. Но, конечно, мы не увидим тут тех экстремальных значений, какие бы были при выборе только одного торгового правила, ведь это, очевидно, означает, что мы сосредоточили 100% торговли на одном активе. Та же ситуация наблюдается и в случае наивного подхода к оптимизации портфолио, когда трейдеры завышают значимость показателей доходности... — Окей, спасибо, Роб! Вы упомянули пару нюансов, позволяющих избежать чрезмерной оптимизации, к примеру, применение наименее детальных вариантов и увеличение длины тестируемых периодов. Что еще можно предпринять, чтобы избежать чрезмерной оптимизации? — Простой способ избежать чрезмерной оптимизации – не проводить оптимизацию вообще (смеются). Это фраза всегда всех смешит! Но, как я уже говорил, большая часть используемых мной правил – это достаточно известные концепты! На форекс – следование за трендом и кэрри-трейдинг, на акциях – импульсы и фактор стоимости… Я знаю, что все это действительно работает. Так что если я буду проводить бэктесты и оптимизацию, то только ради того, чтобы удостовериться, что я не выбрал для торговли какие-нибудь неадекватные параметры. Единственная ценность, которой обладает процесс оптимизации, – благодаря ему можно отсеять совершенно ужасные правила! Вы можете протестировать их на большом объеме данных и получить статистически значимое подтверждение: да, эти правила настолько плохи, что нет смысла даже задумываться о включении их в свое портфолио. Так что, думаю, многие тратят на оптимизацию гораздо больше времени, чем им следовало бы! Они думают, что нужно оптимизировать и полировать свои правила до тех пор, пока их коэффициент Шарпа не дойдет до желаемого уровня. Я в этом не уверен! Поступая так, очень вероятно, что в итоге мы получим чрезмерно оптимизированную систему. Так что первое, о чем стоит задуматься, – может, вам вообще нет смысла заниматься оптимизацией?.. Но в плане общих техник… Я – большой сторонник простоты. Сейчас стало очень популярно машинное обучение, Big Data… Не поймите меня неправильно, если вы – эксперт в этой области, который может провести анализ финансовых данных и сформировать прибыльное торговое правило, – это великолепно! Но если опыта в этой области у вас не так много, то существует опасность, что вы начнете применять какую-нибудь технику оптимизации, которую не понимаете до конца… И в итоге вы даже не поймете, что то, чем вы занимаетесь, – это подгонка результатов! Чем сложнее содержимое «черного ящика», тем сложнее определить, правильно ли он себя ведет или нет… Так что лично я считаю, что лучше использовать более комфортные, более понятные техники, соответствующие вашему уровню знаний и умений. Конечно, можно купить «готовый к употреблению» набор инструментов, в который будет включена какая-нибудь совершенно великолепная технология оптимизации. Но если вы не понимаете, что вы делаете… Вы ставите себя в потенциально опасное положение. Есть еще один момент, о котором стоит упомянуть… В целом, как правило, при оптимизации люди не используют данные с разных рынков. Индивидуальные оптимизации – очень распространенное явление. Слишком распространенное! Трейдеры любят подгонять одну модель под евродоллар, другую под Кабель, третью под фьючерсы на нефть… Но использовать для разных торговых инструментов разные правила уместно только тогда, когда инструменты действительно, по-настоящему отличаются! Но если взглянуть на статистику… Конечно, я сейчас не учитываю торговые издержки! Очевидно, разные рынки – разные комиссии. Но анализируя доходность до вычета издержек, как правило, очень нелегко найти надежное доказательство в пользу того, что определенный набор правил лучше использовать на каком-то одном инструменте, но не использовать на другом. Так что если говорить в общем, я считаю, что если вы торгуете, к примеру, только товарные фьючерсы, то стоит объединить их все вместе! Это позволило бы использовать для разработки систем больший объем данных. На вашем месте я торговал бы все товарные рынки с помощью одной торговой модели, – очевидно, не упустив из внимания издержки. Ведь это позволит расширить доступный вам объем данных! Выбор у вас станет больше, а вероятность подгонки к каждому отдельному инструменту – ниже. — Это интересно! Потому что многие считают, что к каждому инструменту должен быть свой подход, ведь каждый рынок обладает собственным поведением, собственной личностью. Но вы утверждаете, что если мы торгуем какой-то рабочий концепт, какую-то идею, то она должна работать на всех рынках?.. — Да, именно! Я ищу правила, которые работают и на больших временных отрезках, и на разных инструментах. А не какую-то уникальную идею… Тут мне снова приходит на ум высокочастотный трейдинг. Он не входит в область моей специализации, но микроструктурные эффекты на разных рынках действительно сильно отличаются! К примеру, правила определения приоритетов в очереди спроса и предложения… В этом плане – да, действительно, имеет смысл анализировать каждый рынок индивидуально. Но у высокочастотного трейдинга есть одно преимущество: в нем для работы нам доступно куда больше данных, а значит, шансы найти статистические различия между рынками выше. Но если речь идет о низкочастотном трейдинге… Тут в силу вступает распространенный изъян человеческой психологии! Нам нравятся истории, нравится повествование. Это – одно из когнитивных искажений, которым я уделяю немало внимания в своей книге. Мы все стремимся наделить личностью, очеловечить! Но если вы проведете все необходимые тесты, то поймете, что хорошо различимая разница между двумя рынками встречается не так уж часто. В нормальных условиях отличить инструмент А от инструмента В невозможно! Людям нравится в это верить, но на практике подтверждения этому встречаются крайне редко. — Окей, спасибо, Роб! Давайте вернемся к обсуждению торговых правил? Обычно они имеют бинарную природу. К примеру, на вопрос «находится ли цена выше скользящей средней?» ответ может быть только «да» или «нет». В своей книге вы рекомендуете использовать не бинарные, а континуальные правила. Можете объяснить, что вы под этим подразумеваете? — Окей! Давайте снова возьмем для примера скользящие средние, раз уж мы везде их используем! Вот вариант бинарного торгового правила: когда MA5 пересекает MA20 снизу вверх, – мы открываем позицию на покупку размером в 1 стандартную единицу. 1 единица – это может быть любое количество лотов или контрактов, не важно, в общем, обычный размер вашей торговой позиции. А когда MA5 пересекает MA20 сверху вниз, – 1 единицу мы продаем. Часто для выхода используется дополнительное бинарное правило, например, выход по стоп-лоссу. Это – привычный всем бинарный подход к торговле. Континуальное правило работает примерно так… Если MA5 идет поверх MA20, позицию мы не открываем, тут все то же самое, как и в бинарном правиле. Если MA5 уходит выше MA20, – мы покупаем какую-либо долю от стандартной единицы. Какую именно – зависит от масштабов и от конкретных правил, но, например, можно открыть позицию в покупку размером в одну пятую от обычной. А дальше по мере роста цены мы поэтапно выстраиваем свою позицию, пока не наберется стандартная единица. Таким образом, позиция полного размера у нас будет открываться только тогда, когда на рынке присутствует сильный сигнал. А дальше… Если MA5 начнет возвращаться к MA20 (вследствие падения цены), мы начнем уменьшать свою позицию. Рано или поздно произойдет пересечение скользящих средних, и мы будем уже продавать. Подход имеет много общего с бинарным, пересечение снизу вверх – продаем, сверху вниз – покупаем. Но важное отличие – позиция открывается поэтапно. В этом и заключается континуальный подход! Если вы не против, расскажу о его преимуществах… — Да, конечно! — Думаю, преимуществ тут немало! Первое – вам не нужны дополнительные правила для выхода из позиции. Правило у нас только одно, и оно предписывает, какая позиция у нас должна быть открыта в каждый конкретный момент. А меньше правил – меньше оптимизации, это хорошо! Есть и другое преимущество, из-за которого многие крупные хедж-фонды предпочитают использовать именно континуальные правила… AHL, к примеру, перешли от бинарных к континуальным правилам в середине девяностых, еще до того, как я устроился к ним на работу. Причина, почему крупным хедж-фондам, да и просто действительно крупным трейдерам приходится использовать континуальный подход, состоит в том, что когда сигнал меняется с покупки на продажу, при использовании бинарного правила им пришлось бы отторговать две стандартные единицы, не так ли? Сначала продать одну единицу, чтобы выйти из своей позиции на покупку, а потом продать еще одну, чтобы войти в позицию на продажу. А одна единица для крупных хедж-фондов – это десятки миллионов долларов (смеется). Так что если вы хотите провернуть такую сделку за один день или даже быстрее… Даже при удачном стечении обстоятельств вам придется пожертвовать весьма крупной суммой денег из-за проскальзываний! Поэтапное наращивание позиции, конечно, в этом плане намного удобнее. Мы понемногу покупаем по мере роста цены, и наоборот. Воздействие на рынок получается гораздо более мягким! Другое преимущество такого подхода состоит в том, что большинство торговых правил на самом деле работают не бинарно! Возьмем, для примера, торговлю по тренду. Если тренд слабый или только-только сформировавшийся, – статистически, ожидаемая доходность у нас одна. Но если тренд сильный и давно устоявшийся, ожидаемая доходность у нас другая, – она будет больше! Так что многие торговые правила действительно работают континуально. Чем сильнее ваш прогноз, чем сильнее сила ожидаемого вами движения, тем больше должна быть ваша позиция, – это же логично! Так вы сможете повысить свою доходность, потому что до действительно крупных позиций вы будете доходить только тогда, когда ваш прогноз будет силен, а тренд сформирован и устойчив. Давайте рассмотрим этот концепт на примере кэрри-трейдинга? Думаю, так будет проще объяснить его, не вдаваясь в подробности. Скажем, в торговле мы оцениваем процентные ставки евро и доллара. Если процентные ставки на евро выше, – мы встаем в покупку по евро, и наоборот. Предположим, что процентные ставки идентичны, – 0,50% в обеих странах, полпроцента на евро и полпроцента на долларе. Позиции у нас нет. Далее процентные ставки на евро вырастают и становятся 0,51%. Если бы мы торговали по данной системе кэрри-трейдинга бинарно, нам нужно было бы открыть позицию на покупку размером в 1 стандартную единицу! Немного глупо, не так ли (смеется)? Ведь по сути ничего не изменилось, одной сотой процента вполне можно пренебречь! Неразумно открывать полную позицию, пока разница не составит, по меньшей мере, 0,25, 0,50, 1 процент. Это – наглядный пример того, что во многих торговых правилах сигналы имеют градацию силы, и чем сильнее сигнал, тем больше у вас информации и тем сильнее ваш прогноз. И тем крупнее должна быть ваша позиция! — Да, конечно! Вы упомянули термин «прогноз»… В каком смысле вы его используете? — Прогноз в моем понимании – это, по сути, вывод, результат вашего торгового правила, который можно выразить численно. В своей книге я описываю это более подробно. Я провел градацию так… Прогноз средней силы равняется «10». В целом, мы работаем со значениями от «-20» до «+20». Такой подход является интуитивно понятным, а простота и понятность, как я уже сказал, для меня очень важны. Что это означает на практике? То, что мы систематизируем силу сигналов от своих торговых правил таким образом, что «0» означает «нет позиций», – в этом случае мы не знаем, что произойдет дальше. «+10» – это сигнал на покупку, в которую стоит войти позицией обычного среднего размера. «+20» – вы уверены, что цена улетит на луну, это – очень сильный сигнал на покупку, нужно открывать позицию размером в два раза больше средней. А «-20» означает, что рынок – просто кошмар! И обвал не за горами. В своей книге я показываю, как формировать прогнозы от «-20» до «+20», используя в качестве примера две системы, одна из которых – как раз скользящие средние. Причем этот подход может эффективно использоваться даже теми трейдерами, которые не опираются в торговле на строгие правила. Их я называю «полуавтоматическими трейдерами», это – люди, которые делают прогнозы, руководствуясь каким-то субъективным подходом (может, они как-то изучают графики, может, просто подбрасывают монетку, не важно). Например, они могут решить, что USDJPY будет расти, а акции Apple – падать. Это «предчувствие» тоже можно выразить посредством точного числа на шкале силы прогноза. Заключительная математическая часть моей книги вообще полностью игнорирует то, используем ли мы точные торговые правила или нет. Не важно, каким способом вы формируете свой прогноз, если ваш метод является рабочим, – этот подход хорошо скажется на вашей торговле. — Окей! Мне хотелось бы обсудить и некоторые аспекты системного трейдинга в целом! Как вы думаете, какие качества являются наиболее важными для хорошего системного трейдера? — Думаю, основное качество хороших системных трейдеров относится и ко всем трейдерам в целом! Нужно быть невероятно скромным. Нельзя быть чрезмерно уверенным в себе человеком с раздутым самомнением, который переоценивает свой интеллект и свою гениальность и считает, что благодаря оптимизации и бэктестингу ему вполне по силам создание совершенно сногсшибательных систем, и что коэффициент Шарпа 3 – это нечто вполне достижимое. Нужно быть полной противоположностью этого человека! Практически все ошибки, какие только можно совершить в трейдинге, вытекают из самоуверенности. Даже чрезмерная оптимизация может быть ее следствием. Человек проводит оптимизацию и обнаруживает, что коэффициент Шарпа его системы равняется двум, и вместо того, чтобы подумать «да ладно, вы, должно быть, шутите, не может такого быть», он думает «да, я ведь человек неглупый, так что нет ничего удивительного в том, что мой коэффициент Шарпа равняется двум, так и должно быть». Низкая диверсификация – тоже самоуверенность! «Окей, я буду торговать только три инструмента, потому что я настолько великолепен, что мне не нужно диверсифицироваться». Торговля на коротких таймфреймах тоже может быть проявлением самоуверенности. «Да, торгуя по этому подходу, за год мне придется отдать на комиссии 50% от моего депозита, но это не проблема, потому что я сделаю 200%! Останусь в плюсе на 150% и разбогатею». И, наконец, последнее и самое опасное – торговля слишком большими позициями, завышение рисков. Очевидно, что в большинстве случаев в основе такого поведения тоже лежит чрезмерная самоуверенность. «Судя по бэктестам, я могу делать по 10% в год, так что я завышу риски в пять, а лучше в десять раз, чтобы получить 100%. Я верю в свои бэктесты, я не мог ошибиться, я уверен в этом. Все сложится так, как надо». С таким отношением вы обанкротитесь еще до конца года! Так что самое главное – это, определенно, быть просто кошмарным пессимистом! Который считает себя ужасно глупым и жутко неудачливым трейдером. Если повезет, то вы обнаружите, что ошибаетесь! Может, вы окажетесь умнее, чем вам кажется, может, вам повезет, может, ваша система покажет неплохую доходность. Но если вы предположите, что вы – худший в мире трейдер с мусорной системой, которому еще и отчаянно не везет, – очень маловероятно, что вы лишитесь своего депозита! Ведь вы не будете завышать риски, торгуя по своей системе, потому что, ну, она ведь не настолько хороша, верно (смеется)? И вы не будете считать, что ваш коэффициент Шарпа должен быть каким-то невероятным, напротив, он должен быть низким! Если все сложится лучше, чем вы ожидали, – это здорово! Но ожидать этого не стоит. Определенно! — Хорошо сказано! В последней главе своей книги вы написали: «Хороший системный трейдер старателен в разработке своих систем, но ленив в торговле по ним». Что вы хотели этим сказать? — Я работал на крупный хедж-фонд, институциональную фирму, которая для управления средствами инвесторов нанимала множество людей. Работая в этой среде, я заметил одну вещь… Пока ты занимаешься разработкой системы, ты в деле, но закончив ее… Можно легко лишиться работы, если поведешь себя неосторожно! Потому что в тебе просто пропадет потребность. Тебе просто скажут: «Спасибо, вот ваше золотое рукопожатие, вот ваши дорогие часы, а теперь идите на все четыре стороны, вы нам не нужны, нам хватит и компьютера». Вот в итоге и получалось, что приходилось уделять своим системам кучу времени и внимания! Отслеживать их работоспособность, волноваться о них, постоянно вносить незначительные правки и изменения. «О боже мой, в пятницу будут новости Non-farm Payrolls, нужно срочно снизить риски, потому что грядет скачок волатильности!» и так далее. Это, конечно, полная бессмыслица! Потому что в ваших бэктестах каждый месяц случался выход новостей Non-farm Payrolls, и систему вы на них не отключали. Иногда она зарабатывала, иногда получала убыток, но в целом все-таки делала деньги, иначе вы бы не запустили ее в работу. Так что правильно настроенная, хорошая система с адекватными рисками и средствами их управления не требует каких-либо вмешательств. На свои системы я трачу всего по несколько минут в день, причем все, что я делаю, – просто проверяю, работает ли компьютер и нормально ли смотрится диагностика. Мало ли, вдруг что-то сломалось, отключилось, или произошло что-то безумное! А насчет управления рисками и работы над изменениями… На это я практически не трачу своего времени. Потому что я вложил в свою систему достаточно сил на этапе ее разработки! Благодаря этому после ее завершения мне больше не нужно тратить на нее свои силы. Многие совершают такую ошибку… Быстренько создают систему, проводят бэктесты и сразу запускают ее в работу, потому что люди не хотят ждать, им нужно получить деньги уже завтра, грести баксы лопатой! Но я на своем опыте усвоил, что систему лучше разрабатывать, не торопясь. Постарайтесь продумать все ее недостатки, разработать и добавить все необходимые элементы управления рисками. Если вы сделаете свою работу хорошо, – вам буквально больше никогда не придется притрагиваться к своей системе. Конечно, это – совершенно идеальный вариант развития событий, но вы могли бы нанять человека, который каждый день бы проверял, нормально ли работают ваши системы, а сами отправились бы на пляж! — Звучит, как неплохой план! — Я этой цели еще не достиг, но (смеются)… — Как вы упомянули, вы достаточно долго работали на фирму, которая занимается торговлей на средства инвесторов. Скажите, существуют ли в сфере институционального трейдинга какие-то подходы, техники, может быть, манера поведения, которые можно было бы эффективно применить и ритейл-трейдерам? Или что-то такое, о чем те, возможно, даже не в курсе? — Ну, пожалуй… Думаю, трейдеры институциональной сферы тратят немало времени на то, о чем ритейл-трейдеры даже не беспокоятся либо просто пренебрегают, как маловажным. Мы уже несколько раз затронули тему издержек. В институциональной сфере (особенно в хороших фондах) издержками просто одержимы! У нас в фирме был целый отдел, который занимался сбором данных по нашим торговым издержкам и их анализом, проверкой, соответствуют ли комиссии ожидаемым значениям. А что касается ритейл-трейдинга … Думаю, если вы спросите обычного ритейл-трейдера, какую часть своего коэффициента Шарпа он ожидает потерять на комиссиях за этот год, он взглянет на вас так, будто вы – марсианин. Но я считаю, что это – вопрос, понимать который просто необходимо! Ведь если вы с ним разберетесь, вы будете понимать, насколько уязвима ваша система в периоды плохой доходности. Ваши комиссии – это как плата за аренду торговых площадей. Вам придется ее заплатить, не важно, были у вас покупатели или нет! Скажем, вы содержите магазин на одной из главных улиц где-нибудь в Кенсингтоне, в Лондоне. Аренда там обходится недешево! Отсутствие посетителей поставит вас в очень уязвимое положение. То же самое и в том случае, если вы используете систему, торгующую настолько часто, что на издержках вы теряете по 20% в год. Несколько лет доходности ниже ожидаемой – и все, вы лишитесь своих денег! Это – первое. Второе, чем одержимы институциональные трейдеры, – это риски! Как вы знаете, в крупных фирмах риск-менеджментом занимаются целые отделы. Моделированием рисков, оценкой рисков… А вот о чем волнуются и обычные трейдеры, и институциональные, причем волнуются чересчур, – это их краткосрочная доходность! Готов поспорить, если вы возьмете любого трейдера и спросите его, сколько он вчера заработал, – он сможет вам ответить (смеется)! Стыдно признать, но и я это знаю! Вчера я получил небольшой убыток, потерял чуть меньше 2 000 фунтов. Так что даже я в курсе этого (смеется)! Но то, сколько вы заработали за один день, – это просто случайное число! Если оно укладывается в рамки значений, ожидаемых для вашей системы, – волноваться на этот счет не стоит. Если у вас случается несколько убыточных дней или недель подряд, это еще не значит, что ваша система перестала работать. Вероятно, это просто рыночный шум! Но, думаю, многие совершают ошибку, уделяя этим показателям слишком много внимания. Из-за чего они начинают волноваться, а потом, возможно, даже вносить правки в свою систему. Что, наверное, самое худшее, что только можно сделать… Думаю, очень мало ритейл-трейдеров понимают, что краткосрочная доходность – это просто шум. В институциональной сфере многие ребята, управляющие системами, это осознают, но вот их инвесторы, к сожалению, нет (смеются)! Классическая ситуация – у вас выдается неудачная пара кварталов, и ваши инвесторы говорят – все плохо, верните деньги! Но, к счастью, в сфере управляющих на рынке фьючерсов большинство инвесторов знают свое дело, понимают, как работает система, и что в паре убыточных кварталов нет ничего страшного, потому что рано или поздно система все это компенсирует. Они понимают профиль риска! Но если вам достались непонимающие инвесторы, вы будете вынуждены вести себя, как ритейл-трейдер… Увидите отток инвестиций, запаникуете, начнете вносить правки в систему – и обнаружите, что уже перестали быть системным трейдером. — Окей, спасибо, Роб, отличные инсайты! В завершение интервью я хотел бы задать несколько коротких вопросов! Первый – расскажите нам о самом важном уроке, усвоенном вами из трейдинга! — Ну, системная торговля научила меня, что я – не очень хороший трейдер! Поэтому за меня теперь торгуют мои системы. Думаю, существует очень мало людей, от природы наделенных качествами, необходимыми для успешного трейдинга. Наш мозг просто не подходит для этого занятия! Так что, думаю, многим трейдерам стоит подумать о том, чтобы последовать моему примеру и встать на путь системной торговли. — Среди всех советов по торговле, полученных вами, какой вы можете назвать самым полезным? — Кажется, я приводил его в своей книге! На первом месте работы у меня случился разговор с более опытным трейдером. Он тогда сказал мне, что стоит волноваться только по поводу трех вещей: насколько тебе нравится твоя позиция, каким риском она обладает, и с какими убытками ты мог бы смириться. Он сказал, что если я разберусь с этими тремя вопросами, то смогу создать хорошую торговую систему! Тогда я не смог понять, насколько хорош этот совет, потому что… Ну, я просто подумал: «Что?..» (смеются). Но это был очень хороший совет! Если этот человек меня сейчас слышит, – благодарю тебя! — Здорово! Можете ли вы дать трейдерам совет, который помог бы им вывести свою торговлю на новый уровень? — Пожалуй… Вернитесь к основам! Я вижу немало трейдеров, которые пытаются бежать еще до того, как научились ходить. Они начинают увлекаться вещами типа нейросетей и других сложных торговых моделей... Я бы сказал – вернитесь к основам! Создайте очень простую модель с несколькими скользящими средними или какими-нибудь другими комфортными для вас инструментами! Поймите, что она делает, привыкните к ее поведению. Настройте ее так, чтобы она работала. А дальше, если захочется, можете заняться усложнением, но обычно в этом просто нет нужды. — Окей! Скажите, у вас есть любимая книга по трейдингу? — Это сложно! Что бы я ни сказал, – кого-то обижу! — Можете назвать несколько, если хотите (смеется)! — Именно, да! Я бы сказал… «Системы и методы биржевой торговли» Перри Кауфмана! В этой книге столько страниц, что я с трудом ее поднимаю! Думаю, там можно найти все известные хорошие торговые правила. А на втором месте у меня, пожалуй, все книги Джека Швагера! Например, «Schwager on Futures» – отличная книга. Пожалуй, остановлюсь на этих двух! — Отлично! Как нашим слушателям будет проще всего связаться с вами? — Можете посетить мой блог – qoppac.blogspot.com. Там можно найти и мою электронную почту, так что если захотите отправить мне письмо или спросить совета, – пишите! Буду рад пообщаться. — Окей, круто, ссылку я добавлю в описание, найти ее будет несложно! Большое спасибо за беседу, Роб! Хотите сказать что-нибудь перед тем, как мы закончим? — Просто хочу пожелать всем нашим слушателям удачи в трейдинге! И не забывайте, один убыточный день – это еще не признак того, что ваша система перестала работать! — Здорово, спасибо, Роб! И спасибо за то, что уделили сегодня нам свое время и поделились ценными советами насчет разработки торговых систем! Рекомендую всем обратить внимание на книгу Роба – отличное чтиво! Желаю вам всего наилучшего! — Большое спасибо, Эндрю! — Спасибо, Роберт! Пока! Переведено специально для TradeLikeaPro.ru