[Обсуждение] Искусственный интеллект в торговле

[kub]

В 06.05.2020 в 01:18, Jin сказал:

Прошу прощения, может я что-то упустил, поскольку бегло взглянут на тему, а каковы правила ТС на которой строится робот? Эти правила дают прибыль?

Первый пост прочитай внимательно. 

the7 ссылка там есть. 

 

Ну я считаю простая и хорошая система.  + на ней можно проверить данный подход.  так как нет сложных индикаторов в код которых придется залезать и изучать что бы вычленить формулу. 

Изменено 10 мая, 2020 пользователем kub

[ademen]

@karuzzo занимался AI. но он скорее всего тебе посоветует забросить это дело.

[kub]

Начал углубляться наткнулся на уроки по сетям.  Понял что нужно использовать.  Потратил еще 6 часов на обучение. 

 

Выжимка:

1.  Как будем обучать?

Около месяца назад Google сервис Colaboratory, предоставляющий доступ к Jupyter ноутбукам, включил возможность бесплатно использовать GPU Tesla K80 с 13 Гб видеопамяти на борту. 

https://habr.com/ru/post/348058/ - безусловно порадовали. Там уже стоит весь софт что нужен для сетей. 

 

2. Требуется помощь!

Нужны котировки часовые как можно точнее. Пропущу через свой код превращу их в дневные. 

 

3. Использовать будет рекуррентные сети. 

В данные момент изучаю их строение и выбираю структуру.  Рекуррентные сети помнят историю.  У них есть память(циклы).  Это очень хорошо работает с временными рядами.  Придется поменять как то стратегию. Думаю над этим. 

 

https://www.youtube.com/watch?v=xjFXG4QyCU4

Изменено 19 мая, 2020 пользователем kub

[Greem4ik]

@kub в каком формате нужны котировки? Если по этой стратегии наша цель не 2-5 пунктов, то супер крутые навореченные котировки на H1(тиковые) не обязательно.

[kub]

18 часов назад, Greem4ik сказал:

@kub в каком формате нужны котировки? Если по этой стратегии наша цель не 2-5 пунктов, то супер крутые навореченные котировки на H1(тиковые) не обязательно.

Цель думаю что пунктов 50 100

 

.csv -формат 

Изменено 21 мая, 2020 пользователем kub

[Greem4ik]

@kub EUR/USD 01.01.2010-21.05.2020 H1 Забыл уточнить какая валютная пара Вам нужна, но скачал для начала эту. Сайт скачивания _https://www.fiboforex.org/clients/platforms/quotes-archive/

качается очень быстро

EURUSD_60_2010-01-01_2020-05-21.csv

[0ll]

19 часов назад, Greem4ik сказал:

Если по этой стратегии наша цель не 2-5 пунктов, то супер крутые навореченные котировки на H1(тиковые) не обязательно.

ТС планирует использовать для анализа Д1, он у разных брокеров разный - зависит от сдвига ГМТ, поэтому даже Хай и Лоу могут быть разными если они выпадают на первый или последний час суток.

Вам нужно определиться с каким сдвигом работают большинство брокеров и скачать Д1 котировки с этим сдвигом и больше Вам ничего не надо, Вам точно не нужно самим генерировать котировки.

Имхо, Вам нужно чтоб НС знала о выходе новости или праздничного дня ибо расклад резко меняется.

Изменено 21 мая, 2020 пользователем 0ll

[kub]

2 минуты назад, Greem4ik сказал:

@kub EUR/USD 01.01.2010-21.05.2020 H1 Забыл уточнить какая валютная пара Вам нужна, но скачал для начала эту. Сайт скачивания _https://www.fiboforex.org/clients/platforms/quotes-archive/

качается очень быстро

EURUSD_60_2010-01-01_2020-05-21.csv 2 \u041c\u0411 · 0 загрузок

Супер. 

 

 

1.  У нас есть код для подготовки данных и учителя. 

2. У меня есть знания как сложить это в сеть и обучить. 

3. У меня есть мощности для обучения спс Google...

 

Теперь вопрос чему будем учить? У кого какие идеи есть? 

 

Вот мой вариант: 

Мы будем показывать фрагменты ( кадры, отрезок ) истории и дальше 

 

После обучения показывая N последних свечей мы узнаем принадлежность к одному из классов. (Up Down Middle) 

Up - Будет означать что сеть думает что дольше график пойдет вверх.

Down - Будет означать что сеть думает что дольше график пойдет вниз.

Middle - Будет означать что сеть думает что дольше график останется в канале, флет.

 

 

Вот тут можно подумать сколько свечей показывать.  Может стоит учиться на последних 3 или на 30 или 60?

Думаю что график дневной надо брать, так как шума меньше. лучше будет работать. PriceAction

 

Как правильно заполнить столбец учителя? 

Если за 5 свечей прошли 50п вверх значит Up  если не достигли 50 не одну не в другую сторону значит. Middle. А если вниз то. Down. 

Стоит ли ограничивать в 5 свечей?

 

Теперь давайте подумаем над идеей несколько голов лучше чем одна.  Может у кого то есть другие идеи? Или критика к моему варианту?

 

 

 

 

[kub]

9 минут назад, 0ll сказал:

ТС планирует использовать для анализа Д1, он у разных брокеров разный - зависит от сдвига ГМТ, поэтому даже Хай и Лоу могут быть разными если они выпадают на первый или последний час суток.

Вам нужно определиться с каким сдвигом работают большинство брокеров и скачать Д1 котировки с этим сдвигом и больше Вам ничего не надо, Вам точно не нужно самим генерировать котировки.

Имхо, Вам нужно чтоб НС знала о выходе новости или праздничного дня ибо расклад резко меняется.

 

Про новости интересная тема.  Надо подумать как спарсить новость и важность.  И прилепить это к обучению.  при этом как вы понимаете. новости надо за все это время на котором будем учить ....

 

Я могу спарсить сайт какой нибудь... Но надо что бы там были новости за много лет.  И какой то критерий отношения к выбранному инструменту. 

 

Тогда мы сможем кормить несколько дней истории +  новость и ее важность.  Не знаю стоит ли Анализировать тексты. Если да то надо очень большие данные (50000 записей к примеру - новость + принадлежность +. как повлияла) 

 

Анализ текстов это как раз LSTM( конструкция нейронной сети разворачиваемая во времени с памятью). которые я уже умею обучать. 

Изменено 21 мая, 2020 пользователем kub

[kub]

Вот в голове у меня щас вот такая картинка 

В идеале.... 

 

 

Но тут много тонких моментов. Надо обучить сеть для этого надо где то взять кучу новостей  и их оценки важности + принадлежность к валюте + учитель(как повлияла) Напомню что язык нам не важен. 

 

Нашел вот тут

 

https://ru.investing.com/economic-calendar/ Можно выгрузить с 2000 года к примеру но бл...  там запрос. js покопать надо...

Изменено 21 мая, 2020 пользователем kub

[Greem4ik]

Если брать D1 то новости можно не учитывать, это шум на дневных свечах. Брексит, Китай и тд новости известны заранее.

Мне кажется брать надо H1 и 24 свечи назад(D1 в итоге), если брать большее кол-во свечей(дней) то сделок будет мало, следовательно мало данных для обучения. На H1 новости уже влияют на ситуацию.

Что касается какое кол-во свечей брать для определения направления рынка, то тут уже надо подбирать параметры. 

 

[Greem4ik]

@kub По поводу новостей есть _https://www.myfxbook.com/forex-economic-calendar

Важность новостей размечена как "Важная/Средняя/Слабая"

[kub]

8 минут назад, Greem4ik сказал:

@kub По поводу новостей есть _https://www.myfxbook.com/forex-economic-calendar

Важность новостей размечена как "Важная/Средняя/Слабая"

 

Я вот тот вариант смотрю https://ru.investing.com/economic-calendar/ 

Тут есть ееще текст. Но хз нужен ли он в итоге нам.  мол брать Название новости + текущее + прогноз. Но надо мержить(соединять) будет с котировками.  Что бы понять как повлияла по факту

[Greem4ik]

1 минуту назад, kub сказал:

Но надо мержить(соединять) будет с котировками.  Что бы понять как повлияла по факту

Данный подход не совсем логичен, так как одна и та же новость допустим "Важная" сегодня может сильно повлиять на реакцию, а завтра нет.

Есть несколько подходов:

Отказаться от новостей полность, то есть не учитывать их

Выписать только "Важные" новости которые хоть как то влияют на цену (Nonfarm, % ставки, ВВП(квартальные и годовые) и тд.)
Мне кажется что на данном этапе, новости можно отложить

[kub]

1 час назад, Greem4ik сказал:

Данный подход не совсем логичен, так как одна и та же новость допустим "Важная" сегодня может сильно повлиять на реакцию, а завтра нет.

Есть несколько подходов:

Отказаться от новостей полность, то есть не учитывать их

Выписать только "Важные" новости которые хоть как то влияют на цену (Nonfarm, % ставки, ВВП(квартальные и годовые) и тд.)
Мне кажется что на данном этапе, новости можно отложить

Не знаю. Вот к примеру новость же может стать началом тренда  или изменить его.  Так сказать толчком 

[Greem4ik]

Это будет зависить попадет ли эта свеча в выбранный период или нет. Это все в теории, без тестирования точно сказать нельзя.

[0ll]

Все уже вернулись оттуда куда Вы сейчас идёте... Японцы применили нейросеть в торговле ещё в 80-х, т.е. лет 35 назад.

На периоде обучения будут шикарные резы, а дальше 50/50

Пробуйте нестандартные индюки типа скорость подхода цены к уровню, средняя величина отката цены по ходу движения, наличие рывков, микрогэпов, спред, скорость тиков, может нейросеть в этом мусоре найдёт закономерности.

Делать учителя вручную - проблема, но можно процесс автоматизировать: сделать советника, который открывал-бы сделки в обе стороны через каждые 5-пипс со СЛ и ТП

потом отсортировать прибыльные сделки, потом отсортировать по времени - оставить самые короткие и вот учитель готов!

[Avel_Mink]

1. Новости. Большинство новостей (к моменту их наступления) уже заложено в цену и реакция рынков на них практически нулевая (если конечно это не колоссальный разрыв в предполагаемых/фактических данных). Да и торговля на новостях - это больше скальпинг, здесь дневные или часовые свечи не помогут, только по-тиковая история и моделирование реального исполнения. Лично я не вижу смысла обращать внимание на новости, которые известны всем, а инсайдом мы не располагаем.

 

2.  Нужно определиться с целями. Краткосрок, среднесрок, долгосрок? Исходя из этого нужно подбирать таймфрейм, стопы и возможные паттерны для обучения. Можно и нужно конечно потом обьединить это все в одну конструкцию, но для начала, мне кажется, нужно разрабатывать их по отдельности, так как для разных стилей торговли - разные методы, цели, инструменты.

 

3.

5 часов назад, kub сказал:

Как правильно заполнить столбец учителя? 

Если за 5 свечей прошли 50п вверх значит Up  если не достигли 50 не одну не в другую сторону значит. Middle. А если вниз то. Down. 

Стоит ли ограничивать в 5 свечей?

Какие-то примитивные условия (зачем для этого "городить" что-то). Я думал, что нейросеть самостоятельно должна выискивать/создавать паттерны, обрабатывать их на определенном участке истории, опровергая или подтверждая их истинность/значимость.

 

Мое видение ситуации среднесрочной торговли:

- у каждого бара, на любом таймфрейме, есть всего пять параметров open/close/high/low/volume (volume не берем в расчет, так в mt4 он не информативен). Я предлагаю рассматривать пока только дневные бары, так как только у них эти параметры более-менее значимы для будущей торговли.

- далее мы выбираем период истории для поиска повторяющихся паттернов. Это может быть и 5 баров (рабочая неделя), 20 (месяц), 60 (3 месяца) и т.д.. Можно искать паттерны на коротком участке (10 баров), но подтверждать их неслучайность на большом периоде (3-6-12-36 месяцев).

- самая главная задача - поиск паттернов, которые довольно устойчивы и неслучайны, и свершение которых, приводят к значимым движениям цены (минимальное количество пунктов, которое будет достаточно для положительного мат. ожидания, после вычета всех торговых издержек).

- поиск паттернов как раз и должна выполнять нейросеть (исходя из 4-х параметров каждого из баров и их зависимости друг от друга). То есть количество вариантов паттернов может быть очень большим, которое сложно запрограммировать на mql.

 

Пример паттерна. Рассматриваем 1-й полноценный бар (после текущего, 0-го) - видим, что цена от open до low прошла величину в 50% от среднедневной волатильности (СДВ) вниз и при этом верхняя тень этого бара меньше 20% от СДВ, что , вполне можно рассматривать как значимое движение цены. Теперь нам нужно выявить возможный паттерн, что предшествовал этому движению. И, например, мы видим, что тело 2-го (предыдущего) бара небольшое (меньше 10% СДВ), но при этом верхняя тень большая (больше тела в два раза или больше 30% СДВ), а нижняя тень маленькая (меньше 10% СДВ), попросту говоря - медвежий пин-бар в Price Action.

 

Теперь необходимо проверить этот паттерн на неслучайность (проверить все бары на искомом участке на соответствие). И если у какого-то из баров есть совпадение по размеру тела, верхней и нижней тени (естественно с заданной погрешностью), мы проверяем движение цены после этого паттерна. И если оно также совпадает (более 50% СДВ вниз и верхняя тень менее 20%), можно заключить, что паттерн повторяем как минимум в двух случаях. Теперь нужно вычислить процент воспроизводимости паттерна (соотношение успешных исходов паттерна к не успешным на искомом участке истории).

 

Далее мы вычисляем стоп уровни для этого паттерна.

- TakeProfit 45% СДВ (-5% от движения после паттерна)

- StopLoss 25% СДВ (+5% к размеру верхней свечи)

Соотношение 45/25=1,8. То есть для того, чтобы патерн приносил прибыль, нужен процент успешной воспроизводимости более 65% (65/35=1,85). Если наш паттерн имеет > 65% успешных исходов на искомом периоде, можно пробовать торговать его, с постоянной  динамической проверкой воспроизводимости.

 

И это очень простой пример, с использованием только зависимости двух баров. А возможных вариантов паттернов может быть миллионы. Поэтому и нужна нейросеть, которая будет все их динамически создавать и проверять.

Изменено 21 мая, 2020 пользователем Avel_Mink

[kub]

2 часа назад, Avel_Mink сказал:

1. Новости. Большинство новостей (к моменту их наступления) уже заложено в цену и реакция рынков на них практически нулевая (если конечно это не колоссальный разрыв в предполагаемых/фактических данных). Да и торговля на новостях - это больше скальпинг, здесь дневные или часовые свечи не помогут, только по-тиковая история и моделирование реального исполнения. Лично я не вижу смысла обращать внимание на новости, которые известны всем, а инсайдом мы не располагаем.

 

2.  Нужно определиться с целями. Краткосрок, среднесрок, долгосрок? Исходя из этого нужно подбирать таймфрейм, стопы и возможные паттерны для обучения. Можно и нужно конечно потом обьединить это все в одну конструкцию, но для начала, мне кажется, нужно разрабатывать их по отдельности, так как для разных стилей торговли - разные методы, цели, инструменты.

 

3.

Какие-то примитивные условия (зачем для этого "городить" что-то). Я думал, что нейросеть самостоятельно должна выискивать/создавать паттерны, обрабатывать их на определенном участке истории, опровергая или подтверждая их истинность/значимость.

 

Мое видение ситуации среднесрочной торговли:

- у каждого бара, на любом таймфрейме, есть всего пять параметров open/close/high/low/volume (volume не берем в расчет, так в mt4 он не информативен). Я предлагаю рассматривать пока только дневные бары, так как только у них эти параметры более-менее значимы для будущей торговли.

- далее мы выбираем период истории для поиска повторяющихся паттернов. Это может быть и 5 баров (рабочая неделя), 20 (месяц), 60 (3 месяца) и т.д.. Можно искать паттерны на коротком участке (10 баров), но подтверждать их неслучайность на большом периоде (3-6-12-36 месяцев).

- самая главная задача - поиск паттернов, которые довольно устойчивы и неслучайны, и свершение которых, приводят к значимым движениям цены (минимальное количество пунктов, которое будет достаточно для положительного мат. ожидания, после вычета всех торговых издержек).

- поиск паттернов как раз и должна выполнять нейросеть (исходя из 4-х параметров каждого из баров и их зависимости друг от друга). То есть количество вариантов паттернов может быть очень большим, которое сложно запрограммировать на mql.

 

Пример паттерна. Рассматриваем 1-й полноценный бар (после текущего, 0-го) - видим, что цена от open до low прошла величину в 50% от среднедневной волатильности (СДВ) вниз и при этом верхняя тень этого бара меньше 20% от СДВ, что , вполне можно рассматривать как значимое движение цены. Теперь нам нужно выявить возможный паттерн, что предшествовал этому движению. И, например, мы видим, что тело 2-го (предыдущего) бара небольшое (меньше 10% СДВ), но при этом верхняя тень большая (больше тела в два раза или больше 30% СДВ), а нижняя тень маленькая (меньше 10% СДВ), попросту говоря - медвежий пин-бар в Price Action.

 

Теперь необходимо проверить этот паттерн на неслучайность (проверить все бары на искомом участке на соответствие). И если у какого-то из баров есть совпадение по размеру тела, верхней и нижней тени (естественно с заданной погрешностью), мы проверяем движение цены после этого паттерна. И если оно также совпадает (более 50% СДВ вниз и верхняя тень менее 20%), можно заключить, что паттерн повторяем как минимум в двух случаях. Теперь нужно вычислить процент воспроизводимости паттерна (соотношение успешных исходов паттерна к не успешным на искомом участке истории).

 

Далее мы вычисляем стоп уровни для этого паттерна.

- TakeProfit 45% СДВ (-5% от движения после паттерна)

- StopLoss 25% СДВ (+5% к размеру верхней свечи)

Соотношение 45/25=1,8. То есть для того, чтобы патерн приносил прибыль, нужен процент успешной воспроизводимости более 65% (65/35=1,85). Если наш паттерн имеет > 65% успешных исходов на искомом периоде, можно пробовать торговать его, с постоянной  динамической проверкой воспроизводимости.

 

И это очень простой пример, с использованием только зависимости двух баров. А возможных вариантов паттернов может быть миллионы. Поэтому и нужна нейросеть, которая будет все их динамически создавать и проверять.

 

Спасибо за мнение.  Вопрос к вам обучали ли вы сети? Представляете как это происходит, что бы вычленить лишние вопросы.

 

Я как раз не хочу вдаваться в подробность, что там за патерн.  Пусть его выделит сама сеть. Я просто кормлю участок истории 1 или 2 или N  и учителя иход ( что было после этого окна если график ушел на 50 вниз в течении 7 дней считаем down и тд. - это и будет учителем) я отошел от мысли поиск и вычисления одного паттерна потому, что возможно мы о каких то не знаем и что то не видим.  Просто помимо тех данных ( open close low high ) еще добавлять средние за 365 + 30 + 7  что бы у сети было больше представления о состоянии рынка. 

 

 

[Avel_Mink]

36 минут назад, kub сказал:

Я как раз не хочу вдаваться в подробность, что там за патерн.  Пусть его выделит сама сеть.

Я тоже это имею ввиду. Мы видимо думаем об одном и том же, но выражаем по разному.

 

40 минут назад, kub сказал:

я отошел от мысли поиск и вычисления одного паттерна потому, что возможно мы о каких то не знаем и что то не видим

Я также не предлагаю вычислять какой-то один паттерн. В моем предыдущем посте я просто привел пример, как сеть должна определять паттерн и подтверждать его неслучайность и устойчивость. 

1 час назад, kub сказал:

Просто помимо тех данных ( open close low high ) еще добавлять средние за 365 + 30 + 7  что бы у сети было больше представления о состоянии рынка. 

Это не плохая идея, только нужно использовать более "популярные" периоды 200, 50, 20. Еще раз повторюсь - входные данные в виде open/close/low/high значимы для таймфреймов D1 и выше. Не вижу смысла спускаться ниже, если нет цели дейтрейдинга. По этой же причине, не вижу смысла использовать новостной фильтр.

 

59 минут назад, kub сказал:

Вопрос к вам обучали ли вы сети? Представляете как это происходит, что бы вычленить лишние вопросы.

Нет, не обучал. И глубоко не изучал этот вопрос, но общее представление работы нейросетей имею.

 

У меня встречный вопрос, как давно вы торгуете на форекс?

 

[Avel_Mink]

6 часов назад, 0ll сказал:

Пробуйте нестандартные индюки типа скорость подхода цены к уровню, средняя величина отката цены по ходу движения, наличие рывков, микрогэпов, спред, скорость тиков, может нейросеть в этом мусоре найдёт закономерности.

Все это применимо по большей части к торговле внутри дня.

 

6 часов назад, 0ll сказал:

Делать учителя вручную - проблема, но можно процесс автоматизировать: сделать советника, который открывал-бы сделки в обе стороны через каждые 5-пипс со СЛ и ТП

потом отсортировать прибыльные сделки, потом отсортировать по времени - оставить самые короткие и вот учитель готов!

Сваять подобный советник вообще не проблема, но опять же - это применимо внутри дня.

Изменено 21 мая, 2020 пользователем Avel_Mink

[kub]

12 часов назад, Avel_Mink сказал:

Все это применимо по большей части к торговле внутри дня.

 

Сваять подобный советник вообще не проблема, но опять же - это применимо внутри дня.

По поводу учителя тут все проще, я  уже написал на питоне уже код который создает учителя.  Надо только подумать что туда записывать. 

Я сегодня буду буду занят возможно на выходных доделаю.  Дальше надо будет думать над структурой LSTM. 

 

12 часов назад, Avel_Mink сказал:

Я тоже это имею ввиду. Мы видимо думаем об одном и том же, но выражаем по разному.

 

Я также не предлагаю вычислять какой-то один паттерн. В моем предыдущем посте я просто привел пример, как сеть должна определять паттерн и подтверждать его неслучайность и устойчивость. 

Это не плохая идея, только нужно использовать более "популярные" периоды 200, 50, 20. Еще раз повторюсь - входные данные в виде open/close/low/high значимы для таймфреймов D1 и выше. Не вижу смысла спускаться ниже, если нет цели дейтрейдинга. По этой же причине, не вижу смысла использовать новостной фильтр.

 

Нет, не обучал. И глубоко не изучал этот вопрос, но общее представление работы нейросетей имею.

 

У меня встречный вопрос, как давно вы торгуете на форекс?

 

Торгую лет 8-9, точно не помню 

 

 

Изменено 22 мая, 2020 пользователем kub

[kub]

https://www.youtube.com/watch?v=bnLoKWJdZX8&list=PL7s2oqtNfHe-vVen2a29g_BiDGpNprwaV&index=10&t=0s

Вот держите думаю что бы вы понимали о чем идет речь и почему нам это подходит. ( по моему мнению и еще нескольких людей )

 

Это новые типы сетей.  Они умеют запоминать.

Изменено 22 мая, 2020 пользователем kub

[kub]

В 21.05.2020 в 11:50, Greem4ik сказал:

@kub EUR/USD 01.01.2010-21.05.2020 H1 Забыл уточнить какая валютная пара Вам нужна, но скачал для начала эту. Сайт скачивания _https://www.fiboforex.org/clients/platforms/quotes-archive/

качается очень быстро

EURUSD_60_2010-01-01_2020-05-21.csv 2 \u041c\u0411 · 1 загрузка

 

Плохие котировки...

 

Дневной график есть выбросы,  не верю что там так цена ушла....  А где то вообще цена  = 0  ^_^ 

 

 

 

[Serg2020]

В 19.05.2020 в 22:49, kub сказал:

Выжимка:

1.  Как будем обучать?

Около месяца назад Google сервис Colaboratory, предоставляющий доступ к Jupyter ноутбукам, включил возможность бесплатно использовать GPU Tesla K80 с 13 Гб видеопамяти на борту. 

https://habr.com/ru/post/348058/ - безусловно порадовали. Там уже стоит весь софт что нужен для сетей. 

Ваша тема заинтересовала, даже специально зарегался на форуме )
Пробовали уже тестовые GPU ? Вроде пишут, что их только на 12 часов дают бесплатно, потом заново доступ получать нужно. Или для начала обучения хватит и 12 часов?