[Обсуждение] Искусственный интеллект в торговле

[kub]

Всем привет.  Хочу найти единомышленников, что бы разобрать тут эту задачу и создать бота по обученной модели. (Понимаю, что я не первый и не последний но экспиреанс хоорооош ^_^)

Буду рад выслушать от вас конструктивную критику и предложение.  Прошу по существу. Вы понимаете, что за код надо садиться в последний момент, когда все спроектировано.

 

Задача:

Принятие решения: продать, купить, сушим весла(ничего не делаем).

 

Идея:

Предлагаю решать через градиентный бустинг, а значит будем рассматривать это как задача классификации.

Ответ от модели мы должны получить это принадлежность к какому то классу. 

 

Наши классы:

• Покупка
• Продажа
• "Ничегонеделанье"

 

 

Данные:

Начинается самое интересное это обработка данных.  

1. low, high, close, open   4*30  = 120 =  30 дневных свечей истории.
2. EMA5(high) -  по сестеме the7 https://tlap.com/torgovaya-sistema-the7/   * 30 дней
3. EMA5(low) -  по сестеме the7 https://tlap.com/torgovaya-sistema-the7/   * 30 дней
4. EMA7(close) что бы у модели было представление о текущей неделе и текущей свече  * 30 дней
5. EMA31(close) что бы у модели было представление о текущем месяце и текущей свече  * 30 дней
6. EMA365(close) что бы у модели было представление о текущем годе и текущей свече.  * 30 дней

 

PS  возможно стоит еще пивоты прикрутить какие то..

 

 

 

Это так сказать наши фичи.  120 столбцов занимают информация о свечах в истории + 180 фич ( значения индикаторов ). Т.е. мы пытаемся научить модель торговать по The7 + 3 EMA(для понимания общей картины, определения флета тренда) + Правильный ответ. Мы как бы должны нарезать  график на кусочки и выявить надо ли было входить в сделку с sl tp.

 

Таким образом нам надо обработать данные так, что бы из таблицы котировок в итоге получить таблицу 301 x N-сток.

Далее предлагаю взять catboost, так как у яндекса всегда хорошая документация и считаю что на данный момент это сильнейшая библиотека в "опенсорсе" 

 

Ну и посмотреть, что она нам даст.

 

Развитие:

Как вы понимаете catboost работает с разными типами данных (градиентный бустинг к этому хорошо относится ) и мы можем на их примере "яндекс музыки",  "такси" и тд научить модель определить настроение текста(новости) и использовать это как фичу. Мы заставим за нас думать эту чертову машину =)

Обрабатывать буду конечно на Питоне.... 

 

Ну я вроде все,  давайте теперь выслушаю вас.

[kub]

Нахожусь на этапе подготовки данных. 

Спойлер

 

[chmelyn]

К сожалению моих скудных знаний в этой области совсем мало, чтобы как-то Вам помочь в теории. При этом как то внутренне чувствую, что идея стоящая. Могу как-то проверять наработки в реальной торговле, ну и может какие-то задания не очень сложные. Время для этого есть.

Изменено 3 мая, 2020 пользователем chmelyn

[kub]

7 часов назад, chmelyn сказал:

К сожалению моих скудных знаний в этой области совсем мало, чтобы как-то Вам помочь в теории. При этом как то внутренне чувствую, что идея стоящая. Могу как-то проверять наработки в реальной торговле, ну и может какие-то задания не очень сложные. Время для этого есть.

Ну в реальной я уже проверил. 

Сегодня реализовываю "учителя" (буду пояснять вдруг кто не в теме, но интересно), Т.е к нашим данным нам надо добавить столбец в котором будет правильное решение(класс к которому надо отнести эту строку данных, т.е.  как бы поступили мы трейдеры по этой системе в реальном мире). Для этого надо написать советника на python ))) Мы  будем показывать ИИ данные и говорить: вот данные, смотри, надо вот так, ищи зависимость сама! Но правильный ответ вот такой.  А потом мы сможем проверить на тестовой выборке. на вход подать данные которые еще не видела модель и подсчитать ошибку. 

 

Но как вы понимаете на выборке с 2006 года до 2020 сделать это в ручную достаточно долго...  так что надо написать код (советника) который примет решение,  после еще посмотрит на истории была ли сделка прибыльная.  И заполнит столбец "учителя".

 

[Дервиш]

В 30.04.2020 в 09:59, kub сказал:

Всем привет.  Хочу найти единомышленников, что бы разобрать тут эту задачу и создать бота по обученной модели.

И Вам привет! Шкурный вопрос: "а что будут иметь единомышленники от создания бота?

[kub]

3 минуты назад, Дервиш сказал:

И Вам привет! Шкурный вопрос: "а что будут иметь единомышленники от создания бота?

 

Да ничего особенного. Что я могу тебе предложить? Денег?))) я сам все могу написать. Тут просто так сказать что бы  было не скучно. + надо будет тестировать. Наверное надо будет руки время 

[Greem4ik]

Готов поучавствовать в тестирование. 

Что касается нейросетей, есть уже готовая программа. НЕ РЕКЛАМА, а для сравнения _https://megatrader.org/ru/neuromachine

[kub]

1 час назад, Greem4ik сказал:

Готов поучавствовать в тестирование. 

Что касается нейросетей, есть уже готовая программа. НЕ РЕКЛАМА, а для сравнения _https://megatrader.org/ru/neuromachine

Тут не нейронная сеть. А градиентный бустинг. Разные алгоритмы. 

[kub]

4 часа назад, Greem4ik сказал:

Готов поучавствовать в тестирование. 

Что касается нейросетей, есть уже готовая программа. НЕ РЕКЛАМА, а для сравнения _https://megatrader.org/ru/neuromachine

По визуалу я так понял что они решили задачу через регрессию это классический подход таким данным.  Я же хочу решить задачу по-другому через классификацию.

Разница в том, что мы получим на выходе:

 

Регрессия - получаем число.  Ну к примеру куда пойдет цена  или уровень который она достигнет. ( данные только однородные, числовой ряд, числа которые идут друг за другом)

Классификация -  идификатор группы к которому относится эта пачка данных на входе  ( к примеру музыку на рок реп и тд )  Я хочу давать ей кусок истории ( 30 дневных свечей + 3 EMA)  и она отдаст нам класс к которому принадлежит данный кусок: снижению,  повышению,  флету, но при этом мы сможем кормить туда и новости и все, что может повлиять на цену.  Это то как работают роботы серьезных китов...  Туда вложены миллионы или миллиарды.  Есть ли свет в конце туннеля? Думаю да, яндекс музыка работает, алиса работает такси работает.  Мы что хуже? Попытка не пытка =) + Мне нравится эта тема. 

 

[Greem4ik]

Ну в данной программе два типа. Регрессия и классификация.

Так же есть разный тип нейронов ReIU и Sigmoid,

Присутствуют два рахных типа прогноза: прогноз на след свечу, или прогноз на то что цена не просядет на определенный процент (в пунктах)

Минус этой всей системы, что после того как были найдены закономерности и сеть была запущена, самообучение больше не происходит. То есть, раз в какойто период времени, придется находить закономерности снова.

[kub]

1 час назад, Greem4ik сказал:

Ну в данной программе два типа. Регрессия и классификация.

Так же есть разный тип нейронов ReIU и Sigmoid,

Присутствуют два рахных типа прогноза: прогноз на след свечу, или прогноз на то что цена не просядет на определенный процент (в пунктах)

Минус этой всей системы, что после того как были найдены закономерности и сеть была запущена, самообучение больше не происходит. То есть, раз в какойто период времени, придется находить закономерности снова.

Понял но проблема наверное в другом.  В том как обучается сеть.  Я предлагаю резать историю по 10 или на N количетсво свечей + EMA кормить это как одну строку данных. Как я понял тут работает подругому. 

 

 

Но если это все там возможно то почему на этом не зарабатывают все? Ты я или кто то еще? ( это вопрос не спор ) я НЕ за то что бы изобретать велик...

Возможно что проблема в том что там только тех анализ а я хочу больше =) Новости туда же...  +  допустим хеш инструменты( те что двигаются зеркально и учитывать их движение, ведь поиск закономерности не наша задача, а ИИ, мы только говорим ей на что смотреть)

Изменено 3 мая, 2020 пользователем kub

[Greem4ik]

В этой программе тоже можно выбрать диапозон свечей от 1 до 20. В основе алгоритма заложен перебор наилучших параметра на истории(данные загружаются из терминала МТ4), далее идет форвард тест. То есть по сути тут нет какойто одной стратегии. Минус то что через какое то определенное время возможно то что работало пол года, через еще пол года не будет, так как сеть больше не обучается. 

Вы вы сможете реализовать вашу задумку + доучивание в момент когда будет вестись торговля, это будет очень здорово.

 

[kub]

2 минуты назад, Greem4ik сказал:

В этой программе тоже можно выбрать диапозон свечей от 1 до 20. В основе алгоритма заложен перебор наилучших параметра на истории(данные загружаются из терминала МТ4), далее идет форвард тест. То есть по сути тут нет какойто одной стратегии. Минус то что через какое то определенное время возможно то что работало пол года, через еще пол года не будет, так как сеть больше не обучается. 

Вы вы сможете реализовать вашу задумку + доучивание в момент когда будет вестись торговля, это будет очень здорово.

 

Ну то что возможно будет доучить  ее  это факт + мы сами решаем со скольки пар подавать данные и какие

[kub]

Закончил с входами в рынок. Сегодня проверка на прибыль + запись в столбец учителя. + формирование фич

 

08/02/06 открытие выше ema5_low закрытие ниже, следующий день открылся рынок ниже ema5_low, а закрылся выше -> вход в buy

Ну все мы научились находить входы. Щас задача взять еще N дней и проверить закрылась ли сделка по TP или словили SL.  

SL = нижнему уровню цены ( по стратегии )
TP = пока попробую 50 пунктов. 

 

 

 

10 часов назад, Greem4ik сказал:

В этой программе тоже можно выбрать диапозон свечей от 1 до 20. В основе алгоритма заложен перебор наилучших параметра на истории(данные загружаются из терминала МТ4), далее идет форвард тест. То есть по сути тут нет какойто одной стратегии. Минус то что через какое то определенное время возможно то что работало пол года, через еще пол года не будет, так как сеть больше не обучается. 

Вы вы сможете реализовать вашу задумку + доучивание в момент когда будет вестись торговля, это будет очень здорово.

 

 

PS 

Входных нейронов у нас должно быть 300 штук(столбцов) возможно, что будет 500(может надо будет еще фичи типа длинны сигнальной свечи и тд). Поэтому переспал ночь с этими мыслями понял, что сеть будет ооочень большой =))) попробую через бустинг посмотрим, что будет. Софт нас ограничивает, не имеет стратегии,  мы же можем творить, что хотим. Но спасибо, прога интересная.

 

PSPS

Фичи - это сленг у датаСенсов, это что то типа дополнительных параметров которые мы можем придумать исходя из данных к примеру abc(<Close> - <Open>) = длина тела свечи. catBoost умеет сама(библиотека) их генерировать. Но мы ей поможем ^_^

 

 

abc() - python,  значение по модулю 

 

[Greem4ik]

Когда примерно можно будет уже потестить Ваше творение?

[kub]

5 часов назад, Greem4ik сказал:

Когда примерно можно будет уже потестить Ваше творение?

Сложно прям сразу сказать, потому что для теста Вам необходимо понимание градиентн бустинга и python.(Рекомендую посмотреть открытые уроки от Анны-Вероники Дорогуш - ведущий разработчик catBoost youtube). Когда это дойдет до какой-то понятной многим оболочки к примеру mt4 + советник не понятно, стоит тратить на это время если модель сработает. Тестировать я и щас могу так как все написал для этого уже, но это опять же питон, этим кодом я могу поделиться без проблем, это и школьник напишет.

Все свои тесты я выложу, мне самому уже очень хочется добраться до этого этапа. 

 

Вообще подумываю оборачивать это дело в web, если получится что то стоящие моего внимания(не ЧСВ  но тратить время дохлую кобылу не хочется),  так как моя специальность именно web(Моя работа) остальное - это я балуюсь, проще на серваке все это развернуть и написать индикатор/сову который туда сходит и спросит что делать.( задача на пару часов)

 

Плюсы этого варианта:

1. Не нужны будут мощности локальной машины.
2. Доступ с мобильного устройства.
3. Так же можно будет загрузить туда любые котировки, не только валюта.

 

В данный момент я формирую датасет, пишу код для обработки котировок( данные для загрузки в catBoost, это основная и самая сложная задача в этой сфере работы ).

Вот что осталось:
1. сформировать итоговый dataset (1-2 дня я не трачу на этот проект не более 2-3 часов в день, кушать тоже надо что то =), НЕ буду же я у аудитории просить денег выкупить мои часы #закадровыйСмех )

2. подробное изучение документашки по catBoost  что бы подкрутить что нужно для качества модели ( 2-3 дня )

3. первые тесты ( тут не понятно пока что будет ) 

Поэтому думаю что до выхода  где то неделя. Этапы все выкладываю сюда, в виде постов. 

 

Возможно понадобятся хорошие котировки для обучения, которые надо будет пропустить через мой код для их преобразования в dataSet

 

За проявленный интерес спасибо, это мотивирует ^_^

[kub]

Ох...  Вчера я дошел до проверки прибыльности сделки, описал логику.... но... Я встретил очень много  спорные моментов, так сказать. (Напомню что я SL я ставлю по стратегии, ниже чем low на ~10 пунктов а TP пробовал fix = 50  и чуть больше SL что бы получить мат ожидание больше 1 )

 

Разберем пример

 

И по дневным графикам я не могу определить закрылась бы такая сделка в. + или в -  так как через день от свечи, где я вошел в сделку(красная стрелка), цена заходила и за TP и за SL.   Считать их убыточными было бы не верно так как после 35  пунктов я наверное перевел бы в безубыток.  Придется спускаться на более низкий ТФ к примеру на H1.  Для этого надо выкачать котировки + найти отрезок с нужной датой + переводить в "НБ" сделку если прошли пол пути.

 

Или вариант 2 )))) просто брать часовой перенастроить EMA  с 5 на 5*24 и тд. Думаю это хорошее решение.

 

Подкинул себе работы.....  Сегодня займусь этой задачей.  Ведь, что бы сделать качественный столбец учителя( правильные решения ) Там где мы словили SL в "учителе" я буду пропускать входы, что бы ИИ видел что такие моменты входить не нужно. Мы можем не видеть эти зависимости - почему тут входить не надо было.  А вот ИИ может. увидеть, подтверждение моих слов "опыт с картинками котиков"  

 

ИИ научили различать на картинках котиков и они сделали это лучше чем человек -  увидели котов на картинках где человеческий мозг их не определил. 

 

 

Немного позитива на день:

 

 

 

 

 

 

 

Изменено 5 мая, 2020 пользователем kub

[Greem4ik]

Некоторые брокера на своих сайтах предоставляют готовые котировки для скачки на любых таймфрэймах.(правда расширение не помню) Вам надо формата .csv или вы используете какойто другой?

[kub]

35 минут назад, Greem4ik сказал:

Некоторые брокера на своих сайтах предоставляют готовые котировки для скачки на любых таймфрэймах.(правда расширение не помню) Вам надо формата .csv или вы используете какойто другой?

csv(его жрет pandas - библиотека для работы с большими данными на питоне,  ее используют датасенсы) с определенным разделителем и тд.  Я попрошу помощи по выкачке в нужный момент пока забрал с финам, там они конечно тоже жопы еще те, что бы часовые выкачать макс за один раз можно за 7 мес.  Я 2 день качаю с софта который подсказали мне в чате https://strategyquant.com/quantdatamanager/ но там медленно... но качает. 

 

Поделюсь интересной статьей, хорошо написана.

https://vas3k.ru/blog/machine_learning/

Изменено 5 мая, 2020 пользователем kub

[Avel_Mink]

У меня есть лицензия на Tick Data Suite, соответственно тиковая история по любым парам от Dukascopy, Alpari, FXOpen, Darwinex. Так что могу предоставить с конвертацией в любой таймфрейм. У самого давно идея создать советника на mql4 (других языков не знаю) с машинным обучением, но никак руки не "доходят". Так что с удовольствием послежу пока за вашими успехами.

[kub]

46 минут назад, Avel_Mink сказал:

У меня есть лицензия на Tick Data Suite, соответственно тиковая история по любым парам от Dukascopy, Alpari, FXOpen, Darwinex. Так что могу предоставить с конвертацией в любой таймфрейм. У самого давно идея создать советника на mql4 (других языков не знаю) с машинным обучением, но никак руки не "доходят". Так что с удовольствием послежу пока за вашими успехами.

Здорово! Спасибо.
На сколько точные там котировки? Проверяли ли вы их? Есть ли пробелы?

Изменено 5 мая, 2020 пользователем kub

[Jin]

Прошу прощения, может я что-то упустил, поскольку бегло взглянут на тему, а каковы правила ТС на которой строится робот? Эти правила дают прибыль?

[Avel_Mink]

19 часов назад, kub сказал:

На сколько точные там котировки? Проверяли ли вы их? Есть ли пробелы?

Тестирую в основном по котировкам Dukasa, на мой взгляд - самые полные котировки (по мажорам с 2003 года), плюс - по времени нет сдвигов (GMT+0). Есть конечно глюки в данных, но они в основном в "старых" годах и не особо критичны. Иногда провожу доп. тестирование на котировках других брокеров, из них более менее от Alpari PROEcn, но история только с 07.2015 и летний/зимний переход времени, что влияет на дневные свечи.

[kub]

В 06.05.2020 в 15:30, Avel_Mink сказал:

Тестирую в основном по котировкам Dukasa, на мой взгляд - самые полные котировки (по мажорам с 2003 года), плюс - по времени нет сдвигов (GMT+0). Есть конечно глюки в данных, но они в основном в "старых" годах и не особо критичны. Иногда провожу доп. тестирование на котировках других брокеров, из них более менее от Alpari PROEcn, но история только с 07.2015 и летний/зимний переход времени, что влияет на дневные свечи.

Понял. 

 

Как справлюсь с задачами по основной работе, вернусь к этой системе.  Так же параллельно, я понял что the7 - это в принципе PriceAction.  Можно взять больше паттернов и обучиться и на них тоже. 

[kub]

Так ну вот получилось пописать сегодня. 

 

Проблема:

Нельзя было нормально  проверить исход открытой сделки в тестере, так как часто дневная свеча задевала и ТП и СЛ 

 

Решения:

Спускаемся на ТФ(TimeFrame) ниже? я выбрал H1?  скачал котировки с финнам, за год. Дальше надо было по ним уже создать дневной ТФ 20 минут = 14 строчек кода и готово. Так то не плохо если подумать что за python(язык) и pandas(библиотеку)  я сел +- в день первого поста.

Сейчас надо переписать тестер что бы он проверял по часовым в не по дневным. 

 

На входе H1 

На выходе D1

Итог

 

Получили хорошие котировки за год.  Вижу свет в конце туннеля. 

 

Возвращаемся в основной поток задач:

1. Переписать тестер

2. Создать новую таблицу(dataSet) 271 столбец x  N - строк

3. Надеюсь приступлю к обучению