[Обсуждение] Нейросетевые дела

[lsv107]

Дайте и я что ли, поумничаю с вашего позволения. 

Есть такая категория заблуждений на Форекс, которые человек может развеять только самостоятельно. Например, одна из самых распространённых "идей": "А что если перевернуть все сделки убыточного советника?". Вероятно многие встречали темы на форумах: "Ищу стабильно сливающего советника". Потом только приходит понимание, что дело не во входах.

Похожая ситуация и с нейросетями. @Ent правильно всё написал. Если абстрагироваться от деталей и взглянуть на ситуацию со стороны, то оптимизация параметров в тестере по сути мало чем отличается от обучения нейтросети. И там и там - поиск слепым пути в лабиринте: сделал шаг, ударился головой - туда не ходи, сделал шаг, не ударился - делаем еще один шаг, и так пока лоб не треснет или не найдём выход. Но даже в этом случае выход изначально должен быть. А что если его нет?

 

 

Изменено 11 сентября, 2020 пользователем lsv107

[asbets]

29 минут назад, lsv107 сказал:

Похожая ситуация и с нейросетями. @Ent правильно всё написал. Если абстрагироваться от деталей и взглянуть на ситуацию со стороны, то оптимизация параметров в тестере по сути мало чем отличается от обучения нейтросети. И там и там - поиск слепым пути в лабиринте: сделал шаг, ударился головой - туда не ходи, сделал шаг, не ударился - делаем еще один шаг, и так пока лоб не треснет или не найдём выход. Но даже в этом случае выход изначально должен быть. А что если его нет?

 

Мысль о том что оптимизация в алгоритмических советниках и обучение в НС - это процессы чем-то схожы - да в этом есть зерно. 

Но на этом всё и заканчивается. 

 

Нейросеть - это поход к решению задачи, которые человеческий мозг не может решить просто в силу своих ограничений.

 

Если говорить про торговлю : 

- Можно с помощью НС решать те же задачи, которые решаются "алгоритмически" - 

например, человек разглядел паттерн "волна вульфа" - а давайте пусть нам НС их ищет ! 

Такой подход - забивать гвозди микроскопом. 

 

- Нормальный подход: решать задачи совершенно другим кардинальным образом. 

Там всё другое - например подбор например  данных. И уже не человек решает,

Что нужно, а что нет - решает метод. 

 

Тогда на выходе мы имеем решение, которое "видит" лучше , чем человек. 

Человеческий мозг просто не видит те статистические вещи, которые "видит" НС.

А если мозг не видит, он их никак не сможет реализовать в алгоритме,

потому что этих нюансов рынка просто нет в его мозгу. 

 

Многие просто не понимают разницы в вышеописанных подходах. 

Я и пытаюсь донести этот метод последний тут. 

 

Я приведу только самые известные только факты : 

- 20 августа 2020 : 

ИИ снова победил пилота F-16 в воздушном бою

(ИИ не существует - это клише СМИ. имеется ввиду решение на Нейросетях )

https://habr.com/ru/company/cloud4y/blog/516078/ 

 

- Шахматы. Люди уже давно перестали соревноваться с программой "СтокФиш". 

Эта программа на голову выше "беловых" шахматистов. Но она "алгоритмическая". 

Программа на НС "AlphaZero" разнесла в пух и прах "СтокФиш". 

А почему? См пункты выше. 

https://habr.com/ru/post/432370/

 

- Есть еще про игру "ГО", где эра "белковых" игроков закончилась с приходом НС. 

Пруфы есть. 

Ну и т.д. 

 

Это факты. А факт, как говорится, можно конечно игнорировать, но от этого он не перестанет существовать.

Изменено 11 сентября, 2020 пользователем asbets

[ostapbender]

6 минут назад, asbets сказал:

Мысль о том что оптимизация в алгоритмических советниках и обучение в НС - это процессы чем-то схожы - да в этом есть зерно. 

Не совсем. Всё будет зависеть от данных для анализа. Если НС просто будет анализировать цену, тогда это та же оптимизация-переоптимизация. А вот если как в черных ящиках у фондов - запросы в гугле, новости, реакции на площадках. Тогда уже НС будет намного круче обычного опта в мт4-5 и человеческого разума.

 

[Rigal]

2 часа назад, asbets сказал:

1. Исправил багу в скрипте по рандомизации. Он смешивал и 1 строку с заголовком, приходилось руками возращать на место.

 

А по 2- му вопросу коллеги, нужна помощь по программированию.  

Там бага самого MQL с функцией   iBarShift . Как то решить/обойти. 

 

2. В советнике NextDay строка есть: 

_barD=iBarShift(NULL,PERIOD_D1,iTime(NULL,PERIOD_H4,i) ,true);

т.е. ищется бар D1 по времени.

Выдает ошибку , если нужен бар текущий дня.

Я так понял, проблема в том, что если не открыть с утра  график с D1 в памяти массива D1 его нет. 

То MQL выдает "бар не найден". Если открыть график D1 и закрыть, ТО ВСЁ РАБОТАЕТ.  

 

Как решить вопрос? 

 

 

RandomStrings.mq4 4 \u043a\u0411 · 2 загрузки

Идентичная проблема обнаружилась в моем MonTag, только с iTime() на дневках.

Ощущение, что МТ оптимизирует этот вопрос и не строит бары в памяти. Что немного разочаровывает.

Программно открывать окно графика с дневкой?

[lsv107]

2 часа назад, asbets сказал:

- Есть еще про игру "ГО", где эра "белковых" игроков закончилась с приходом НС. 

Пруфы есть. 

Ну и т.д. 

Это факты. А факт, как говорится, можно конечно игнорировать, но от этого он не перестанет существовать.

Я же говорю, что надо пройти весь путь самому, чтобы понять, что в лучшем случае советник, работающий на нейросетях по эффективности не будет отличаться от аналогичного традиционного. На mql5.com эта тема была уже изглодана до костей, а ларчик открывается просто - в нашем распоряжении лишь нестационарный ряд (поток цен во времени). Любая попытка "голого" статистического анализа этого ряда - есть предположение его стационарности. Чтобы долго не рассусоливать, приведу цитату: "Предположение стационарности, то есть сохранение в будущем статистических закономерностей случайных процессов, установленных при изучении их поведения в прошлом, не может быть использовано для составления долгосрочных экономических прогнозов, для предсказания погоды на длительный период и для экстраполяции случайных процессов, порождающий механизм и тенденция развития которых недостаточно изучены."

2 часа назад, ostapbender сказал:

Не совсем. Всё будет зависеть от данных для анализа. Если НС просто будет анализировать цену, тогда это та же оптимизация-переоптимизация. А вот если как в черных ящиках у фондов - запросы в гугле, новости, реакции на площадках.

 

Совершенно верно, для прогноза цены нужно статистическое преимущество, то есть дополнительные данные, имеющие характер стационарности.

Ну а самый надёжный прогноз цены делает тот, кто может непосредственно на неё влиять.

 

2 часа назад, ostapbender сказал:

Тогда уже НС будет намного круче обычного опта в мт4-5 и человеческого разума.

Чтобы ИИ стал "круче" человеческого разума, нужно для начала создать работающую модель абстрактного мышления. Но разум не может создать разум, а алгоритм - написать алгоритм. Смотрим теорему Гёделя о неполноте.

 

Сами же попытки написать советника на НС - весьма полезное занятие. Как говорил Ломоносов: "Математику уже затем учить надо, что она ум в порядок приводит".

[asbets]

В 11.09.2020 в 12:32, Rigal сказал:

Программно открывать окно графика с дневкой?

Делал так в другом сигнальщике. Помогает.

Но там другие косяки  MQL - то не закроется график и останется висеть, то экран с графиками ломает.

Выбешивало жутко.

Проще на графике нажать на панели таймфрейма "D1" а потом опять назад на H4.

Я думал, сообщество уже давно решило этот косяк. 

 

Прогноз евро 14.09:

Изменено 14 сентября, 2020 пользователем asbets
дополнение

[asbets]

Давно не было сообщений не потому, что забросил,
а из-за работы по проекту. 

Изменения : 

1. Данные для обучения увеличены в 5 раз -  теперь обучение  идет на 8  парах - 11 000 записей ( т.е по сути дней ).
Это : AUD, EURGBP, EURUSD, USDCAD, GBPUSD, EUROCHF, USDCHF, Золото.   
Из-за этого увеличилось время обучение. Иногда NS прогнозирует что обучение будет длится  до 55 часов,  но по факту быстрее. 
Возможно, это и перебор с количеством данных, может достаточно и 7500 записей, но дальше видно будет.
Для чего увеличение : сеть более стабильна , выбросов по ошибкам меньше, хотя средняя погрешность примерно таже. 

2. Добавлены дни недели. Сравнительные тесты еще не закончен, но видно, что улучшение есть, примерно на 10%. 
Тут мысль такая : дни недели - это 3 поля, которые добавлены к 36, т.е. чисто математически они "теряются"
на общем фоне. Возможно , их надо будет перенести во 2-ю сеть, которая планируется, чтобы обрабатывать данные от 1-й.

 

3. Тесты разных сетей, вплоть до максимальных, что позволяет NS - 10 слоев. 
Увеличение сети не всегда ведет к улучшению. Есть методы расчета оптимального размера сети конкретного 
типа и с конкретными данными - но эти методы сложны и только суперспецы по сетям с ними знакомы.
Я опираюсь на экспериментальный метод. 

Дополнение : в хелпе к NS как раз обнаружил : 

"At our present stage of knowledge, establishing the size of a network is more efficiently done through experimentation... "

" На современном этапе развития знаний определение размера сети более эффективно осуществляется с помощью экспериментов. Теория обобщения решает эту проблему, но ее все еще трудно применить в практических условиях [VP dimension, Vapnik]. Проблема заключается в следующем: количество PEs в скрытом слое связано с возможностью отображения сети. Чем больше число, тем мощнее сеть. Однако, если вы продолжаете увеличивать размер сети,есть точка, где обобщение ухудшается. Это происходит из - за того, что мы, возможно, слишком подгоняем обучающий набор, поэтому, когда сеть работает с паттернами, которые она никогда раньше не видела, реакция непредсказуема. Задача состоит в том, чтобы найти наименьшее число степеней свободы, которое обеспечивает требуемую производительность в тестовом наборе." . Далее рекомендуют начинать с малых сетей и постепенно увеличивать слои и элементы. 

4. Есть понимание, что нужно в сеть "скармливать" данные по волатильности и уровням. 
Пока нет идеи как и в каком формате. 

По волатильности более менее понятно : сейчас сеть про неё вообще ничего не "знает". 
У неё есть только 3-х дневный диапазон в котором есть свечи H4 - с размером 
только относительно друг друга. 

 

Какова идея : Необходимо добавить поле, где будет информация в цифре от 0-1 о размере этого самого 3-х дневного диапазона
относительно других диапазонов. Например о скольки ? 10 , 20 , 30 ?   

Или как ATR - просто среднее от  от тех-же 20 или 30 (или скольки ? ) 3-х дневных диапазонов.

1 - самый большой диапазон. 0- самый маленький. 

Или тупо дневной ATR без привязки к 3-х дневным диапазонам? Но опять же за какой период, чтобы померить от 0 до 1?

Месяц, год? 
А что еще важно по волатильности ? 

 

А вот по уровням пока совсем не понятно.

По работе сети видно, как она "лажает" при отбоях от дневных уровней, где 

часты развороты.

Есть идеи по уровням? 

Изменено 16 сентября, 2020 пользователем asbets

[ostapbender]

В 16.09.2020 в 09:28, asbets сказал:

Давно не было сообщений не потому, что забросил,

Вот интересная статья как работают модели Хэджфондов

Спойлер

http://www.profinance.ru/news/2020/09/18/bzgg-rej-dalio-riskuet-lishitsya-titula-korolya-khedzh-fondov.html

 

Выдержка:

В то время как конкуренты, такие как Renaissance Technologies, используют математические количественные методы, Далио построил свою фирму и состояние на моделях, которые рассматривают экономику как дисциплину аналогичную вечным законам физики. По словам бывших сотрудников, Далио отвлекся от дел компании из-за более обширной сферы деятельности. Он также был против изменения компьютерных моделей, включая добавление новых типов данных, таких как отслеживание нефтяных танкеров и активности кредитных карт, что распространено в других фирмах. Однако один человек все же отметил, что за последние пять лет Bridgewater значительно улучшила свои процессы.

В этом году, после того как центральные банки по всему миру наводнили рынки ликвидностью для борьбы с последствиями пандемии, сотрудники инвестиционных отделов Bridgewater снова постарались изменить модели с учетом беспрецедентного вмешательства и почти полного закрытия крупнейших экономик мира. Они потратили больше месяца, отключая стратегии, которые, по их мнению, не будут работать в новой среде, и дорабатывая подходящие варианты.

 

Поэтому и нейросети нужно обучать не только индикаторами и ценой.

[asbets]

4 часа назад, ostapbender сказал:

Вот интересная статья как работают модели Хэджфондов

  Скрыть контент

http://www.profinance.ru/news/2020/09/18/bzgg-rej-dalio-riskuet-lishitsya-titula-korolya-khedzh-fondov.html

 

Выдержка:

В то время как конкуренты, такие как Renaissance Technologies, используют математические количественные методы, Далио построил свою фирму и состояние на моделях, которые рассматривают экономику как дисциплину аналогичную вечным законам физики. По словам бывших сотрудников, Далио отвлекся от дел компании из-за более обширной сферы деятельности. Он также был против изменения компьютерных моделей, включая добавление новых типов данных, таких как отслеживание нефтяных танкеров и активности кредитных карт, что распространено в других фирмах. Однако один человек все же отметил, что за последние пять лет Bridgewater значительно улучшила свои процессы.

В этом году, после того как центральные банки по всему миру наводнили рынки ликвидностью для борьбы с последствиями пандемии, сотрудники инвестиционных отделов Bridgewater снова постарались изменить модели с учетом беспрецедентного вмешательства и почти полного закрытия крупнейших экономик мира. Они потратили больше месяца, отключая стратегии, которые, по их мнению, не будут работать в новой среде, и дорабатывая подходящие варианты.

 

Поэтому и нейросети нужно обучать не только индикаторами и ценой.

Это скорее работа по фундаментальным данным.

[ostapbender]

14 минут назад, asbets сказал:

Это скорее работа по фундаментальным данным.

В фондах это обсчитывают алгоритмы, а не люди.

[МихМих]

Здравствуйте! Почитал тут немного. Что прогнозируем? Здесь упоминался NeuroSolutions, который я так и не смог победить по непонятной причине, но ведь есть (был) TradingSolutions, от того же разработчика. Так вот, там можно прогнозировать будущую цену, а также моделировать образ текущей ситуации - покупка/продажа. В первом случае общепринято, что нужно прогнозировать экстремумы путем обработки %Change ценовых параметров OHLC. Во втором случае на вход подаются дополнительные параметры в виде технических индикаторов. Модели можно объединять в комитет, что хорошо повышает вероятность успеха. В принципе, все это можно загнать в Метатрейдер, но сначала нужно научиться правильным образом использовать полученные прогнозы. Я не уверен, что умею это, несмотря на положительные в целом результаты.

[asbets]

13 часов назад, ostapbender сказал:

В фондах это обсчитывают алгоритмы, а не люди.

Я к тому, что парадигма другая. Фундамент, а не теханализ.

[ostapbender]

1 минуту назад, asbets сказал:

Я к тому, что парадигма другая. Фундамент, а не теханализ.

Так и я к тому, что нейросеть нужно обучать не только теханализу, чтоб реально получилось что то стоящее, а не оптимизация-переоптимизация.

Может какие библиотеки подключать с функциями фундаментала?

[asbets]

8 часов назад, МихМих сказал:

Здравствуйте! Почитал тут немного. Что прогнозируем? Здесь упоминался NeuroSolutions, который я так и не смог победить по непонятной причине, но ведь есть (был) TradingSolutions, от того же разработчика. Так вот, там можно прогнозировать будущую цену, а также моделировать образ текущей ситуации - покупка/продажа. В первом случае общепринято, что нужно прогнозировать экстремумы путем обработки %Change ценовых параметров OHLC. Во втором случае на вход подаются дополнительные параметры в виде технических индикаторов. Модели можно объединять в комитет, что хорошо повышает вероятность успеха. В принципе, все это можно загнать в Метатрейдер, но сначала нужно научиться правильным образом использовать полученные прогнозы. Я не уверен, что умею это, несмотря на положительные в целом результаты.

1. Что прогнозируем? В данном проекте - движение цены в пределах дня. Где будет Low, где High.

 

2. Индикаторы -  это по сути, предварительная математическая  обработка той же цены. 

И цель их (опять же не всех, но в массе) - визуализировать данные на экране для человеческого восприятия.

Поэтому сильно "налегать" на них особого смысла не вижу.

Так как мат. обработка - это и есть задача сети. Но отвергать их тоже не стоит.

 

3. TradingSolutions как-то "пролетел" мимо, т.к. в тот  момент показалось,

что это просто очередной анализ индикаторов. Спасибо за информацию, поизучаю более пристально.

 

[МихМих]

9 часов назад, asbets сказал:

1. Что прогнозируем? В данном проекте - движение цены в пределах дня. Где будет Low, где High.

Хорошо. А что дальше? Точно спрогнозировать невозможно. Какая поправка на недолет/перелет? Как учитывать тренд, который приводит к пробитию одной стороны и к недолету к другой? Какая система торговли - вход при достижении расчетных экстремумов или вход с открытия расчетного периода к экстремумам?

Изменено 22 сентября, 2020 пользователем МихМих

[МихМих]

9 часов назад, asbets сказал:

Индикаторы -  это по сути, предварительная математическая  обработка той же цены. 

И цель их (опять же не всех, но в массе) - визуализировать данные на экране для человеческого восприятия.

Поэтому сильно "налегать" на них особого смысла не вижу.

У индикаторов свои экстремумы, более стационарные, чем у графика цены. Поэтому с их помощью рассчитываются не значения HIGH/LOW следующего периода, а образ текущей ситуации - перепроданность/перекупленность. В терминах разработчиков это звучит как  "на какой стороне нужно быть".

Изменено 22 сентября, 2020 пользователем МихМих

[МихМих]

9 часов назад, ostapbender сказал:

Так и я к тому, что нейросеть нужно обучать не только теханализу, чтоб реально получилось что то стоящее, а не оптимизация-переоптимизация.

За годы наблюдений на форекс, убедился, что новости интерпретируют под движение, а не наоборот. ИМХО, это говорит о том, что не нужно никакого фундамента в прогнозы, все пойдет как рассчитала нейросеть. Предполагаю, что лаг в задержке исполнения прогноза связан исключительно с необходимостью сбросить умных "пассажиров" перед началом движения. Если это условие выполняется, реакция следует своевременно.

[ostapbender]

55 минут назад, МихМих сказал:

За годы наблюдений на форекс, убедился, что новости интерпретируют под движение, а не наоборот.

Под фундаменталом подразумевалось совсем не новости. Прочтите статью. Это намного шире - от движения танкеров, до запросов в гугле.

 

[asbets]

1 час назад, МихМих сказал:

Хорошо. А что дальше? Точно спрогнозировать невозможно. Какая поправка на недолет/перелет? Как учитывать тренд, который приводит к пробитию одной стороны и к недолету к другой? Какая система торговли - вход при достижении расчетных экстремумов или вход с открытия расчетного периода к экстремумам?

Вы правильно сказали, что точно нельзя спрогнозировать. Тем более, что в сети изначально заложена приближённость.

Но большинство факторов влияния на цену в виде структурированных данных отдать в сеть можно, в том числе и тренд. 

 

 

Изменено 22 сентября, 2020 пользователем asbets

[МихМих]

2 часа назад, ostapbender сказал:

до запросов в гугле.

 

Это реализовано в социальном сантименте CME и даже статистику действующих значений приводят. Можно напрямую добавлять в качестве входа в нейросеть, но опять же - этот тип прогноза будет распознаванием образа ситуации, числовое значение экстремума такие данные не выводят.

[МихМих]

2 часа назад, asbets сказал:

Но большинство факторов влияния на цену в виде структурированных данных отдать в сеть можно, в том числе и тренд.

А нужно ли? Тренд это то, что становится очевидным большинству перед сломом. Так же будет ломать и модель. Например, индикатор ATR перед сломом тренда принимает высокие значения, а перед возникновением тренда - низкие. Вот только ведет он себя так и при трендах вниз и при трендах вверх. Разделить облако прогноза на две части здесь не получится. А в случае осцилляторов - получается, но уже в самом конце тренда. Это я про образ ситуации, а не про числовые значения прогноза экстремума.

Изменено 22 сентября, 2020 пользователем МихМих

[asbets]

Вот новая версия 1,2 "NextDay". 

- Обучение на 5 парах AUDUSD, USDCAD,EURUSD, EURGBP, Gold , с 2014 по август 2020 года.

- Добавлены дни недели;

- Точность повысилась примерно на 10-15% по некоторым валютам на форвардтесте погрешность стала 10,2 % (было в среднем 11,7 - 12)

Применять можно вообщем-то на любой паре, погрешность от этого сильно не увеличивается. 

Напоминание по работе :

- советника кидать на график H4, перед этим переключить график на таймфрем D1 и вернуть обратно на H4 (глюк MQL), чтоб появились данные по дням. 

- советник сам выгрузится. висеть на графике не будет. в журнале "эксперты" запись будет "NextDay12 .......,H4: initialization failed (1)" - 

это нормально. При нормальном завершении будет сообщение "Всё прошло хорошо". 

 

 

NetxtDay12_20.dll NetxtDay12_20.nsw

NextDay12.ex4 NextDay12.mq4

Изменено 24 сентября, 2020 пользователем asbets

[asbets]

Пример, как отрабатывает по NZDUSD : 

[asbets]

Работа по проекту продолжается. В планах сделать подобный прогноз на неделю.

Тогда будет всё по классику Элдеру - неделя, день ии...  вход :). Но пока  основная  задача уменьшить погрешность.

Что выяснилось.  Сеть при тесте на той же выборке, на которой обучалась, выдает среднюю погрешность 9,7%.  

При форвард-тестах погрешность составляет от 10,4 до 11,5%.

То есть растет не так уж сильно. Не на 50-100 %, а всего на 18 в максимуме, или в среднем на 10%.  

О чем это говорит?

  Во-первых, подтверждается утверждение, что в целом рынок валют довольно однообразен.

И когда торговые системы, разработанные для одних пар, работают на других – это вот это однообразие и есть.  

  Во-вторых, «алгоритмические» советники в массе своей,  не дают  такие же результаты на форвард-тестах . Мне кажется, что у них «погрешность» растет не на 10%.  Сколько перетестировал их, обычно на  форварде «заваливаться» начинают. Конечно, есть и исключения.

  Общую погрешность 9,7% можно разбить на 2 части. Малую (от 10% и ниже) и большую – от 10% и выше.

 С малой погрешностью сеть отрабатывает в 66% случаев. С большой – в 33% .  

 Пришёл к выводу, что надо на текущий момент момент работать именно с этой частью случаев-записей

 Эти случаи-записи вообще не поддаются обучению никакими вариантами с теми данными, которые сейчас подаются в сеть.  

По ним созрело 2 вывода (если у вас будут еще варианты, с благодарностью выслушаю   ).

1.       Эти случаи зависят от других данных, которых нет у сети :  новости (речи персон), или какие-то другие тех. данные – уровни, волатильность, тренд …

2.       Эти случаи просто случайная работа рынка и вряд ли вообще поддаётся просчёту.

 

Что думаете?

 

Написал, подумал и понял, что надо эти случаи смотреть визуально на графике, почему они такие, не поддающиеся. 

А для этого надо всё переделать с привязкой к дате - скрипт, советник..

 

 

Изменено 1 октября, 2020 пользователем asbets

[usver73]

9 часов назад, asbets сказал:

При форвард-тестах погрешность составляет от 10,4 до 11,5%.

Что означает  Ваша погрешность? Сеть ошибается в 11.5%? Т.е. более 88% направление входа угадано верно?

Но ведь это грааль! Чем Вас не устраивает данный результат?