[Обсуждение] Тестирование/оптимизация советников: общие вопросы

[farewell]

farewell, это нормальное явление. У меня один сеточник 4 дня тестился :d

и как тестировать? у меня 15 модификаций одного советника, хочу каждый протестить хотя бы на 20 валютных парах. Это получается 300 прогонов или примерно год жизни))

[ironwolf]

Спойлер

farewell, это нормальное явление. У меня один сеточник 4 дня тестился :d

и как тестировать? у меня 15 модификаций одного советника, хочу каждый протестить хотя бы на 20 валютных парах. Это получается 300 прогонов или примерно год жизни))

Тестируй по ценам открытия, а потом лучшие сеты тестируй со всеми тиками.

[kofesutra]

Тестируй по ценам открытия, а потом лучшие сеты тестируй со всеми тиками.

Я тоже так делаю, только первый прогон по контрольным точкам.

[farewell]

Спойлер

farewell, это нормальное явление. У меня один сеточник 4 дня тестился :d

и как тестировать? у меня 15 модификаций одного советника, хочу каждый протестить хотя бы на 20 валютных парах. Это получается 300 прогонов или примерно год жизни))

Тестируй по ценам открытия, а потом лучшие сеты тестируй со всеми тиками.

А если арендовать мощный VPS, чтобы запускать сразу десяток терминалов - поможет ли ускорить процесс? Или все тестеры просто будут работать в 10 медленнее

Просто я видел советников, которые во время тестирования по ценам открытия и по всем тикам показыввально принципиально разные результаты(

[ironwolf]

Мощный ВПС не поможет особо. Если много денег лучше 10 разных дешевых ВПС-ов)

Идеальный вариант - найти сисадмина, который работает в конторе с 20-ю машинами. Дашь ему денег, пусть тестит по ночам :)) :)) :))

А серьезно - если игра стоит свеч, то создай ветку на форуме, напиши задание - народ потестит.

[izeran6565]

Кто нибудь знает как ускорить оптимизацию советника в MT4, у меня есть некоторые советники с большим количеством параметров, чтобы оптимизировать 1 пару на отрезке в 5 лет, уходит больше 150 часов, хотя комп не слабый, слышал где-то, что добавляют какие-то параметры в код, которые ускоряют прогонку на истории, кто нибудь сталкивался с этим?

[overdrive90]

Кто нибудь знает как ускорить оптимизацию советника в MT4, у меня есть некоторые советники с большим количеством параметров, чтобы оптимизировать 1 пару на отрезке в 5 лет, уходит больше 150 часов, хотя комп не слабый, слышал где-то, что добавляют какие-то параметры в код, которые ускоряют прогонку на истории, кто нибудь сталкивался с этим?

Нет таких волшебных параметров. Тут надо оптимизировать код самого советника. :)

[SVS696]

Кто нибудь знает как ускорить оптимизацию советника в MT4, у меня есть некоторые советники с большим количеством параметров, чтобы оптимизировать 1 пару на отрезке в 5 лет, уходит больше 150 часов, хотя комп не слабый, слышал где-то, что добавляют какие-то параметры в код, которые ускоряют прогонку на истории, кто нибудь сталкивался с этим?

Очень сильно помогает ожидание нового бара, особенно если сова юзает большие ТФ ну и также в тестировании запретить вывод инфы в коммент и т.п.

[dermitay]

все в принципе просто.
если сова юзает сторонние индюки через iCustom() то именно перенос кода индюка на лыжи совы даёт многократное преимущество при тестировании. на моем примере совы по ТМА скорость исполнения кода возросла в 20-30 раз.
ну а так вкратце вот пункты которые стоит использовать при оптимизации кода:
1. через проверку IsTesting() вырезать нахер все принты, комменты, алерты и так далее
2. писал выше - переписать конкретно логику индикаторов и встроить их в код советника. это нелегко, мягко говоря. но если вкратце, то все буферы индикатора становятся динамическими буферами-таймсериями в коде советника, ссылки на литературу я уже как-то кидал в ветке обучения.
3. уже выше коллега писал про ожидание нового бара, крайне полезная фишка при тестировании в расчете данных индикаторов.
4. перелопатить весь код и избавиться от лишних циклов, а где не нужно, не использовать их вовсе. тут немного подробнее опять с личного примера.

многие до сих пор бездумно юзают перебор ордеров в своих функциях, причем многократный. для меня стало, скажем так, откровением следующее: я использую перебор ордеров в своем коде всего лишь ОДИН раз в специально для этого написанной функции, и в этом переборе я заполняю абсолютно все параметры, необходимые мне для дальнейшей работы кода.

ну например такие, как количество ордеров на бай, кол-во ордеров на селл, последние цены их открытия, последнее время их открытия, в этой же функции можно запилить расчет линий БУ для каждой из сторон отдельно а так же суммарно по всем ордерам.
все это делается за один цикл. да, не спорю, внутри цикла много условий и переменных, да, можно запутаться, но в итоге в дальнейшем код работает только с этими переменными и всё, никаких повторных переборов у меня нет(ну если только в функции закрытия ордеров).

Изменено 6 июня, 2016 пользователем dermitay

[JR]

Ну и добавлю, что если сова использует для вывода информации графику и текст, то это в обязательном порядке отключать для режима тестирования в коде.

[izeran6565]

все в принципе просто.
если сова юзает сторонние индюки через iCustom() то именно перенос кода индюка на лыжи совы даёт многократное преимущество при тестировании. на моем примере совы по ТМА скорость исполнения кода возросла в 20-30 раз.
ну а так вкратце вот пункты которые стоит использовать при оптимизации кода:
1. через проверку IsTesting() вырезать нахер все принты, комменты, алерты и так далее
2. писал выше - переписать конкретно логику индикаторов и встроить их в код советника. это нелегко, мягко говоря. но если вкратце, то все буферы индикатора становятся динамическими буферами-таймсериями в коде советника, ссылки на литературу я уже как-то кидал в ветке обучения.
3. уже выше коллега писал про ожидание нового бара, крайне полезная фишка при тестировании в расчете данных индикаторов.
4. перелопатить весь код и избавиться от лишних циклов, а где не нужно, не использовать их вовсе. тут немного подробнее опять с личного примера.

многие до сих пор бездумно юзают перебор ордеров в своих функциях, причем многократный. для меня стало, скажем так, откровением следующее: я использую перебор ордеров в своем коде всего лишь ОДИН раз в специально для этого написанной функции, и в этом переборе я заполняю абсолютно все параметры, необходимые мне для дальнейшей работы кода.

ну например такие, как количество ордеров на бай, кол-во ордеров на селл, последние цены их открытия, последнее время их открытия, в этой же функции можно запилить расчет линий БУ для каждой из сторон отдельно а так же суммарно по всем ордерам.
все это делается за один цикл. да, не спорю, внутри цикла много условий и переменных, да, можно запутаться, но в итоге в дальнейшем код работает только с этими переменными и всё, никаких повторных переборов у меня нет(ну если только в функции закрытия ордеров).

А если не используются индикаторы? Сов вроде бы простой, ставит отложки на основе двух паттернов PA, из основных настроек только размер свечи и размер хвоста от размера свечи в процентах и все, есть еще пару простых совов, но тестируются нереально долго, даже на дневных графиках, не могу понять в чем проблема, в MQL я новичок, ожидание нового бара я так понимаю это нулевой бар, т.е который находится в процессе формирования?

Shadow_Candles.mq4

Изменено 6 июня, 2016 пользователем izeran6565

[pegaskrs]

Кто нибудь знает как ускорить оптимизацию советника в MT4, у меня есть некоторые советники с большим количеством параметров, чтобы оптимизировать 1 пару на отрезке в 5 лет, уходит больше 150 часов, хотя комп не слабый, слышал где-то, что добавляют какие-то параметры в код, которые ускоряют прогонку на истории, кто нибудь сталкивался с этим?

if (NewBar == Time[0]) return ;
NewBar = Time[0];

примерно так
держите в одной принты убрал в другой принты и работа на новом баре,только надо понимать что тралы тоже будут работать раз в одну свечу

только вроде и так быстро тест проходит почитайте по форуму про оптимизацию,если железо позволяет побольше терминалов и раскидать один параметр по ним ,уменьшить шаг параметров

Shadow_Candles_optiNewBar.mq4
Shadow_Candles_opti.mq4

Изменено 7 ноября, 2017 пользователем Pavel888

[sent226]

В теме авторского новостного советника возникло обсуждение оптимального порядка/технологии тестирования авторских ботов.
Началось всё с де-факто недоразумения: человек тестировал устаревшую версию бота, нарвался на давно устраненный баг - и начал выбивать из автора бота принятие мер по устранению уже устраненного бага.
При этом всё происходящее было очевидно неоптимальным и не правильным - но разобраться с этим удалось не сразу.

В общем, обсуждение неоптимального поиска уже устраненного бага и выяснение как оптимально тестировать авторские советники модер Старик почти целиком перенес из топика разработки авторского бота Truly News Expert в данный топик - как полезное для новичков.

А обсуждение началось с поста, расположенного ниже.


советник перестал открывать сделки, при первом запуске все ОК, открыл , сопроводил и т.д.
сейчас выставляет отложку за 1-2 минуты до старта и тут же удаляет
Журнал для меня- темный лес

Безымянный.png
1.png

Изменено 9 августа, 2016 пользователем Старик

[валерий31]

Подскажите пожалуйста,почему в МТ4 в тестере стратегий нет настроек визуализации?Может нужно что-то включить,чтобы они появились?

[Serg33]

Подскажите пожалуйста,почему в МТ4 в тестере стратегий нет настроек визуализации?Может нужно что-то включить,чтобы они появились?

Окошко растяните и они появятся.

[sent226]

советник перестал открывать сделки, при первом запуске все ОК, открыл , сопроводил и т.д.
сейчас выставляет отложку за 1-2 минуты до старта и тут же удаляет
Журнал для меня- темный лес

нет ни у кого мыслей, по моему вопросу?
на неделе, а точнее в четверг % ставка по нзд, не хотелось бы пропустить

[Rever27]

советник перестал открывать сделки, при первом запуске все ОК, открыл , сопроводил и т.д.
сейчас выставляет отложку за 1-2 минуты до старта и тут же удаляет
Журнал для меня- темный лес

По этому журналу я не вижу никаких ошибок с удалением сделок, там происходит только тралл позиции.

Rever27
возможно ли внедрить опцию, чтобы указывать запрет на определенные новости?

---

Добавлено: 05-08-2016 19:48:33

---

да, и ещё...заметил уже второй раз каждую пятницу примерно в это же время бот начинает через каждых 10 минут выставлять отложки! на новостях то штиль.
В логах нет ничего подозрительного...попросту прописывает в логах инфу об выставлении отложки

Добавил переменную DoNotTradeNews в виде прописи. Пишете слова через запятую, по которым не хотите видеть новость, и она не будет отображаться. На рынке не проверял.
Я сам пока не торгую роботом, поэтому без журнала ничего не могу сказать. На день недели робот никак не реагирует. Может быть ситуация, что робот подряд откроет несколько отложек, но не каждые 10 минут.

TrulyNewsExpert_v1.5.52.ex4

[sent226]

советник перестал открывать сделки, при первом запуске все ОК, открыл , сопроводил и т.д.
сейчас выставляет отложку за 1-2 минуты до старта и тут же удаляет
Журнал для меня- темный лес

По этому журналу я не вижу никаких ошибок с удалением сделок, там происходит только тралл позиции.

есть хотя бы предположение, почему сова выставляет отложки и тут же прикрывает их?

[Rever27]

советник перестал открывать сделки, при первом запуске все ОК, открыл , сопроводил и т.д.
сейчас выставляет отложку за 1-2 минуты до старта и тут же удаляет
Журнал для меня- темный лес

По этому журналу я не вижу никаких ошибок с удалением сделок, там происходит только тралл позиции.

есть хотя бы предположение, почему сова выставляет отложки и тут же прикрывает их?

без журнала с явными ошибками - нет. Возможно время существования отложек выставили такое короткое.

[sent226]

советник перестал открывать сделки, при первом запуске все ОК, открыл , сопроводил и т.д.
сейчас выставляет отложку за 1-2 минуты до старта и тут же удаляет
Журнал для меня- темный лес

По этому журналу я не вижу никаких ошибок с удалением сделок, там происходит только тралл позиции.

есть хотя бы предположение, почему сова выставляет отложки и тут же прикрывает их?

без журнала с явными ошибками - нет. Возможно время существования отложек выставили такое короткое.

посмотри пожалуйста скрин настроек, хотя вроде ничего не менял, использую стандартные

Безымянный.png

[Rever27]

посмотри пожалуйста скрин настроек, хотя вроде ничего не менял, использую стандартные

Без ошибок в журнале я не могу понять, в чем проблема. Настройки нормальные. Пробуйте торговать последней версией.

[Старик]

посмотри пожалуйста скрин настроек, хотя вроде ничего не менял, использую стандартные

Спойлер

...
На всякий случай напоминаю о порядке информирования о предполагаемых багах в работе бота.

Нам (всем разработчикам) для анализа, в первую очередь, нужен журнал/log работы бота из вкладки "Эксперты", в который бот подробно пишет даже о том, что лишь собирается делать.


Логов/журналов в МТ4 аж 3 (три):
1) Имя_ДЦ\logs - журнал/лог самого терминала, вкладка "Журнал"
2) Имя_ДЦ\MQL4\Logs - журнал/лог экспертов, индикаторов, скриптов, вкладка "Эксперты" - обычно нам нужно этот и только этот.
3) Имя_ДЦ\tester\logs - журнал/лог тестера стратегий - иногда нужно выкладывать и его, если глюк проявляется в тестере.

Если у вас глюк выявлен на демо или реальном счете, то нужны логи/журналы 1)+2).
Если у вас глюк выявлен в тестере, то нужен журнал 3)


Добраться до логов/журналов просто:
1. в терминале слева вверху пункт меню "Файл"
2. в нем выбираете подпункт "Показать каталог данных" - откроется окно каталога.
3. заходите в MQL4
4. заходите в logs - там все файлы логов/журналов вкладки терминала "Эксперты"

Остальные логи находятся аналогично - но меняется пункт 3.


На 100% не уверен, но чтобы МТ4 доформировал (дописал всё в) логи/журналы и закрыл их, надо сначала закрыть МТ4, повторно МТ4 стартовать и лишь после этого копировать логи/журналы и прикреплять их к вашим сообщениям.
При этом не будет лишним сначала заглянуть в логи и убедиться, что то, что вы хотите показать программисту, есть именно в этом, а не в предыдущем файле лога/журнала.

Если лог/журнал слишком большой (много мегабайт), заархивируйте его и прикрепите архив к посту.


Часто бывает очень полезно для поиска и устранения ошибки прикрепить к сообщению сэт, использовавшийся вами в проблемных торгах или тесте.
В логе эксперта ваши настройки мы увидим.
Но, чтобы повторить ваши торги или тест, нам может понадобиться и ваш сэт - и будет намного надежнее и быстрее нам воспользоваться прикрепленным вами файлом с вашим сэтом.


Иногда проблему удобно показать скрином.
В терминале (меню Файл) есть возможность делать скрины как всего экрана, так и рабочего графика.
Скрины сохраняются в терминале в разных местах - отыщите в терминале скрин и прикрепите его к сообщению.
...

[sent226]

посмотри пожалуйста скрин настроек, хотя вроде ничего не менял, использую стандартные

Спойлер

...
На всякий случай напоминаю о порядке информирования о предполагаемых багах в работе бота.

Нам (всем разработчикам) для анализа, в первую очередь, нужен журнал/log работы бота из вкладки "Эксперты", в который бот подробно пишет даже о том, что лишь собирается делать.


Логов/журналов в МТ4 аж 3 (три):
1) Имя_ДЦ\logs - журнал/лог самого терминала, вкладка "Журнал"
2) Имя_ДЦ\MQL4\Logs - журнал/лог экспертов, индикаторов, скриптов, вкладка "Эксперты" - обычно нам нужно этот и только этот.
3) Имя_ДЦ\tester\logs - журнал/лог тестера стратегий - иногда нужно выкладывать и его, если глюк проявляется в тестере.

Если у вас глюк выявлен на демо или реальном счете, то нужны логи/журналы 1)+2).
Если у вас глюк выявлен в тестере, то нужен журнал 3)


Добраться до логов/журналов просто:
1. в терминале слева вверху пункт меню "Файл"
2. в нем выбираете подпункт "Показать каталог данных" - откроется окно каталога.
3. заходите в MQL4
4. заходите в logs - там все файлы логов/журналов вкладки терминала "Эксперты"

Остальные логи находятся аналогично - но меняется пункт 3.


На 100% не уверен, но чтобы МТ4 доформировал (дописал всё в) логи/журналы и закрыл их, надо сначала закрыть МТ4, повторно МТ4 стартовать и лишь после этого копировать логи/журналы и прикреплять их к вашим сообщениям.
При этом не будет лишним сначала заглянуть в логи и убедиться, что то, что вы хотите показать программисту, есть именно в этом, а не в предыдущем файле лога/журнала.

Если лог/журнал слишком большой (много мегабайт), заархивируйте его и прикрепите архив к посту.


Часто бывает очень полезно для поиска и устранения ошибки прикрепить к сообщению сэт, использовавшийся вами в проблемных торгах или тесте.
В логе эксперта ваши настройки мы увидим.
Но, чтобы повторить ваши торги или тест, нам может понадобиться и ваш сэт - и будет намного надежнее и быстрее нам воспользоваться прикрепленным вами файлом с вашим сэтом.


Иногда проблему удобно показать скрином.
В терминале (меню Файл) есть возможность делать скрины как всего экрана, так и рабочего графика.
Скрины сохраняются в терминале в разных местах - отыщите в терминале скрин и прикрепите его к сообщению.
...

в logs файлах ничего по данным сделка нет.
Давайте буду пробовать в четверг на % ставке NZD, и если советник снова удалит отложки после их выставления, сразу выложу журналы logs и скрины эксперта и журнал из МТ

[Старик]

в logs файлах ничего по данным сделка нет.

Проблема в том, что этого не может быть.
Во вкладке Эксперты в логах пишется то, что сообщает бот - если бот нормально общителен.
А вот во вкладке Журнал отражается вся активность терминала МТ4 - и, в том числе, пишется выставление и удаление отложек.

Поэтому, если было так, как вы полагаете, то факты выставления и удаления отложек в логах вкладки "журнал" должны быть безусловно отражены.
Причем записи будут обо всем и вне зависимости от того данный или иной бот отложки выставлял и удалял.

Поэтому хватит гадать: идите по указанной мной ссылке, находите файлы логов за неделю-две, внимательно просмотрите каждый - и, если найдете подтверждение, что вам не кажется, то выкладывайте в топик файлы логов/журналов терминала с записями о выставлении и быстром удалении отложек.

sent226, без обид, но вы должны знать, что заявлять о выставлении и удалении отложек без прикладывания журнала - это просто флудить и морочить разработчикам голову.
Если вы такое предполагаете, то проверяете логи/журналы, убеждаетесь в том, что вам не кажется - и выкладываете оба журнала за 1-2 дня выявленной вами некорректной работы бота.
В этом и только в этом случае вы даете разработчику всю информацию о произошедшем и разработчик получает возможность разбираться с выявленным вами багом.

[sent226]

Спойлер

в logs файлах ничего по данным сделка нет.

Проблема в том, что этого не может быть.
Во вкладке Эксперты в логах пишется то, что сообщает бот - если бот нормально общителен.
А вот во вкладке Журнал отражается вся активность терминала МТ4 - и, в том числе, пишется выставление и удаление отложек.

Поэтому, если было так, как вы полагаете, то факты выставления и удаления отложек в логах вкладки "журнал" должны быть безусловно отражены.
Причем записи будут обо всем и вне зависимости от того данный или иной бот отложки выставлял и удалял.

Поэтому хватит гадать: идите по указанной мной ссылке, находите файлы логов за неделю-две, внимательно просмотрите каждый - и, если найдете подтверждение, что вам не кажется, то выкладывайте в топик файлы логов/журналов терминала с записями о выставлении и быстром удалении отложек.

sent226, без обид, но вы должны знать, что заявлять о выставлении и удалении отложек без прикладывания журнала - это просто флудить и морочить разработчикам голову.
Если вы такое предполагаете, то проверяете логи/журналы, убеждаетесь в том, что вам не кажется - и выкладываете оба журнала за 1-2 дня выявленной вами некорректной работы бота.
В этом и только в этом случае вы даете разработчику всю информацию о произошедшем и разработчик получает возможность разбираться с выявленным вами багом.

Ура, нашел!
Проблема была в том, что новостной советник хоть и работает на основном счете, но запустил его на другом терминале, а файлы логов смотрел на основном
Старик, посмотри пожалуйста файл

журнал.png
20160805.log