[Обсуждение] Тестирование/оптимизация советников: общие вопросы

[Vasgenich]

Вопрос конечно наболевший и наверное не только у меня, как попробовать достичь такого качества тестирования, чтобы оно было максимально приближено к реальное торговле. Меня сейчас интересуют программы которые загружают котиры с дуки. Понятно что есть платные такие как - Tick Data Suite., есть бесплатные, например TickDataDownloader_v1.1, Tickstorylite_v.0.8.1 Вопрос к тем кто пользовался и имеет реальный опыт сравнения результатов обработки то бишь тиков с данных прог, что всё таки лучше юзать. Прогеры с форума советуют тикстори, есть также мнение, что она дает много расхождений с платной версией от берта. Сам не один раз был свидетелем того, что котиры взятые из дуки, но различными не известными мне прогами (я брал как на данном форуме готовые котиры, так и скачивал с других источников) имеют совершенно разный результат на выходе, но качество 99%. У кого какое мнение на этот счет? :)

Изменено 8 апреля, 2013 пользователем Vasgenich

[cfytr]

Хочу установить несколько советников на один счет. Стоит задача выбрать размеры лотов каждого советника таким образом что бы максимизировать отношение прибыли к максимальной просадке. Подбирать размеры лотов буду в matlab. В matlab надо загрузить данные результатов тестера стратегий.
В тестере стратегий метатрейдера максимальная просадка рассчитывается как наибольшая разница между локальным максимумом баланса и минимальными средствами за этим локальным максимумом. В результатах тестирования нет столбца минимальные средства. Как получить данные о минимальных средствах?

[eBaykal]

Это немного проще делается в программе Report Manager. У Павла есть статья в блоге о ней.

[cfytr]

В Report Manager загружаются отчеты из метатрейдера, а в них нет информации по минимальным средствам. Скорее всего там просадка усредняется или считается по балансу. + там, в отличие от matlab нет механизма оптимизации, только вручную перебирать значения лотов.

[Мерлин]

В тестере стратегий метатрейдера максимальная просадка рассчитывается как наибольшая разница между локальным максимумом баланса и минимальными средствами за этим локальным максимумом.

что-то не пойму суть проблемы)
тестируйте фиксированным лотом, полученная просадка в абсолютном выражении (в баксах) и есть то, что надо
складываете максимальные просадки по всем советникам в баксах, получаете максимально возможную по тестам суммарную просадку, далее определяетесь с комфортным для Вас процентом просадки по отношению к начальному депозиту и соответственно с размером депозита
можно, конечно, оптимизировать по методу несовпадения просадок, но это вроде как получается подгонка под историю.

[cfytr]

Суть проблемы в том, что будут торговать несколько советников. Когда у одного идет серия проигрышей, у другого может быть серия выигрышей, а значит суммарная просадка будет меньше. Эта задача называется оптимизация портфеля. На интуит есть видеокурс по инвестициям. Дам довольно хорошо объясняется как оптимизировать портфель. Правда тот метод не совсем пригоден для советников, потому что там берутся прибыли/убытки через фиксированные промежутки времени.

[eBaykal]

Один счет - один советник, так лучше, имхо и личный опыт. Вы хоть задроптимизируйте, если у Вас пять советников на счету, один обязательно сделает уникальную, еще не встречавшуюся в истории просадку и посадит весь счет.

[NTuner]

Думаю что SSD/HDD/RAMDisk значения не имеет, ведь вычисления производятся не на накопителе, а в процессоре. Думаю что самое главное для скорости оптимизации - это связка процессор/чипсет/память, хотя как уже заметили выше, увеличение вычислительной мощности ЭВМ влияет на скорость оптимизации не линейно. Большой прирост скорости компа дает небольшой прирост к скорости оптимизации, как то так.

[ALEX_SPB_RU]

Самое главное в данном случае это процессор и даже не столько сам процессор как его частота, т.к. МТ4 работает при оптимизации только с одним ядром.
Но уже много лет частоты процессоров почти не растут, но при этом при переходе на 5-ти значные котировки и плавающий спред число тиков в одной минуте выросло больше чем на порядок. В итоге получается что при тестировании по всем тикам за 2005 год или за 2012 разница во времени тестирования отличается на порядок.
Но при этом имея на минутном баре 100 тиков и более это слишком избыточно, т.к. тестер их просто генерирует внутри этого бара. Для ускорения расчётов можно выгрузить данные в ексель и там данные об объёмах превышающие 10 либо приравнять к 10, либо разделить на 10 и прибавить 10. Таким образом не снизив итоговые результаты тестирования можно ускорить тестирование раз в 5.
Кроме этого если воспользоваться советом leon-а 2-мя постами выше можно ещё ускорить вычисления в 4 раза и в итоге получить ускорение тестирования раз в 20.

[vorona]

Хотела протестировать советник Forex Setka на реале, но при загрузке архива котировок выходит надпись: "Вы собираетесь загрузить исторические данные с Сервера "MetaQuotes Software Corp", однако Вами счет открыт на торговом сервере "HF Markets (Europe) LTD." И всё же после загрузки котировок никаких данных нет! Подскажите, почему и что нужно сделать, чтобы можно было протестировать советник? Счет открыт на реале HotForex.

---

Добавлено: 20-06-2013 07:52:11

---

Решила тогда открыть МТ4 от "MetaQuotes Software Corp", но и у них никаких данных нет. Должна ли я с начало открыть счет и только потом могу протестировать советник? Изменено 20 июня, 2013 пользователем vorona

[Stalker80]

Есть необходимость смотреть по итогам тестирования советника/ов результаты по исполненным ордерам:
1. Минимальная цена (если закрылся по ТП).
2. Максимальная цена (закрылся по СЛ).
3. Время существования ордера.
4. Усреднённые данные по результатам тестов по указанной выше статистике.

Можно ли это как-то реализовать?

[Stalker80]

Попробуй сохранить отдельным отчетом, может быть поможет

Сохранить что? Тестер таких данных не показывает.

[talliy]

пролистай статейки здесь, я там встречал то что тебе надо - _http://www.mql4.com/ru/search#!keyword=%D1%82%D0%B5%D1%81%D1%82%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5&module=mql4_module_articles

[Stalker80]

пролистай статейки здесь, я там встречал то что тебе надо - _http://www.mql4.com/ru/search#!keyword=%D1%82%D0%B5%D1%81%D1%82%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5&module=mql4_module_articles

Спасибо. Правда при первом просмотре не увидел схожего текста в статьях. Правда много другого интересного увидел )

[Nyamhyy14]

Написал советник на основе одной торговой системы. Хочу проверить насколько советник прибыльна, и найти ошибки если они есть. Если зарабатывает не плохо, буду прикручивать нейронную сеть.
Кто готов помочь пишите личку или дайте скайп или почту. :-C (Нужна хотя бы тестирование на 1 месяц)

[bellduke]

буду прикручивать нейронную сеть.

Насколько мне известно в автоматическом режиме это не возможно средствами MQL4

[Nyamhyy14]

буду прикручивать нейронную сеть.

Насколько мне известно в автоматическом режиме это не возможно средствами MQL4

Возможно, еще как возможно. Если все будет хорошо напишу как все делать.

[bellduke]

Возможно, еще как возможно. Если все будет хорошо напишу как все делать.

Смотря что подразумевать под понятием - "нейронной сеть".
По мне это когда советник читает историю, анализирует ее, записывает в файл, проводит оптимизацию, подбирает лучший параметр и меняет его в своих настройках, и все это в режиме реального времени.
Никогда таких не встречал и даже не слышал чтобы были.
Но дерзай, ты будешь первым.

[Nyamhyy14]

Окей

[qwex]

qwex
насколько я понимаю, GMTTest влияет на настройку окончания времени работы в пятницу, то есть по большому счёту неважно.

RaMпо тестам торгуют не каждый день, могут долго (несколько дней) молчать, т.к. ждут сигнала по тренду или по его откату по своим индикаторам.

Цитата

Так что, действительно ли имеет смысл далее делать бэктесты?

Можно ещё попробовать для наглядности сделать отдельно по 1-й и по 2-й стратегиям, но особенность тут в том, что в этом советнике мы ничего особо улучшить не можем, т.к. внешних параметров почти нет.

Мерлин,

Я вот, если честно, уже не знаю каким бэктестам доверять с качеством моделирования 99%. Пробовал 6 вариантов:
1) скачивал тики и формировал файлы FXT через Tickstory Lite.
2) скачивал тики через Tickstory Lite и формировал файлы FXT через бертовский скрипт CSV2FXT.
3) скачивал тики через Tick Data Downloader и формировал файлы FXT через бертовский скрипт CSV2FXT / через Tickstory Lite.
4) скачивал тики через Jforex и формировал файлы FXT через бертовский скрипт CSV2FXT / через Tickstory Lite.

Прогонял бэктесты только через Tickstory Lite, так как бертовская прога Tick Data Suite триальная и срок уже закончился у меня.

Вот сложно поверить, но теоретически тесты должны были быть одинаковыми, т.к. база по тикам одна и та же (от Дукаса), но на практике ни один тест не совпал. Тенденция роста баланса была, конечно, похожая, но иногда различия по тестами в некоторых местах были прямо противоположны! И где она истина? :) Каждая прога по-своему что-то там обрабатывает и путаницы еще больше становится.

Мерлин, вот скажи каким из вариантов делаешь бэктесты или у тебя что-то свое? :)

[Мерлин]

qwex, видимо, по-разному формируются свечки при заранее заданном спреде. Я скачиваю через SQ Tick Data Downloader, дальше CSV2FXT и Tick Data Suite файл tds.exe. В настройках CSV2FXT ставлю GMT для FXT, соответствующий брокеру и use real spread, по идее это даёт спред от дукаса. Tickstory Lite ещё не пробовал)

Вообще, ИМХО, 99% эт всего лишь показатель качества сырых тиков, а что уж там слепили там при конвертации и как учитывается комиссия, спреды, проскальзывания, это как бы всего лишь имитирует работу брокера, что, конечно, лучше, чем вообще ничего...))

[qwex]

qwex, видимо, по-разному формируются свечки при заранее заданном спреде. Я скачиваю через SQ Tick Data Downloader, дальше CSV2FXT и Tick Data Suite файл tds.exe. В настройках CSV2FXT ставлю GMT для FXT, соответствующий брокеру и use real spread, по идее это даёт спред от дукаса. Tickstory Lite ещё не пробовал)

Вообще, ИМХО, 99% эт всего лишь показатель качества сырых тиков, а что уж там слепили там при конвертации и как учитывается комиссия, спреды, проскальзывания, это как бы всего лишь имитирует работу брокера, что, конечно, лучше, чем вообще ничего...))

У меня все входные данные были одинаковыми, в т.ч. и спреды, что должно было исключить расхождения по тестам. Но похоже, процессы конвертации, действительно, отличаются от проги к проге.

Согласен, что лучше иметь что-то, чем ничего. И если надо что-то выбрать, то мне подходит вариант скачивания тиков через Jforex и формирование файлов FXT через CSV2FXT, т.к. в этом случае можно получить тест с 2003 года, в отличие от других прог, которые дают историю с 2007 года.

Ты в настройках CSV2FXT ставишь FXTGMTOffset, соответствующий брокеру, т.е. для Альпари, к примеру, ты бы брал значения (FXTGMTOffset,CSVGMTOffset)=(3,autodetect) для летнего времени и (FXTGMTOffset,CSVGMTOffset)=(2,autodetect) для зимнего времени? Но тогда при тестах советников тоже такой же сдвиг надо указывать? Я конвертировал при значениях (FXTGMTOffset,CSVGMTOffset)=(0,autodetect) и потом в тестах сов указывал сдвиг по времени (GMTOffset=3 или GMTOffset=2 для лета и зимы, соответственно), т.к. начальная точка отсчета была FXTGMTOffset=0.

У тебя, как понимаю, лицензионная версия Tick Data Suite? Изменено 14 августа, 2013 пользователем qwex

[Мерлин]

Если мы делаем котировки со сдвигом, то и советник настраиваем под этот же сдвиг, иначе временнЫе фильтры в советнике не будут нормально работать.


У меня, кстати, тоже есть несколько вопросов:)

При тестах на альпари я указывал сдвиг для FXTGMTOffset=3 и для советников тоже сдвиг =3. Вопрос: меняется ли сейчас в течение года GMT на Альпари?

В Альпари с 1 мая 2011 года время на торговых серверах изменено с CET на EET, то есть было летом +2 а зимой +1, стало летом +3 а зимой +2. Как это учесть при многолетнем тесте? Или просто под GMT=3 с учётом лета-зимы будет сделано и пофиг на выкрутасы брокера?

Если для лета и зимы в CSV2FXT стоит autodetect, то корректно ли будет конвертирована история? По дефолту вроде должна конвертироваться корректно.

Мне кажется, чтобы не думать про GMT, можно поискать брокера, у которого всегда GMT=0, насколько я знаю, из таких Aforex.

Цитата

У тебя, как понимаю, лицензионная версия Tick Data Suite?

Да, у меня Tick Data Suite с лицензионым ключом. Изменено 14 августа, 2013 пользователем Мерлин

[Старик]

Цитата

Мне кажется, чтобы не думать про GMT, можно поискать брокера, у которого всегда GMT=0, насколько я знаю, из таких Aforex.

FOREX.com

[qwex]

Если мы делаем котировки со сдвигом, то и советник настраиваем под этот же сдвиг, иначе временнЫе фильтры в советнике не будут нормально работать.


У меня, кстати, тоже есть несколько вопросов:)

При тестах на альпари я указывал сдвиг для FXTGMTOffset=3 и для советников тоже сдвиг =3. Вопрос: меняется ли сейчас в течение года GMT на Альпари?

В Альпари с 1 мая 2011 года время на торговых серверах изменено с CET на EET, то есть было летом +2 а зимой +1, стало летом +3 а зимой +2. Как это учесть при многолетнем тесте? Или просто под GMT=3 с учётом лета-зимы будет сделано и пофиг на выкрутасы брокера?

Если для лета и зимы в CSV2FXT стоит autodetect, то корректно ли будет конвертирована история? По дефолту вроде должна конвертироваться корректно.

Мне кажется, чтобы не думать про GMT, можно поискать брокера, у которого всегда GMT=0, насколько я знаю, из таких Aforex.

Цитата

У тебя, как понимаю, лицензионная версия Tick Data Suite?

Да, у меня Tick Data Suite с лицензионым ключом.

Вопросы, конечно, имеются, как максимально приблизиться к реальной торговле. По хорошему, надо брать какого-нибудь реально торгующего советника и сравнивать его историю торговли с тестером и тогда можно точней понять какие настройки нужны.

Кстати, еще один параметр не был рассмотрен, а именно FXTDST.

Если опять вернуться к Альпари, то они меняют время с зимнего на летнее вроде бы по европейской системе, поэтому имеет смысл тогда выставить параметр FXTDST=2. А значит надо FXTGMTOffset=2 - это сдвиг для тестов на зимнем времени, а при тестах летом FXTGMTOffset автоматически будет увеличиваться на единицу.

В общем, видится, что универсальные настройки для Альпари выглядят такие: (FXTGMTOffset,FXTDST)=(2,2) + указываем сдвиг в советнике +3 для лета или +2 для зимы при параметре, скажем, UseDST=false.

Может быть имеет смысл вообще создать отдельную тему о том какие настройки использовать при разных тестах (с качеством 90%, 99% с применением разных советников, скриптов и программ) на разных брокерах, если уж это все так актуально и единого мнения нет? Изменено 14 августа, 2013 пользователем qwex