Тестирование советников - тема для программистов

[Aleks3dx]

Извиняюсь не дописал. М15 думаю все мажоры. Принципа работы нет но я думаю это Transient Zones.

[usver73]

Здравствуйте, уважаемые форумчане.
Опыта немного, но уже столкнулся с проблемой технологичности тестирования.
Соответствующие ветки гораздо беднее других. Спрашивал, зачастую не по теме, в активных темах, но реакции не дождался. Может здесь получится...
По сути:
Первое, что напрашивается, это СОХРАНЕНИЕ результатов оптимизации. Решение "в лоб"- ПКМ-Копировать все-Ексель-вставить.
И тут первая проблема: копируются 50-60 параметров советника. может и существуют такие советники, но их не много.
Отсюда вопрос к Финансовым махинаторам: как можно вытянуть ВСЕ параметры советника (оптимизируемые и неоптимизируемые)?
Далее- уважаемые люди делятся опытом, как фильтровать и делать выборку удачных сетов для дальнейшего БЭК/ФОРАРД теста.
У меня вопрос: Вы как параметры сетов устанавливаете? Вручную? И сколько их?(в смысле-невозможно протестировать какую бы ни было репрезентативную выборку руками, ибо это немерено времени.. ).
Про технологию (методологию) тестирования тоже для меня пока туман: Genry_05 поднял.
Упор был сделан на сознательность MQ. ИМХО, "не стоит ждать милостей от природы"...
Поэтому предлагаю разработать и формализовать МЕТОДИКУ тестирования с учетом наших реалий.
Пока для себя определил двойной прогон с одинаковыми оптимизируемыми параметрами за различные периоды с последующим "скрещиванием" по оптимизируемым параметрам и предварительной фильтрацией по целям. Кстати, все чаще в советники встраивают параметр "коэффициент восстановления", ИМХО, нужный параметр...
Недостаток метода- двойные временные затраты. При этом "The best" результаты все равно нужно смотреть визуально для выявления всплесков/провалов, хотя "круг подозреваемых" резко сужается...
Есть еще варианты?
Ну и на посошок- сортировка, фильтрация и дальнейшее использование данных в Excel- это, пардон, "перевозка кирпичей на Жигулях". ИМХО.
Мы оперируем относительно большими массивами данных и их необходимо хранить и структурировать. Excel для этого не предназначен. Он хорош для анализа...
Я для себя навоял базу на ACCESS. По опыту могу сказать что наша задача для нее самое то. База хранит результаты прогонов, делает "перекрестие" разных прогонов, генерит set-файлы, делает статистику по оптимизируемым параметрам...
Сырой вариант (в исходниках) выкладываю. Access2003. Данные - результат прогонов по сове QLT v.1.44.
Готов реализовать Ваши полезные задумки.
Файла "Help" нет по понятным причинам, но , при интересе сообщества, будет.

Статистика2003.rar

[dignus]

Киньте, пожалуйста, сылочку на тему, где можно ознакомиться со способами установки архива котировок, и где их скачать.

TickStory 99%

Здравствуйте господа!
Не подскажете почему данной темы нет теперь на форуме? В блоге материал нашел, но по сути тут есть что пообсуждать кроме установки. Нет ли негласного запрета(или гласного) на ее упоминание? x_x

[machine]

Отсюда вопрос к Финансовым махинаторам: как можно вытянуть ВСЕ параметры советника (оптимизируемые и неоптимизируемые)?

Сохранять в HTML, а потом выковыривать. Всё для людей.

Пока для себя определил двойной прогон с одинаковыми оптимизируемыми параметрами за различные периоды с последующим "скрещиванием" по оптимизируемым параметрам и предварительной фильтрацией по целям.

Могут не совпадать параметры прогонов с разных периодов, если параметров много. Генетическим алгоритмом перебираются не все параметры, а какая-то часть, а на другом участке может перебираться другая часть, и, в итоге, может получиться, что на первом - вовсе таких нету.

[usver73]

Отсюда вопрос к Финансовым махинаторам: как можно вытянуть ВСЕ параметры советника (оптимизируемые и неоптимизируемые)?

Сохранять в HTML, а потом выковыривать. Всё для людей.

Немного не понял... Где они хранятся в тестере, чтобы их сохранять в HTML? Если Вы про таблицу "Результаты оптимизации", так там как раз не все параметры. И нет необходимости из тянуть в HTML, можно сразу ч-з буфер в Excel.
Есть ощущение, что все параметры собираются в строку какой-то лимитированной длины. Оптимизируемые вначале, все остальные в конце. Т.о. то самое копирование через буфер обмена не позволяет в последствии собрать обратно в целостный сет (последние параметры не попадают.)
К слову, с помощью костылей я обошел это неудобство. Храню все результаты прогонов и могу собрать сет-файл из любого из них.

Пока для себя определил двойной прогон с одинаковыми оптимизируемыми параметрами за различные периоды с последующим "скрещиванием" по оптимизируемым параметрам и предварительной фильтрацией по целям.

Могут не совпадать параметры прогонов с разных периодов, если параметров много. Генетическим алгоритмом перебираются не все параметры, а какая-то часть, а на другом участке может перебираться другая часть, и, в итоге, может получиться, что на первом - вовсе таких нету.

Согласен, могут, но как еще проводить форвард-тесты?
Вручную, пока живы результаты оптимизации? Трудоемко..
И не факт, что лучшие результаты на форварде повторятся. Зачастую тянут "середнячки".
А еще бывает "бяка" с вырубанием электричества.
В общем пока делаю отбор "скрещиванием" и потом еще вручную- с лучшими показателями первого прогона, если они не попали в первый отбор.

[Dirst]

Добрый день, есть из старичков кто тестирует с 99%? Вы как-то решали проблему больших файлов? У меня после выгрузки файлы fxt весят по 8 - 11 гб и на 15 минутках просто не загружается вся история. К примеру выгружаю 2010-2016, а на тесте проходит только до 2013, хоть садись и свой тестер стругай.

Еще вопрос, насколько точно такое тестирование? всё такие 99.9, почему не 100? У Dukascopy тоже котировки местами битые?

[bvc]

Здравствуйте, такая проблема: пытаюсь сделать терминал для тестов на 99% через Tick data suite. Все делаю строго по инструкции _http://tradelikeapro.ru/kak-poluchit-kachestvo-modelirovaniya-99/ на чистый терминал. При попытке теста любого советника тестер жалуется что файл истории только для чтения, а если убрать этот атрибут, то при следующем тесте его размер становится 0 кб, и тестер говорит что нет истории. Кстати скрипт CSV2FXT при конвертации истории с dukascopy спрашивает убрать ли атрибут "только для чтения", но при нажатии "да" он все равно остается.

Ошибка_тестера.jpg

[brs]

Сконвертированные котировки не совпадают с настройками сервера, или mt4config возможно от другого терминала

[machine]

Ну и что, что только для чтения. Так и должно быть.
Интересно, два почти одинаковых ника.

[dermitay]

Здравствуйте, такая проблема: пытаюсь сделать терминал для тестов на 99% через Tick data suite. Все делаю строго по инструкции _http://tradelikeapro.ru/kak-poluchit-kachestvo-modelirovaniya-99/ на чистый терминал. При попытке теста любого советника тестер жалуется что файл истории только для чтения, а если убрать этот атрибут, то при следующем тесте его размер становится 0 кб, и тестер говорит что нет истории. Кстати скрипт CSV2FXT при конвертации истории с dukascopy спрашивает убрать ли атрибут "только для чтения", но при нажатии "да" он все равно остается.

вобще неоднократно говорилось: крайне не рекомендуется подключаться к какому либо серверу на тестовом терминале. создай отдельный терем для тестов не подключайся ни к какому брокеру и серверу, пиши в нем совы и гоняй по котировкам тиксторилайт.

я "заморачиваюсь" еще круче: моя машинка оооочень мощная, а мт4 оооочень тупой в плане эффективного использования ресурсов железа. поэтому я создал в винде дополнительно несколько учетных записей пользователей. запускаю тикстори лайт от одного, далее запускаю тестер через тикстори и гоняю одну сову. после этого сворачиваю все, запускаю тикстори от имени другого пользователя(выделить ярлык, зажать шифт, потом правой кнопкой мыши и появится пункт запуска от другого пользователя, по умолчанию без танцев с бубуном эта фишка в винде не отображается) и шаги повторяются но уже с другой совой. и так делаю пока ЦПУ не загрузится тестами процентов на 70-80, пусть железо отрабатывает вложенное в него бабло пока я на работе пашу )))

[Rever27]

я "заморачиваюсь" еще круче: моя машинка оооочень мощная, а мт4 оооочень тупой в плане эффективного использования ресурсов железа. поэтому я создал в винде дополнительно несколько учетных записей пользователей.

Не понял, зачем для обычных тестов и оптимизации тебе нужно запускать программу Tickstory?
Я качаю через тикстори котировки в один терминал. Папку history расшариваю для остальных терминалов через SymlinkCreator. Итого у меня одни котировки доступны для всех терминалов.
Далее обычным способом открываю несколько терминалов и оптимизирую себе на здоровье. FXT файлы цепляются без запуска самого тикСтоки. А отсутствие надписи 99,9% качества я как нибудь переживу.

[dermitay]

я "заморачиваюсь" еще круче: моя машинка оооочень мощная, а мт4 оооочень тупой в плане эффективного использования ресурсов железа. поэтому я создал в винде дополнительно несколько учетных записей пользователей.

Не понял, зачем для обычных тестов и оптимизации тебе нужно запускать программу Tickstory?
Я качаю через тикстори котировки в один терминал. Папку history расшариваю для остальных терминалов через SymlinkCreator. Итого у меня одни котировки доступны для всех терминалов.
Далее обычным способом открываю несколько терминалов и оптимизирую себе на здоровье. FXT файлы цепляются без запуска самого тикСтоки. А отсутствие надписи 99,9% качества я как нибудь переживу.

описанный выше метод запускает один и тот же набор ПО под разными пользователями.
по-другому: запускаются дополнительные экземпляры одного и того же ПО. терем один и тот же. без дублирования и копирования. но твой подход тоже гуд =) доступ к хистори через ассоциативные ссылки на файлы, я правильно понял?) Изменено 28 октября, 2016 пользователем dermitay

[atb.dmitriy]

При работе с символьными ссылками у меня периодически возникали проблемы локов хистори файла, если все терминалы ломатся в один файл. Может счас, конечно, лучше стало.

Изменено 28 октября, 2016 пользователем atb.dmitriy

[Rever27]

я "заморачиваюсь" еще круче: моя машинка оооочень мощная, а мт4 оооочень тупой в плане эффективного использования ресурсов железа. поэтому я создал в винде дополнительно несколько учетных записей пользователей.

доступ к хистори через ассоциативные ссылки на файлы, я правильно понял?)

Да. Имхо это проще, чем запускат ьодин и тот же терминал под несколькими юзерами.

При работе с символьными ссылками у меня периодически возникали проблемы локов хистори файла, если все терминалы ломатся в один файл. Может счас, конечно, лучше стало.

Ни разу не пробовал одну пару использовать сразу на нескольких терминалах, зачем? ) Изменено 1 ноября, 2016 пользователем Rever27

[atb.dmitriy]

Ни разу не пробовал одну пару использовать сразу на нескольких терминалах, зачем? )

Сколько людей, столько и подходов к оптимизации.. Рад что вам не пришлось с этим сталкиваться.

[usver73]

Скажите, пожалуйста, как считаются результаты тестирования в МТ4 на кросс-парах (напр. EURCHF)?
Тестирую на терминале неподключенном к счету, депозит в USD, котировки из TickStory...

Сам себе отвечу, может кому пригодится.
Немного предыстории: заморочился расчетом просадки по эквити в тестах. Скачал котировки интересующих кроссов и соответствующие им долларовые пары. Расчеты по "фэншую" дали большие расхождения с результатами из тестера. Надоумили покопать в сторону TICKVALUE. Сколько для себя интересного узнал! :)
Котировка долларовой пары берется из последнего подключения в ДЦ.
На примере тестирования AUDJPY в 2015 году: депозит в USD, в 2015 диапазон USDJPY был 115-125.
В терминале у меня зафиксировалась цена на июнь 2016 г. USDJPY=104.
В итоге результаты тестирования AUDJPY имеют погрешность до 20% :((
Что будет, если депо номинирован в EUR, даже посчитать страшно...
Опытные трейдеры/программисты наверняка это знают, а таким, как я может и будет полезно..

Изменено 16 ноября, 2016 пользователем usver73

[mihascor]

Может вопрос уже задавали, тогда извиняюсь.
Можно ли тестировать советник в МТ4, если в коде имеются запросы к таймсерии другого, отличного от тестируемого, инструмента? Или это под силу только МТ 5?

[AndreyGold]

Может вопрос уже задавали, тогда извиняюсь.
Можно ли тестировать советник в МТ4, если в коде имеются запросы к таймсерии другого, отличного от тестируемого, инструмента? Или это под силу только МТ 5?

Мультвалютное тестирование в МТ4 невозможно, а вот дергать какое-какую инфу с других инструментов, можно. Я бы на Вашем месте конкретно, то что Вам надо проверил бы в тестере.

[Rever27]

Мультвалютное тестирование в МТ4 невозможно, а вот дергать какое-какую инфу с других инструментов, можно.

На реале советник, установленный на какой либо паре легко может получить информацию о других валютах и открыть ордера, я проверял, все отлично работает. Но вот тестировать это не получится.
Мало того, если вы используете котировки .fxt 99% TDS или TS, то советник может получить данные только текущего ТФ, на котором идет тестирование, в отличие от котировок брокера .hst

[hanzo]

извините за глупый вопрос, но что-то не могу найти как решается. TickDataSuite не запускается говорит, что ключ дается только один раз на одну машину. Вроде все revoUninstaler'ом почистил, все остатки TDS удалил, переустановил... пофиг. Ну не хочу я 97$ платить)

[nixxer]

извините за глупый вопрос, но что-то не могу найти как решается. TickDataSuite не запускается говорит, что ключ дается только один раз на одну машину. Вроде все revoUninstaler'ом почистил, все остатки TDS удалил, переустановил... пофиг. Ну не хочу я 97$ платить)

Унинсталлер не в состоянии менять мак адрес сетевой карты

[hanzo]

Цитата

Унинсталлер не в состоянии менять мак адрес сетевой карты

спасибо большое, помогло

[atnet]

Унинсталлер не в состоянии менять мак адрес сетевой карты

nixxer , а нет способа имея оф.ключ продолжать получать обновления ? Почему то у меня при активной подписке были получены и работали последние беты, но потом перестали, говорит что последняя доступная версия 2.1.4, т.е. release

[Robby]

Почему то у меня при активной подписке были получены и работали последние беты, но потом перестали, говорит что последняя доступная версия 2.1.4, т.е. release

Так и есть, покупал на тот момент 2.1.7(бета) лицензия закончилась - откат на оф. 2.1.4 ((
По словам автора:
It's important to note that beta versions are not taken into consideration in the license limitation process.

Тут или продолжать ежемесячно проплачивать поддержку в 10$ или в любое иное время но уже за 29$

[maxand]

коллеги, никак не возьму в толк назначение параметра "Максимальная прибыль" в генетике.. :-?
понятно, если было бы "Минимальная прибыль", - тогда мы отсеяли бы результаты с меньшей, чем необходимо прибылью, но максимальная.. совершенно не в тему, имхо..
т.е. мы ведь наоборот ищем ее, - максимальную прибыль, - так зачем же ее резать данным параметром ?..