Перейти к содержанию

Разработка методологии тестирования и доводки ботов на форуме


Рекомендуемые сообщения

Разработка методологии тестирования и доводки ботов на … Опубликовано

Уважаемый Старик!

Уверен, что многие форумчане не принимают участия в разработках Лаборатории не потому, что безынициативно сидят и ждут готовенького, а потому что не понимают, как охватить процесс тестирования и оптимизации от и до, не знают с какой стороны к нему подступиться, как интерпретировать результаты тестов и т.п. А если и прогонят бота на одной паре с какими-то настройками за какой-то период, то не знают, как встроить этот кусочек информации в общую картинку.

Я был в числе тестировщиков на проекте edmigo и могу сказать, что там в некоем виде была представлена структура управления проектом.

Формат заданий на тестирование был подходящим для новичков или людей, которые не являются опытными тестировщиками. Был прописан алгоритм тестирования и оптимизации (фактически пошаговый мануал «для чайников»), оптимизируемые пары и параметры распределялись между участниками, был создан файл с общим доступом для внесения результатов тестирования, которые потом централизовано анализировались.

Поэтому и результат (пусть и отрицательный в случае некоторых проектов) был достигнут довольно быстро.

На мой взгляд, форумным разработкам не хватает именно такой организации.

Мне видится, что разрыв есть не только во втором, как Вы сказали, но и в третьем элементе технологической цепочки производства. Нет этих 300+ пользователей с обратной связью даже на топ-10 форумных разработках, а если где-то и есть, то от них нет единообразно структурированных и приведенных к общему знаменателю результатов.

О чём этот спич.

Понятное дело, на форум не получится (да и не нужно) внедрить полноценную систему управления проектами, как в коммерческих организациях. Но такие элементы как разделение ТЗ на мелкие участки/этапы, их распределение и централизованный сбор данных сильно бы увеличили скорость разработок.

Если при участии патриархов форума это реализовать в Лаборатории (хотя бы на рекомендательной основе), я думаю, многие форумные проекты, забуксовавшие на полдороги, получат приток человеческих ресурсов и, вместе с тем, новый импульс развития.

Причём всё это ещё бы имело и гуманитарно-образовательную составляющую: человек, однажды поработавший в команде, пусть даже на небольшом участке и по прописанному алгоритму, в дальнейшем мог бы погружаться глубже в эту тему и работать с ней самостоятельно.

P.S. Прошу прощения, если излагаю здесь банальности, но мне кажется, что именно отсутствие этих моментов не позволяет привлекать максимальное количество человеческих и машинных ресурсов для работы над форумными проектами. И, соответственно получить долгожданный результат.

  • Лайк 25
Ссылка на сообщение
Поделиться на другие сайты

Разработка методологии тестирования и доводки ботов на … Опубликовано

//Немного разгребся с бытовухой, теперь с удовольствием читаю Старика))

Насчёт системы управления проектами, пускай даже в упрощённом виде, это интереснейшая вещь. Было бы хорошо, если бы кто-то выписал матрицу и процедуры сей технологии - куратора темы, сеньор программеров (хз как это по русски:), периодически привлечение программистов по узким вопросам, тестировщиков, ведение монторингов, ну вот чтобы всё это в кучку и системно. Не, ну мы-то и сами можем изобрести сей велосипед, всё-таки люди мы вроде как не самые глупые тут собрались) но было бы проще, если бы товарищи, имеющие опыт распределённой разработки, подсказали, из чего состоит велосипед и как едет:) чтобы более эффективно использовать вчислительные и интеллектуальные возможности коллектива.

  • Лайк 6
Ссылка на сообщение
Поделиться на другие сайты

Разработка методологии тестирования и доводки ботов на … Опубликовано


Спойлер


//Немного разгребся с бытовухой, теперь с удовольствием читаю Старика))

Насчёт системы управления проектами, пускай даже в упрощённом виде, это интереснейшая вещь. Было бы хорошо, если бы кто-то выписал матрицу и процедуры сей технологии - куратора темы, сеньор программеров (хз как это по русски:), периодически привлечение программистов по узким вопросам, тестировщиков, ведение монторингов, ну вот чтобы всё это в кучку и системно. Не, ну мы-то и сами можем изобрести сей велосипед, всё-таки люди мы вроде как не самые глупые тут собрались) но было бы проще, если бы товарищи, имеющие опыт распределённой разработки, подсказали, из чего состоит велосипед и как едет:) чтобы более эффективно использовать вчислительные и интеллектуальные возможности коллектива.




Я последние несколько лет именно управлением проектами и занимаюсь (инвестиционные проекты на предприятиях Росатома, для резюме), поэтому могу сказать, что имею некоторое представление о предмете. Но если представление о тестировании и оптимизации я уже какое-никакое получил, то о кухне разработчиков почти ничего не знаю. Поэтому, если я буду набрасывать свое видение этого дела, в процессе мне нужно будет тесно общаться с человеком в теме - с Вами, например.
  • Лайк 3
Ссылка на сообщение
Поделиться на другие сайты

Разработка методологии тестирования и доводки ботов на … Опубликовано (изменено)

Коллеги, всё даже лучше, чем я ожидал!

Системный подход к этому вопросу - это именно то, что необходимо, чтобы максимально реализовать огромный творческий и человеческий потенциал нашего ресурса.
Мы можем и должны поставить процесс создания прибыльных ТС и прибыльных ботов на научную основу и использовать современные методологии разработки программных продуктов.

Уверен, что к проработке данного вопроса, кроме уважаемых коллег eskandar и Мерлин, подключатся и другие опытные форумчане, имеющие навыки и участвовавшие в разработках программных систем разной сложности.
Причем к обсуждению приглашаются опытные трейдеры-ручника, люди со знаниями из других областей, а также предприниматели с навыками создания успешных бизнесов.
Форум обладает огромным интеллектуальным потенциалом и будут приветствоваться все, кому есть что сказать и показать! l-)


Сейчас же я хочу отметить пару тактических нюансов.

Во-первых, то, что мы планируем разработать методологию оптимальной разработки прибыльных программных продуктов форума, ни в коем случае не означает, что теперь мы удобней садимся на диван и месяц-другой просто ждем эту методологию.
Лучшее смертельный враг не только хорошего, но иногда и вообще всего дела и всей прибыли в целом.
Методология разработки программных продуктов критично важна для нас - но её проработка потребует времени, которое нельзя упускать.
Осень-зима в торгах могут быть очень, чрезвычайно тяжелыми.
Программисты уже выполнили огромную часть серьезной и квалифицированной работы, создав и выложив на форуме боевые прототипы потенциально прибыльных ботов.
Этих ботов надо изучать, всесторонне тестировать, делать предложения по доработке, давать разработчикам критично важную для проектов обратную связь с пользователями.
И это наша часть работы! Наша - не программистов!
Поэтому, не останавливаясь и не впадая в прострацию в ожидании некой универсальной методологии тестирования, идем в топики прямо сейчас и начинаем тестировать ботов уж как умеем!
Методология крайне нужна, она будет создана и подтянется - но на это нужно время.
Пока же идем в топики и двигаем разработки прибыльных ботов вперед так, как делали это во все предшествующие годы!

Во-вторых, поднятая тема, вне всяких сомнений, предмет для специального и отдельного топика в Лаборатории.
Пока пишем в этом топике.
а ночью или завтра, начиная с моего предыдущего поста, я перенесу всю инфу в новый топик в Лаборатории.
В котором мы и попробуем разработать методологию, оптимальную технологию создания прибыльных ботов на нашем форуме.

Изменено пользователем Старик
  • Лайк 14
Ссылка на сообщение
Поделиться на другие сайты

Разработка методологии тестирования и доводки ботов на … Опубликовано

Парень создал тему по созданию бота, обвел всех вокруг пальца, убежал с черным ящиком в руках... Все было подумали - опять мы не у дел!? А польза-то от "псевдоплохих" людей тоже есть - главное с нужной стороны на них смотреть. Интересно получается, к чему пришли!)) =d> =d> =d>. Давайте развивать, конечно, это очень круто, на самом деле!

  • Лайк 2
Ссылка на сообщение
Поделиться на другие сайты

Разработка методологии тестирования и доводки ботов на … Опубликовано

как мне кажется разрубить вот этот Гордиев узел между разрабами и юзерами/пользователями не то чтобы сложно, а в принципе нереально.
и дело не в пропасти знаний между программистом и пользователем, а в банальном человеческом факторе - лени.
ты, Старик, часто говоришь мне что я слишком популярно описываю алгоритмы своих проектов, ну а как еще донести нужную инфу до пользователя почему сов ведет себя в одной ситуации так, а другой, вроде бы такой же, абсолютно иначе?

в этом и кроется диабло:
1. чтобы понять суть/принять активное участие в помощи разрабу нужно прочитать то что программист пишет.
2. программист обычно пишет много, и дело не в том что нас так прикалывает писать полотна - это наши будни, писать полотна, хоть и не всегда эффективного, но кода))
3. в итоге человек видит перед собой ответ разраба - "кирпич инфы" и как у любого нормального человека у него пропадает желание вобще заниматься сим проектом. потому что "лень читать". лень понимать.

то есть... у форумчан нет четкого понимания, что зарабатывающий код - это не простой код и не простой алгоритм, шаги которого умещаются в двух строчках.
и что программисту не нужна помощь в оптимизации "спреда/тп/сл/ТФ", он сам не дурак и вполне оптит эти параметры уже при написании кода.

ему нужна помощь в оптимизации более сложных понятий, на уровне абстракций/алгоритмов, в суть которых вникать желание появляется не у каждого, да и ,честно говоря, дано далеко не каждому.

  • Лайк 4
Ссылка на сообщение
Поделиться на другие сайты

Разработка методологии тестирования и доводки ботов на … Опубликовано (изменено)

Приветствую, джентльмены!

Уважаемый dermitay,
глубинное противоречие между разработчиками и юзерами, о котором Вы говорите, безусловно имеет место. Но диалектические противоречия по Гегелю являются движущей силой развития. l-) :) К тому же, не хочется закрывать едва зародившуюся тему. Поэтому давайте лучше попробуем её развить.

Да, простым пользователям действительно никак не вникнуть в суть того, что делает программист (а те, кто вникают - явно не простые пользователи). И вряд ли эти самые простые пользователи могут помочь программисту на этапе разработки алгоритма.

Именно поэтому здесь и имеет смысл основательно подойти к разделению задач и организации рабочего процесса.

Повторю мысль из своего предыдущего поста: я считаю, что на этапе тестирования и доводки простые пользователи, при должном уровне организации, могут значительно сократить время тестов. То есть помочь разработчику быстрее отделить зёрна от плевел и двигаться дальше.

На этом заканчиваю вступительную часть и начинаю излагать видение организационной стороны процесса тестирования и доводки советника со своей юзерской колокольни.

Перво-наперво давайте определимся с ролями участников проекта.

Роли в проекте


Вводные допущения

Имеется советник с рабочим алгоритмом ("боевой прототип" по определению Старика). Необходимо провести тестирование и оптимизацию для достижения неких целевых показателей по прибыльности, просадке, матожиданию и т.п.

Исходя из этого, роли в проекте мне представляется следующим образом:

1. Руководитель проекта (чаще всего автор ТС или разработчик советника по ТС, или и то и другое сразу). Единственный и неповторимый.
- инициирует проект;
- определяет содержание проекта: формулирует основную идею оптимизации и устанавливает желаемые целевые показатели;
- оценивает результаты тестирования и оптимизации, принимает решение о завершении проекта или проведении ещё одного цикла тестов;
- вносит изменения в код, выпускает версии советника.

2. Пул аналитиков (опытные активные тестировщики). 2-10 человек. Кто-то может быть со-разработчиком, фактически заместителем руководителя проекта.
- предлагают свои идеи для оптимизации советника;
- дорабатывают и развивают идеи разработчика;
- осуществляют первичное тестирование идей (до запуска в «массового» тестирования);
- формулируют ТЗ для массового тестирования, разбивают его на временнЫе этапы и содержательные участки;
- анализируют результаты тестирования.

3. Администратор проекта. 1 человек.
- организует набор тестировщиков в проект;
- анализирует потребность человеческих и машинных ресурсов исходя из ТЗ;
- распределяет задачи между участниками тестов;
- создает и поддерживает необходимую инфраструктуру информационных ресурсов для учета результатов тестирования;
- контролирует своевременность и полноту вносимых результатов;
- контролирует наличие тестировщиков на всех участках, в случае необходимости находит замену выпавшим из процесса.

4. Методист – Tech Support. 1 человек.
- разрабатывает пошаговый мануал для тестировщиков (алгоритм от и до – установка файлов советника и вспомогательных файлов, подкачка истории котировок, порядок действий в тестере стратегий, критерии отбора результатов и т.п.), желательно с картинками;
- оперативно отвечает на вопросы участников по процессу тестирования, при необходимости вносит изменения в мануал;
- контролирует корректность результатов тестирования.

5. Тестировщики (рядовые пользователи). Чем больше, тем лучше.
- записываются на участие в проекте;
- проводят тестирование и оптимизацию в соответствии с прописанной методикой.
- своевременно вносят результаты в общую таблицу.

Разумеется, это всё функциональные единицы, а не живые люди, т.е. кто-то из пула аналитиков, например, вполне может быть одновременно выполнять функцию администратора проекта - было бы желание и возможности.



Ниже привожу свое видение схемы взаимодействия участников проекта в виде классических плавательных дорожек.

Схема взаимодействия участников проекта





Итого:
1. Такая схема работы делает процесс тестирования доступным и понятным даже новичку, что позволяет привлечь в проект максимальное количество ресурсов.
2. Роли администратора и методиста ставят процесс тестирования на поток и разгружают разработчика.
3. Результаты тестов получаются единообразными и систематизированными, что упрощает их анализ.


P.S. Хотел сначала приватно поделиться своими набросками с кем-нибудь из разработчиков нашего форума, чтобы сперва получить порцию критики и определиться с терминами, а потом уже выложить доработанный вариант для публичного обсуждения. Но вижу, что тема затихла, поэтому выкладываю первый драфт как есть - может, его недочёты спровоцируют бурную дискуссию, в которой родится истина. :)

P.P.S. На случай, если кому-нибудь захочется поправить что-то в моих художествах или просто порисовать в том же формате, прилагаю слайд в ppt.

2016-08-24_optimization_process.zip

Изменено пользователем eskandar
  • Лайк 12
Ссылка на сообщение
Поделиться на другие сайты

Разработка методологии тестирования и доводки ботов на … Опубликовано (изменено)

Eskandar, очень круто! Я бы дорисовал, но боюсь своей некомпетентностью все поломать. К примеру, возьмем этот вариант развития событий, предложенный выше. Я думаю, нужно действовать по циклическому принципу. Придумали - реализовали - проанализировали - сделали поправки - реализовали и т.д. Как обычно в проектах больших компаний, неважно каких. Сейчас нужно определиться с базовой схемой, и на первом этапе придерживаться ее. Далее уже было бы очень прикольно (не знаю еще, какое слово даже лучше сюда подошло :))) сделать на форуме так, чтобы было видно, на каком этапе разработки находится робот. Т.е. согласно схеме. К примеру, я хочу быть просто тестировщиком - зачем мне кучу раз смотреть ветку робота и ждать, когда же начнется этап тестирования по мануалам и записываться, дабы не теребить админа проекта - я вижу опа! советник переместился в раздел (ну или еще какое-то отличительное обозначение ветки) тестирования. Можно даже на время проекта присваивать людям типа значков учетных записей - тестировщик, руководитель, аналитик и т.д.. Многие боятся за авторские права или то, что ботов воруют плохие люди - сделать вход на ветки ограниченными, допустим по количеству сообщений форумчанина, его рейтингу, может времени после регистрации (тут могу и я не попасть :-o) - тут вариантов много. Открытость бота - обязательно! Ну да ладно, я уже далеко вперед забегаю и лезу в дела админов сайта. Лично мое мнение - эта идея ужасно перспективна, просто неимоверно ужасно. Давайте пробовать!

Изменено пользователем Arius777
Ссылка на сообщение
Поделиться на другие сайты

Разработка методологии тестирования и доводки ботов на … Опубликовано
Arius777,
спасибо за лестную оценку, но первая версия по определению не может быть исчерпывающей. Наверняка есть пробелы или логические несостыковки. Так что любые рассуждения поверх моих набросков очень даже приветствуются, не стесняйтесь дорисовать! :)

К тому же, повторюсь, это моё юзерское видение, и для полноты картины неплохо бы услышать мнение разработчиков.

Насчет сводной информации по стадиям тестирования ботов, присвоении ролей, раздачи значков и прочего - поддерживаю. В перспективе мне видится дэшборд с перечнем разработок Лаборатории, где будет отображаться статус по основным данным: кто разработчик, администратор, сколько тестировщиков занято на проекте, сколько еще требуется, плановая дата начала следующего этапа тестирования и т.п.

Но это я действительно забегаю вперед.

Давайте разберемся сначала с текущим этапом. Ближайшие действия, как мне представляется - прийти к более-менее единому видению оптимальной схемы тестирования бота, и, не откладывая, обкатать её на пилотном проекте. А дальше уже по результатам делать выводы, расширять и углублять. Если схема покажет хорошие результаты по продуктивности (а иначе и быть не может) - больше форумчан включится в наш процесс.

Так что, ещё раз - приветствуются критические размышления.
  • Лайк 3
Ссылка на сообщение
Поделиться на другие сайты

Разработка методологии тестирования и доводки ботов на … Опубликовано (изменено)
eskandar +
не откладывая, обкатать её на пилотном проекте.

И проект новый создавать не надо ,уже существует "Generic A-TLP" его с 100% уверенностью можно назвать
проектом этого форума,проект есть порядку нет ,одну стадию разработка прошли ,наступила
другая стадия тестирование и оптимизация и начались трудности
1) множество версий (нужно было как то контролировать стадию разработка )
2) толпа пользователей бросилась оптить и тестить не понятно какие версии с какими параметрами на каких котировках с каким спредом и тд и тп ,смешно будет если найдутся баги в коде и все результаты оптимизаций станут не достоверными



что касается публикаций чего либо в разделе Лаборатория ProfitFX должно сопровождаться обязательной
отправкой исходного кода модераторам на хранение на случай форс мажоров описанных выше но и права
разработчиков тоже надо как то соблюдать как и права пользователей принявших в работе над проектом,
если это индивидуальная разработка то и о добавление чего либо должен принимать автор так как у него
есть своё видение проекта ,и он "заказывает музыку" не помню где точно вроде с Arius777 было что то подобное с расчётом лота в его проекте, где друг друга не поняли пользователь и автор еще и модератор
вмешался

пользователь в любом случае в более выгодной позиции, какой не какой продукт есть ,описание есть ,предварительные наработки есть можно спокойно создать ТЗ с плюшками,и создать свой проект благо
это сейчас более чем доступно

исходный код в свободном доступе зло налепят модов накидают в кучу ,либо растащат по всей сети
(два года назад на одном ресурсе пару раз бан схлопотал доказывая что паук спертый с этого сайта работает на зигзаге и то человек только через две недели удосужился прочитать тему от корки до корки,пустяк но осадок остался )

это так мысли в слух пускай побудет денёк потом Delete

Изменено пользователем pegaskrs
  • Лайк 1
Ссылка на сообщение
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти
×
×
  • Создать...