Сбор, скачивание, поиск тиковых данных для Forex

sibman

Активный участник
Ну, для ознакомления, разве что. Торговые условия там зверские, конечно. =)

Выглядит солидно. Сразу дают и под Linux. Умеют же, гады. =)
Сергей, для общего представления о протоколе FIX можешь оандовский букварь посмотреть. Только имей ввиду что это 4.2 4.4 (очень куцая выжимка, но для работы с ордерами хватает).
 

Вложения

  • FixSpecifications2.pdf
    837,1 КБ · Просмотры: 41

sibman

Активный участник
Серёга, тут лёгкий казус вышел. Оказывается FDK на С++ написан. Это они примеры на С# настрогали, чем меня и ввели в заблуждение. И самое приятное, там есть функционал, для закачки тиков, баров напрямую со шлюза. Так что пишешь утиль на С++ и грузишь котиры напрямую в свой любимый мускуль.
 

Sergey Kovalyov

Элитный участник
Я уже тоже выяснил это в личке с Денисом и хотел тебе сказать. =)
 

sibman

Активный участник
Я уже тоже выяснил это в личке с Денисом и хотел тебе сказать. =)
Внимательно поизучал примеры на С# и доку посмотрел. Я конечно не спец в .NET но общие принципы построения приложения понять можно.
Первое , что не понравилось, так это то, что из базового класса ушки FIX-а торчат. Такое ощущение , что это обертка вокруг него.

// create and initialize fix connection string builder
this.Builder = new FixConnectionStringBuilder();
this.Builder.TargetCompId = "EXECUTOR";
this.Builder.ProtocolVersion = FixProtocolVersion.TheLatestVersion.ToString();
this.Builder.SecureConnection = true;
this.Builder.TradingPlatformPort = 5004;

А если вспомнить , что Денис говорил, что 1000 пользователей заваливает гигабитный канал, то вывода 2 или они это перепишут или будут давать АПИ таким как hrenfx. Когда появится плюсовая обвязка вокруг ихнего АПИ, тогда можно более детально всё там раскопать. Но пока я не в восторге от того, что они предлагают.
 

Sergey Kovalyov

Элитный участник
Не знаю даже, что тебе на это сказать. Я еще не смотрел внутренности, но, в принципе, выводы твои и так понятны, если кто-то где-то работает с FIX и соотвественно называет методы. =)

Можно спросить Дениса в его ветке. Можно позвать Дениса сюда. И, наверное, самый лучший вариант, спросить в ветке FDK у них на форуме. Денис, все же, начальник, а не разработчик. У меня на их форуме ак уже пару месяцев как есть. Так что пошли туда? =)
 

sibman

Активный участник
Не знаю даже, что тебе на это сказать. Я еще не смотрел внутренности, но, в принципе, выводы твои и так понятны, если кто-то где-то работает с FIX и соотвественно называет методы. =)

Можно спросить Дениса в его ветке. Можно позвать Дениса сюда. И, наверное, самый лучший вариант, спросить в ветке FDK у них на форуме. Денис, все же, начальник, а не разработчик. У меня на их форуме ак уже пару месяцев как есть. Так что пошли туда? =)
Я думаю, надо подождать, когда они примеры и прототипы вызовов на С++ опишут к своему АПИ. С разработчиками надо предметно общаться в привычной среде, а то .NET для меня среда недружественная. Я тут выпаду в осадок приблизительно на месяц. Проект нужно сдавать. А потом можно плотно и этим АПИ заняться.
 

Sergey Kovalyov

Элитный участник
Да выпадай, я не против. Я сам удивился, что ты рьяно взялся за это дело. Мне первее свой робот чуть доделать, а потом смотреть уже этот API. FXOpen, кстати, через где-то месяц как раз на реал его давать собираются. И я думаю счет там к тому времени открыть или выиграть в конкурсе. =)

Окей, маякуй, как из осадка вернешься. Будем копать и ходить вопросы задавать к ним на форум.
 

Rolandoz

Почетный гражданин
Я обещал рассказать, как собирать тики в базу данных, чтобы потом всякую статистику считать, а если повозиться, то можно и тесты по ним гонять.

Так вот. Это будет первое -- пробное сообщение. Если интерес будет, то продолжим. =)

Дла начала выкладываю простенький советник, который сохраняет тики выбранной пары. Каждый тик сохраняется в отдельный файл. Какой файл, почему именно так сделано поговорим при наличии интереса со стороны читателей.
Здравствуйте ! Вопрос дилетанта : чем будут отличатся тики собранные саморучно (по Вашему советнику) от тех которые можно получить в Dukascopy>JForex >Historical Data Manaer??? И Вы пишите.. что если поднатужиться "то можно и тесты по ним гонять"....А зачем тогда их собирать если их не использовать в тестере? Думаю , что это главное с чего надо начинать - закачивание тиков(или истории) в МТ4 для тестов ( априори приняв что они УЖЕ скачаны где то) Извиняюсь если чего то не догнал.:question:
 

Sergey Kovalyov

Элитный участник
Ну, собирать их можно для
1. статистики, средний спред, выбросы, шпили все такое.
2. разбор полетов, если что-то глюкануло в роботе, то потиково посмотреть, что и как происходило
3. тест (это просто самое сложное =) )

Тики у каждой конторы разные. Этим и будут отличаться. В целом, конечно, плюс-минус будет одинаково, но для пипсеров даже эти плюс-минус важны, поэтому надо собирать в той конторе, где торгуешь.

Например, Альпари говорят, что Дука у них основной поставщик на ECN счетах. Вот можно свои тики собрать и сравнить с дукосовскими. И порадоваться, что все правда. Или задуматься. =)
 

Rolandoz

Почетный гражданин
Я почему обратил внимание на Вашу ветку - да потому что МТ4 предлагает загрузить историю через Download- получается какая то х**ня...потом имеется кнопка Import...но как и и что с ней делать тоже пока полной ясности нет. Скачал правда с Dukascopy историю но чего-то не получилось её вставить.. Кое-чего правда получилось - загрузились данные но с уикэндовскими флэтами что не устраивало -раз а во вторых хотелось больше..Взял всё стёр и пробовал по новой, но потом опять тестер эти данные не воспринимал, хотя по прокрутке графика всё вроде бы имелось как надо. И по тому такое предложение или просьба: у Вас есть готовых 3 или 5 или 10 шагов что надо сделать чтобы загрузить более-менее сносную историю с Dukasa в МТ4.Заранее спасибо.
 

Sergey Kovalyov

Элитный участник
И по тому такое предложение или просьба: у Вас есть готовых 3 или 5 или 10 шагов что надо сделать чтобы загрузить более-менее сносную историю с Dukasa в МТ4.Заранее спасибо.
http://tradelikeapro.ru/kak-poluchit-kachestvo-modelirovaniya-99/

У меня еще есть скрипт на Perl для автоматической скачки тиков с Дюкаса. Надо?
 

Sergey Kovalyov

Элитный участник
Выкладывать?! Выложить могу. Один раз. Скрипт. Скачанные тики регулярно выкладывать не буду. Возни много. =)
А скрипт, ок, выложу завтра-послезавра. Его надо чуть почистить и причесать код, он корявенький. =)
 

sergii

Активный участник
_http://eareview.net/tick-data/downloads

Проги для скачивания с Dukascopy в сжатом виде .bi5

_http://www.tickstory.com/ (удобнее создавать .csv)

_http://www.strategyquant.com/tickdatadownloader/ (удобнее скачивание, но скачивает не весь список пар)

Котировки.
_http://arbitrageurs.ru/forum/phpBB3/viewforum.php?f=8&sid=a0ffc335052c4d31430541272a7d12c3
_http://www.finam.ru/analysis/profile041CA00007/default.asp
 
Последнее редактирование модератором:

Sergey Kovalyov

Элитный участник
Вот-с, ловите. Скрипт, который у меня пашет в автомате уже несколько месяцев, качает тики с дукаса.
 

Вложения

  • dukascopy.zip
    1,6 КБ · Просмотры: 83

Sergey Kovalyov

Элитный участник
Тупой трейдерский сов, который умеет быстро открывать позы и быстро их закрывать (больше ничего не умеет). Пишет в лог время и проскальзывание. Вешаем его на график пары. С приходом первого тика запустится (почти) вечный цикл, и сов будет каждые 100ms проверять в experts\files\EURUSD (если повесили на EURUSD) наличие трех файлов. buy, sell, close

Идем в каталог experts\files\EURUSD и в командной строке далаем так (примеры для Linux, я не помню, какие там аналоги под винду, придумайте сами, как создать файл с именем buy и текстом "0.1"):

echo '0.1' > buy (тут же открывается поза на 0,1 лота)
touch close (создается пустой файл-сигнал 'close'; тут же закрывается любая первая попавшаяся поза по данной паре; magic добавляйте сами =) )
 

Вложения

  • debug.mqh
    667 байт · Просмотры: 45
  • trader.mq4
    3 КБ · Просмотры: 43

Sergey Kovalyov

Элитный участник
Вот-с, ловите. Скрипт, который у меня пашет в автомате уже несколько месяцев, качает тики с дукаса.
Кстати, он не только качает, но и парсит и делает нормальные CSV-файлы (можно в эксель, или еще хоть куда совать) с тиками.
 

sibman

Активный участник
Кстати, он не только качает, но и парсит и делает нормальные CSV-файлы (можно в эксель, или еще хоть куда совать) с тиками.

Серега,когда, только успеваешь кодить, и еще попутно баранов всяких воспитывать?! Эх жаль, что в сутках только 24 часа.
Посмотри тут интересная темка образовалась есть несколько месаджей интересных _http://www.mql5.com/ru/forum/10454/page48

Это к вопросу, зачем нужно тики собирать.
 

Sergey Kovalyov

Элитный участник
Серега,когда, только успеваешь кодить, и еще попутно баранов всяких воспитывать?! Эх жаль, что в сутках только 24 часа.
А это старые наработки. Сейчас кодинг в печенках и я ищу малейший повод от него отвлечься. Форум сразу тут как тут. =)

Посмотри тут интересная темка образовалась есть несколько месаджей интересных _http://www.mql5.com/ru/forum/10454/page48
Это к вопросу, зачем нужно тики собирать.
Там вся ветка неплохая, если сообщения "баранов" (коих там, конечно, много) пропускать. Я, кстати, с понедельника в FXOpen буду тоже. Тока тссс... это пока секрет. =)
 
Верх