real-time-fxcm icon indicating copy to clipboard operation
real-time-fxcm copied to clipboard

🚩🔆🏹🌟👊🚀🦔大秦赋:中科红旗,高频量化;不负韶华,只争朝夕。

Open englianhu opened this issue 1 year ago • 0 comments

引用/借喻

  • https://github.com/englianhu/binary.com-interview-question/issues/1 use sparklyr but believe dataset not high-volume, will apply to HFT in https://github.com/englianhu/binary.com-interview-question
> microbenchmark(
+     spark = 
+         smp2_sc %>% 
+             ml_linear_regression(Profit ~ .), 
+     normal = lm(Profit ~., smp2))
Unit: milliseconds
   expr       min         lq       mean    median        uq       max neval
  spark 3213.3874 3416.97000 3620.63197 3558.2209 3774.3810 5413.4950   100
 normal   24.5953   27.57015   29.66484   28.7103   30.0822   87.2707   100
> microbenchmark(
+     spark = 
+         smp2_sc %>% 
+             ml_linear_regression(Profit ~ .), 
+     normal = lm(Profit ~., smp2))
Unit: milliseconds
   expr       min         lq       mean     median         uq       max neval
  spark 3223.9533 3372.34675 3512.10774 3491.44990 3589.48430 4277.6933   100
 normal   25.6651   27.14775   28.81245   28.06895   29.51575   49.0671   100

here's reference to speed up lm:

  • https://rpubs.com/maechler/fast_lm
  • https://stackoverflow.com/questions/25416413/is-there-a-faster-lm-function
  • Originally posted by @englianhu in https://github.com/englianhu/report/issues/9#issuecomment-723305752

礼逆袭操作系统(高频量化对冲)

linux需要多大读写速度的硬盘? 争议一般6-10g,建议20g以上。 由于linux的内核的来源是一样的, 但由于发行版本不同,具体需要磁盘大小看具体系统需求。 linux内核比较小, 安装系统其实用不了多大的磁盘空间,不像max os和windows 。为了获得完整的用户体验, 建议磁盘空间保证在20g以上,如果需要安装很多软件和服务,那么自然就要扩大磁盘容量了。当然也可以在系统装好之后扩充磁盘容量, 但为了避免麻烦和数据损失, 建议在安装时多分一点儿空间。

linux磁盘读写最大支持多少? linux磁盘读写速度是由磁盘类型决定的,机械硬盘最大在7500转/秒,sata固态最大在6G/S,而m2固态可达到10G/S。

相关文献

  • https://github.com/englianhu/library/issues/3
  • https://github.com/scibrokes/r-world/issues/1
  • https://github.com/scibrokes/owner/issues/4
  • https://github.com/scibrokes/setup-centOS7-DO/issues/2
  • https://github.com/englianhu/binary.com-interview-question-data/issues/3

englianhu avatar Mar 11 '23 10:03 englianhu