HAMi icon indicating copy to clipboard operation
HAMi copied to clipboard
verified publisher icon Project-HAMi

切分的颗粒度是多少？

Open janetat opened this issue 1 year ago • 4 comments

问题

  1. 算力、显存的切割颗粒度是多少呢？是否支持1%算力切割。
  2. 怎么验证算力切割颗粒度

janetat avatar Sep 05 '24 08:09 janetat

device memory: 1M core util:1%

you can run a tensorflow-benchmark and compare the images/s result between 100% util and 50% util

archlitchi avatar Sep 05 '24 08:09 archlitchi

  1. 如果设置的是1%的算力限制的话，tensorflow-benchmark能测试出来么？
  2. 是一个周期内平均下来的吞吐率是1%吗？

janetat avatar Sep 05 '24 08:09 janetat

  1. 如果设置的是1%的算力限制的话，tensorflow-benchmark能测试出来么？
  2. 是一个周期内平均下来的吞吐率是1%吗？

yes to 2 questions

archlitchi avatar Sep 09 '24 03:09 archlitchi

hi @archlitchi, 请问是否存在这样的算力控制现象：GPU算力单元的利用率会超过设置的值（比如单卡切分为2卡，显存是控制住了50%，但某一张虚拟卡的算力利用率会在一些小时间段内超过50%）

jessehu avatar Oct 07 '24 07:10 jessehu