Onnx

Open zakki opened this issue 11 months ago • 1 comments

推論部分をONNX Runtimeにしてみる実験しました。 Core(TM) i7-1355U では PyTorchでのCPU推論に比べて、ONNX RuntimeとDirectMLによる統合GPUによる推論で3～4倍速くらいになりそうです。

Jan 25 '25 05:01 zakki

"CoreMLExecutionProvider" でMacの人も高速化するかもしれません。 https://onnxruntime.ai/docs/execution-providers/CoreML-ExecutionProvider.html

Jan 25 '25 06:01 zakki