Releases: MosRat/got.cpp
Releases · MosRat/got.cpp
Got.cpp v0.1.1
Got.cpp v0.1.0
只支持Windows,Encoder使用DirectML Onnx,Decoder Qwen2模型使用llama.cpp q4 Vulkan推理
运行方式
- Rust 编写的cli使用静态链接 got.exe
- Python使用Ctypes的动态链接 got_ocr.py -> libocr.dll (要torch和onnxruntime)
- 模型放在同一目录或通过前两个参数传递encoder和decoder的path
- 依赖vulkan runtime vulkan-1.dll
- 显存占用3GB左右,4060 单图片 1.5s 左右出结果