Skip to content

Releases: MosRat/got.cpp

Got.cpp v0.1.1

13 Jan 16:27
256ec3c

Choose a tag to compare

  • Cpp build workflow
  • Better cli
  • Longer context = 1024 for larger image and text

Got.cpp v0.1.0

09 Jan 16:07

Choose a tag to compare

只支持Windows,Encoder使用DirectML Onnx,Decoder Qwen2模型使用llama.cpp q4 Vulkan推理

运行方式

  • Rust 编写的cli使用静态链接 got.exe
  • Python使用Ctypes的动态链接 got_ocr.py -> libocr.dll (要torch和onnxruntime)
  • 模型放在同一目录或通过前两个参数传递encoder和decoder的path
  • 依赖vulkan runtime vulkan-1.dll
  • 显存占用3GB左右,4060 单图片 1.5s 左右出结果