Merge pull request #36 from ziqi-jin/develop

Merge develop to ppmodnet

Author: ziqi-jin

CMakeLists.txt

@@ -51,6 +51,7 @@ option(ENABLE_VISION_VISUALIZE "Whether to enable visualize vision model result
 option(ENABLE_TEXT "Whether to enable text models usage." OFF)
 option(WITH_TESTING "Whether to compile with unittest." OFF)
 option(OPENCV_DIRECTORY "User can specify the installed opencv directory.")
+option(ORT_DIRECTORY "User can specify the installed onnxruntime directory.")
 
 # Please don't open this flag now, some bugs exists.
 # option(ENABLE_OPENCV_CUDA "Whether to enable opencv with cuda, this will allow process image with GPU." OFF)

FastDeploy.cmake.in

@@ -13,6 +13,7 @@ set(ENABLE_TEXT @ENABLE_TEXT@)
 # set(ENABLE_OPENCV_CUDA @ENABLE_OPENCV_CUDA@)
 set(LIBRARY_NAME @LIBRARY_NAME@)
 set(OPENCV_DIRECTORY @OPENCV_DIRECTORY@)
+set(ORT_DIRECTORY @ORT_DIRECTORY@)
 
 set(FASTDEPLOY_LIBS "")
 set(FASTDEPLOY_INCS "")
@@ -26,7 +27,13 @@ find_library(FDLIB ${LIBRARY_NAME} ${CMAKE_CURRENT_LIST_DIR}/lib NO_DEFAULT_PATH
 list(APPEND FASTDEPLOY_LIBS ${FDLIB})
 
 if(ENABLE_ORT_BACKEND)
-  find_library(ORT_LIB onnxruntime ${CMAKE_CURRENT_LIST_DIR}/third_libs/install/onnxruntime/lib NO_DEFAULT_PATH)
+  if (ORT_DIRECTORY)
+    set(ORT_LIB_PATH ${ORT_DIRECTORY}/lib)
+  else()
+    set(ORT_LIB_PATH ${CMAKE_CURRENT_LIST_DIR}/third_libs/install/onnxruntime/lib)
+  endif()
+  message(STATUS "The path of ONNXRuntime is ${ORT_LIB_PATH}.")
+  find_library(ORT_LIB onnxruntime ${ORT_LIB_PATH}  NO_DEFAULT_PATH)
   list(APPEND FASTDEPLOY_LIBS ${ORT_LIB})
 endif()
 
@@ -81,6 +88,7 @@ if(ENABLE_VISION)
   if (OPENCV_DIRECTORY)
     set(OpenCV_DIR ${OPENCV_DIRECTORY})
   endif()
+  message(STATUS "The path of OpenCV is ${OpenCV_DIR}.")
   find_package(OpenCV REQUIRED PATHS ${OpenCV_DIR})
   list(APPEND FASTDEPLOY_INCS ${OpenCV_INCLUDE_DIRS})
   list(APPEND FASTDEPLOY_LIBS ${OpenCV_LIBS})

README_CN.md

@@ -19,12 +19,26 @@ set(ONNXRUNTIME_PREFIX_DIR ${THIRD_PARTY_PATH}/onnxruntime)
 set(ONNXRUNTIME_SOURCE_DIR
     ${THIRD_PARTY_PATH}/onnxruntime/src/${ONNXRUNTIME_PROJECT})
 set(ONNXRUNTIME_INSTALL_DIR ${THIRD_PARTY_PATH}/install/onnxruntime)
-set(ONNXRUNTIME_INC_DIR
-    "${ONNXRUNTIME_INSTALL_DIR}/include"
+
+if (ORT_DIRECTORY)
+  message(STATUS "Use the onnxruntime lib specified by user. The ONNXRuntime path: ${ORT_DIRECTORY}")
+  STRING(REGEX REPLACE "\\\\" "/" ORT_DIRECTORY ${ORT_DIRECTORY})
+  set(ONNXRUNTIME_INC_DIR
+    "${ORT_DIRECTORY}/include"
     CACHE PATH "onnxruntime include directory." FORCE)
-set(ONNXRUNTIME_LIB_DIR
-    "${ONNXRUNTIME_INSTALL_DIR}/lib"
+
+  set(ONNXRUNTIME_LIB_DIR
+    "${ORT_DIRECTORY}/lib"
     CACHE PATH "onnxruntime lib directory." FORCE)
+else()
+  message(STATUS "Use the default onnxruntime lib. The ONNXRuntime path: ${ONNXRUNTIME_INSTALL_DIR}")
+  set(ONNXRUNTIME_INC_DIR
+      "${ONNXRUNTIME_INSTALL_DIR}/include"
+      CACHE PATH "onnxruntime include directory." FORCE)
+  set(ONNXRUNTIME_LIB_DIR
+      "${ONNXRUNTIME_INSTALL_DIR}/lib"
+      CACHE PATH "onnxruntime lib directory." FORCE)
+endif()
 set(CMAKE_BUILD_RPATH "${CMAKE_BUILD_RPATH}" "${ONNXRUNTIME_LIB_DIR}")
 
 set(ONNXRUNTIME_VERSION "1.12.0")
@@ -68,34 +82,36 @@ include_directories(${ONNXRUNTIME_INC_DIR}
 
 if(WIN32)
   set(ONNXRUNTIME_LIB
-      "${ONNXRUNTIME_INSTALL_DIR}/lib/onnxruntime.lib"
-      CACHE FILEPATH "ONNXRUNTIME static library." FORCE)
+      "${ONNXRUNTIME_LIB_DIR}/onnxruntime.lib"
+      CACHE FILEPATH "ONNXRUNTIME shared library." FORCE)
 elseif(APPLE)
   set(ONNXRUNTIME_LIB
-      "${ONNXRUNTIME_INSTALL_DIR}/lib/libonnxruntime.dylib"
-      CACHE FILEPATH "ONNXRUNTIME static library." FORCE)
+      "${ONNXRUNTIME_LIB_DIR}/libonnxruntime.dylib"
+      CACHE FILEPATH "ONNXRUNTIME shared library." FORCE)
 else()
   set(ONNXRUNTIME_LIB
-      "${ONNXRUNTIME_INSTALL_DIR}/lib/libonnxruntime.so"
-      CACHE FILEPATH "ONNXRUNTIME static library." FORCE)
+      "${ONNXRUNTIME_LIB_DIR}/libonnxruntime.so"
+      CACHE FILEPATH "ONNXRUNTIME shared library." FORCE)
 endif()
 
-ExternalProject_Add(
-  ${ONNXRUNTIME_PROJECT}
-  ${EXTERNAL_PROJECT_LOG_ARGS}
-  URL ${ONNXRUNTIME_URL}
-  PREFIX ${ONNXRUNTIME_PREFIX_DIR}
-  DOWNLOAD_NO_PROGRESS 1
-  CONFIGURE_COMMAND ""
-  BUILD_COMMAND ""
-  UPDATE_COMMAND ""
-  INSTALL_COMMAND
-    ${CMAKE_COMMAND} -E remove_directory ${ONNXRUNTIME_INSTALL_DIR} &&
-    ${CMAKE_COMMAND} -E make_directory ${ONNXRUNTIME_INSTALL_DIR} &&
-    ${CMAKE_COMMAND} -E rename ${ONNXRUNTIME_SOURCE_DIR}/lib/ ${ONNXRUNTIME_INSTALL_DIR}/lib &&
-    ${CMAKE_COMMAND} -E copy_directory ${ONNXRUNTIME_SOURCE_DIR}/include
-    ${ONNXRUNTIME_INC_DIR}
-  BUILD_BYPRODUCTS ${ONNXRUNTIME_LIB})
+if (NOT ORT_DIRECTORY)
+  ExternalProject_Add(
+    ${ONNXRUNTIME_PROJECT}
+    ${EXTERNAL_PROJECT_LOG_ARGS}
+    URL ${ONNXRUNTIME_URL}
+    PREFIX ${ONNXRUNTIME_PREFIX_DIR}
+    DOWNLOAD_NO_PROGRESS 1
+    CONFIGURE_COMMAND ""
+    BUILD_COMMAND ""
+    UPDATE_COMMAND ""
+    INSTALL_COMMAND
+      ${CMAKE_COMMAND} -E remove_directory ${ONNXRUNTIME_INSTALL_DIR} &&
+      ${CMAKE_COMMAND} -E make_directory ${ONNXRUNTIME_INSTALL_DIR} &&
+      ${CMAKE_COMMAND} -E rename ${ONNXRUNTIME_SOURCE_DIR}/lib/ ${ONNXRUNTIME_INSTALL_DIR}/lib &&
+      ${CMAKE_COMMAND} -E copy_directory ${ONNXRUNTIME_SOURCE_DIR}/include
+      ${ONNXRUNTIME_INC_DIR}
+    BUILD_BYPRODUCTS ${ONNXRUNTIME_LIB})
+endif()
 
 add_library(external_onnxruntime STATIC IMPORTED GLOBAL)
 set_property(TARGET external_onnxruntime PROPERTY IMPORTED_LOCATION ${ONNXRUNTIME_LIB})

README_EN.md

@@ -29,7 +29,7 @@ RuntimeOption(
   device_id : 0                        # 推理硬件id（针对GPU）
   model_file : yolov5s.onnx            # 模型文件路径
   params_file :                        # 参数文件路径
-  model_format : Frontend.ONNX         # 模型格式
+  model_format : ModelFormat.ONNX         # 模型格式
   ort_execution_mode : -1              # 前辍为ort的表示为ONNXRuntime后端专用参数
   ort_graph_opt_level : -1
   ort_inter_op_num_threads : -1
@@ -57,7 +57,7 @@ RuntimeOption(
 > * **device_id**(int): 设备id，在GPU下使用
 > * **model_file**(str): 模型文件路径
 > * **params_file**(str): 参数文件路径
-> * **model_format**(Frontend): 模型格式, `fd.Frontend.PADDLE`/`fd.Frontend.ONNX`
+> * **model_format**(ModelFormat): 模型格式, `fd.ModelFormat.PADDLE`/`fd.ModelFormat.ONNX`
 > * **ort_execution_mode**(int): ORT后端执行方式，0表示按顺序执行所有算子，1表示并行执行算子，默认为-1，即按ORT默认配置方式执行
 > * **ort_graph_opt_level**(int): ORT后端图优化等级；0：禁用图优化；1：基础优化 2：额外拓展优化；99：全部优化； 默认为-1，即按ORT默认配置方式执行
 > * **ort_inter_op_num_threads**(int): 当`ort_execution_mode`为1时，此参数设置算子间并行的线程数
@@ -100,7 +100,7 @@ model = fd.vision.classification.PaddleClasModel(
 > * **device_id**(int): 设备id，在GPU下使用
 > * **model_file**(string): 模型文件路径
 > * **params_file**(string): 参数文件路径
-> * **model_format**(fastdeploy::Frontend): 模型格式, `Frontend::PADDLE`/`Frontend::ONNX`
+> * **model_format**(fastdeploy::ModelFormat): 模型格式, `ModelFormat::PADDLE`/`ModelFormat::ONNX`
 > * **ort_execution_mode**(int): ORT后端执行方式，0表示按顺序执行所有算子，1表示并行执行算子，默认为-1，即按ORT默认配置方式执行
 > * **ort_graph_opt_level**(int): ORT后端图优化等级；0：禁用图优化；1：基础优化 2：额外拓展优化；99：全部优化； 默认为-1，即按ORT默认配置方式执行
 > * **ort_inter_op_num_threads**(int): 当`ort_execution_mode`为1时，此参数设置算子间并行的线程数

cmake/onnxruntime.cmake

@@ -1,7 +1,7 @@
 # 简介
 
 本文档介绍FastDeploy中的模型SDK，在ARM Linux C++环境下 ： （1）推理部署步骤； （2）介绍模型推流全流程API，方便开发者了解项目后二次开发。
-其中ARM Linux Python请参考[ARM Linux Python环境下的推理部署](./ARM-Linux-Python-SDK-Inference.md)文档。
+其中ARM Linux Python请参考[ARM Linux Python环境下的推理部署](./arm_linux_python_sdk_inference.md)文档。
 
 **注意**：部分模型（如Tinypose、OCR等）仅支持图像推理，不支持视频推理。
 
@@ -88,7 +88,7 @@
 
 1. 【OCR需要编译】因为OCR任务的特殊性，本次SDK没有提供bin文件夹可执行文件。开发者根据需要，满足文档中gcc和cmake要求后，在`src/demo*`路径编译获取可执行文件，具体可参考。
 2. 【OCR仅支持图像推理，不支持视频流推理】
-3. ARM-Linux-Python的环境要求和使用，请参考[ARM Linux Python环境下的推理部署](./ARM-Linux-Python-SDK.md)文档。
+3. ARM-Linux-Python的环境要求和使用，请参考[ARM Linux Python环境下的推理部署](./arm_linux_python_sdk_inference.md)文档。
 
 ## 2. 测试Demo
 

docs/api/runtime_option.md

@@ -1,7 +1,7 @@
 # 简介
 
 本文档介绍FastDeploy中的模型SDK，在ARM Linux C++环境下：（1）服务化推理部署步骤；（2）介绍模型推流全流程API，方便开发者了解项目后二次开发。
-其中ARM Linux Python请参考[ARM Linux Python环境下的HTTP推理部署](./ARM-Linux-Python-SDK-Serving.md)文档。
+其中ARM Linux Python请参考[ARM Linux Python环境下的HTTP推理部署](./arm_linux_python_sdk_serving.md)文档。
 
 **注意**：部分模型（如OCR等）不支持服务化推理。
 

docs/arm_cpu/arm_linux_cpp_sdk_inference.md

@@ -1,6 +1,6 @@
 # 简介
 
-本文档以[千分类模型_MobileNetV3](https://ai.baidu.com/easyedge/app/openSource)为例，介绍FastDeploy中的模型SDK， 在**ARM Linux Python** 环境下:（1)图像推理部署步骤； （2）介绍模型推流全流程API，方便开发者了解项目后二次开发。其中ARM Linux C++请参考[ARM Linux C++环境下的推理部署](./ARM-Linux-CPP-SDK-Inference.md)文档。
+本文档以[千分类模型_MobileNetV3](https://ai.baidu.com/easyedge/app/openSource)为例，介绍FastDeploy中的模型SDK， 在**ARM Linux Python** 环境下:（1)图像推理部署步骤； （2）介绍模型推流全流程API，方便开发者了解项目后二次开发。其中ARM Linux C++请参考[ARM Linux C++环境下的推理部署](./arm_linux_cpp_sdk_inference.md)文档。
 
 **注意**：部分模型（如Tinypose、OCR等）仅支持图像推理，不支持视频推理。
 
@@ -38,7 +38,7 @@
 
 ## 1.SDK下载
 
-根据开发者模型、部署芯片、操作系统需要，在图像界面[飞桨开源模型](https://ai.baidu.com/easyedge/app/openSource)或[GIthub](https://github.com/PaddlePaddle/FastDeploy)中选择对应的SDK进行下载。
+根据开发者模型、部署芯片、操作系统需要，在图像界面[飞桨开源模型](https://ai.baidu.com/easyedge/app/openSource)或[GitHub](https://github.com/PaddlePaddle/FastDeploy)中选择对应的SDK进行下载。
 
 ```shell
 EasyEdge-Linux-x86--[部署芯片]

docs/arm_cpu/arm_linux_cpp_sdk_serving.md

@@ -1,6 +1,6 @@
 # 简介
 
-本文档以[千分类模型_MobileNetV3](https://ai.baidu.com/easyedge/app/openSource)为例，介绍FastDeploy中的模型SDK， 在**ARM Linux Python** 环境下： （1)**服务化**推理部署步骤； （2）介绍模型推流全流程API，方便开发者了解项目后二次开发。其中ARM Linux Python请参考[ARM Linux C++环境下的HTTP推理部署](./ARM-Linux-CPP-SDK-Serving.md)文档。
+本文档以[千分类模型_MobileNetV3](https://ai.baidu.com/easyedge/app/openSource)为例，介绍FastDeploy中的模型SDK， 在**ARM Linux Python** 环境下： （1)**服务化**推理部署步骤； （2）介绍模型推流全流程API，方便开发者了解项目后二次开发。其中ARM Linux Python请参考[ARM Linux C++环境下的HTTP推理部署](./arm_linux_cpp_sdk_serving.md)文档。
 
 **注意**：部分模型（如OCR等）不支持服务化推理。
 
@@ -38,7 +38,7 @@
 
 ## 1.SDK下载
 
-根据开发者模型、部署芯片、操作系统需要，在图像界面[飞桨开源模型](https://ai.baidu.com/easyedge/app/openSource)或[GIthub](https://github.com/PaddlePaddle/FastDeploy)中选择对应的SDK进行下载。解压缩后的文件结构如下。
+根据开发者模型、部署芯片、操作系统需要，在图像界面[飞桨开源模型](https://ai.baidu.com/easyedge/app/openSource)或[GitHub](https://github.com/PaddlePaddle/FastDeploy)中选择对应的SDK进行下载。解压缩后的文件结构如下。
 
 ```shell
 EasyEdge-Linux-x86-[部署芯片]