환경
- nivdia orin nx
- jetpack 5.1.2
- cuda 11.4
- tensorrt 8.5.2.2
모델 정보
- encoder : resnet50
- decoder : ddetr
- export 형식 : tensorrt
코드 작성 정보
- infer code : python
- 처리해준 post process : nms, draw_bbox
성능
- fps : 2.2 ( 문서상 trtexec 로 측정 결과 9.6 fps 라는데.. 뭔가 이상 )
- software sink와 문서의 sink가 맞지 않음
- 모델 추론 속도 : 422ms
- 추가 개선 가능 여부 10ms 이내
추후 진행 해야할 것
- gcvit 기반으로 재검토
- cuda c 코드로 infer code 작성 후 fps 재 측정
- 문서에서 제공한 fps와 layer별 추론 시간 비교하여 재측정
gcvit 기반 모델을 검토하지 못한 이유
- onnxruntime 1.16 : tensorrt dependency 8.6
- tersor 변환 실패
- 연산자의 Namespace가 바뀐 것으로 추정됨