목록tensorrt (1)
영만이네
[Kserve + TensorRT + Triton Inference Server] Error Code 1: Serialization & Error Code 4: Internal Error (Engine deserialization failed.) 에러
TensorRT 모델을 Triton Interface Server를 k8s Kserve를 이용하여 배포할 일이 생겼다. 테스트를 위해서 BERT 기반 간단한 감성분석 모델을 만들었고 torch-tensorrt plan 파일 생성까지 마친 후... yaml 파일을 통해 실행시켰으나 다음과 같은 오류를 만났다. Error Code 1: Serialization & Error Code 4: Internal Error ============================= == Triton Inference Server == ============================= NVIDIA Release 22.09 (build 44909143) Triton Server Version 2.26.0 Copyright..
개발/Forgettable
2022. 10. 17. 22:48