원리

onnx로 저장된 clip-ViT 모델을 이용하여 단위벡터로 임베딩한 트릭컬 캐릭터 이미지 목록과, 촬영한 대충돌/프론티어 랭킹 이미지 내의 캐릭터 이미지를 코사인 유사도 비교하여 가장 유사한 캐릭터 이미지의 이름을 반환

모델:

https://huggingface.co/Xenova/clip-vit-base-patch16/blob/main/onnx/vision_model.onnx

Xenova/clip-vit-base-patch16 사용

랭킹 이미지 예시:

촬영한 이미지.

용어 정리:

onnx

• PyTorch, TensorFlow 등 다양한 프레임워크에서 훈련된 머신러닝 모델을 다양한 환경(프레임워크 간 모델 호환)에서 사용하기 위해 만들어진 표준 파일 형식(.onnx)

onnxruntime-web