​YOLO-NAS 농구 실시간 노트북 포즈YOLO-NAS 포즈 모델은 포즈 추정 분야의 최신 기술입니다. 올해 초, Deci는 획기적인 객체 감지 기반 모델인 YOLO-NAS로 널리 인정받았습니다. YOLO-NAS의 성공을 바탕으로, Deci는 이제 포즈 추정의 대안으로 YOLO-NAS 포즈를 출시했습니다. 이 포즈 모델은 지연 시간과 정확도의 완벽한 균형을 제공합니다.​포즈 추정은 컴퓨터 비전 분야에서 중요한 역할을 하며, 다양한 주요 응용 분야를 포괄합니다. 이러한 응용 분야에는 의료 분야의 환자 움직임 모니터링, 스포츠 선수의 경기력 분석, 원활한 인간-컴퓨터 인터페이스 구축, 로봇 시스템 개선 등이 있습니다.​YOLO 마스터 포스트 - 모든 모델 설명모든 YOLO 모델의 진화 여정에 얽힌 모든 이야기를 알아보세요. YOLOv1에서 YOLO-NAS로의 진화 과정을 자세히 설명하는 방대한 핵심 포스트를 확인해 보세요. 이 필수 가이드는 다른 곳에서는 찾아볼 수 없는 통찰력, 비교, 그리고 심층적인 이해를 제공합니다.YOLO 시리즈에 대한 더욱 풍부하고 정보에 기반한 관점을 제공하는 이 종합적인 자료 "모든 YOLO 모델 마스터하기"를 놓치지 마세요.​YOLOv1에서 YOLO-NAS까지 모든 YOLO 모델 마스터하기: 논문 설명 (2024)​YOLO-NAS 포즈 모델 아키텍처​기존 포즈 추정 모델은 다음 두 농구 실시간 노트북 가지 접근 방식 중 하나를 따릅니다:​장면의 모든 사람을 감지한 후, 키포인트를 추정하여 포즈를 생성합니다. 2단계 하향식 프로세스입니다.장면의 모든 키포인트를 감지한 후 포즈를 생성합니다. 2단계 상향식 프로세스입니다.​YOLO-NAS 포즈는 기존 포즈 추정 모델과 다른 방식으로 작동합니다. 먼저 사람을 감지한 후 포즈를 추정하는 대신, 사람과 포즈를 한 번에 감지하고 추정할 수 있습니다.YOLO-NAS 포즈 아키텍처 - 백본 및 목 디자인포즈 모델은 YOLO-NAS 객체 감지 아키텍처를 기반으로 구축됩니다. 객체 감지 모델과 포즈 추정 모델은 모두 백본과 목 디자인은 동일하지만 머리 부분이 다릅니다. YOLO-NAS 포즈의 머리 부분은 다중 작업 목표, 즉 단일 클래스 객체(사람이나 동물 등)를 감지하고 해당 객체의 포즈를 추정하도록 설계되었습니다.YOLO-NAS 포즈 아키텍처 - 헤드 디자인이 인상적인 조합은 Deci의 독자적인 신경망 아키텍처 검색(NAS) 엔진인 AutoNAC의 결과물입니다. AutoNAC은 방대한 아키텍처 검색 공간을 탐색하여 최적의 아키텍처 디자인을 도출합니다. 다음은 검색을 위한 하이퍼파라미터입니다:​포즈 및 박스 회귀 경로 모두에 대한 Conv-BN-Relu 블록 수두 경로 모두에 대한 중간 채널 수포즈/박스 회귀를 위한 공유 스템 농구 실시간 노트북 또는 개별 스템 중 어떤 것을 사용할지 결정​결과가 모든 것을 말해줍니다.다음 동영상subjectauthor
죄송합니다. 문제가 발생했습니다. 다시 시도해 주세요.
화면을 돌리거나 터치로 움직여 보세요YOLO-NAS 포즈 추정COCO Val 2017 데이터셋을 활용한 YOLO-NAS 포즈 평가YOLO-NAS 포즈 모델은 COCO Val 2017 데이터셋을 기반으로 평가되었습니다. 이 모델의 정확도와 지연 시간은 최첨단 수준입니다. 나노 모델은 가장 빠르며 T4 GPU에서 최대 425fps의 추론 속도를 제공합니다. 반면, 대형 모델은 최대 113fps에 도달할 수 있습니다.​에지 배포를 살펴보면, 나노 모델과 중형 모델은 각각 63fps와 48fps의 실시간 성능을 보입니다. 그러나 Jetson Xavier NX에 배포된 중형 및 대형 모델은 속도가 감소하기 시작하여 각각 26fps와 20fps에 도달합니다. 이는 여전히 가능한 최고의 결과 중 일부입니다.​​YOLO-NAS Pose 추론 실행​YOLO-NAS Pose 모델, 학습 파이프라인, 노트북은 Deci의 PyTorch 기반 오픈소스 비전 라이브러리인 SuperGradients에서 사용할 수 있습니다. SuperGradients는 pip를 통해 설치할 수 있습니다.추론을 실행하기 위해 다음 Python 모듈을 가져옵니다:​torch: PyTorch 프레임워크를 가져옵니다. SuperGradients의 기반입니다.os: 시스템 명령 및 디렉터리 작업에 유용합니다.pathlib: 파일 경로 및 경로 농구 실시간 노트북 작업을 가져오는 데 사용됩니다.super_gradients: YOLO-NAS Pose 모델의 기본입니다.이제 추론을 실행할 이미지가 필요합니다. wget을 사용하여 이미지를 다운로드해 보겠습니다.몇 개의 이미지 URL을 목록에 추가한 후, 목록을 순환하며 wget을 사용하여 각 파일을 다운로드하고 이름을 변경한 후, 파일 경로를 새 목록인 'download_files'에 추가합니다.​다음으로, YOLO-NAS Pose 모델을 가져옵니다.get() 함수를 사용하여 모델을 다운로드합니다. 모델 이름과 가중치 파일 경로를 전달합니다. 이 경우, COCO 사전 학습된 가중치를 사용하는 NAS Pose Large 모델을 사용합니다.​그런 다음, 이 모델을 GPU 장치에 로드합니다(가능한 경우). 이렇게 하면 추론 속도가 크게 향상됩니다.​이제 predict() 함수를 사용하여 이미지에 대한 예측을 실행합니다.predict()는 이미지와 신뢰 임계값을 입력으로 받아 모델에 대한 추론을 실행합니다. show()를 사용하여 출력을 표시합니다.​predict()는 이미지 외에도 다음 항목을 입력으로 받습니다:Path to local image (str)Path to images directory (str)predict("path/to/images/directory")Path to local video (str)predict("path/to/video.mp4")URL to remote image (str)3-dimensional NumPy image ([H, W, C])predict(np.zeros((480, 640, 3), dtype=np.uint8))4-dimensional NumPy image ([N, H, W, C] or [N, C, H, W])predict(np.zeros((480, 640, 3), dtype=np.uint8))List of 3-dimensional 농구 실시간 노트북 numpy arrays ([H1, W1, C], [H2, W2, C], …)predict([np.zeros((480, 640, 3), dtype=np.uint8), np.zeros((384, 512, 3), dtype=np.uint8) ])3-dimensional Torch Tensor ([H, W, C] or [C, H, W])predict(torch.zeros((480, 640, 3), dtype=torch.uint8))4-dimensional Torch Tensor ([N, H, W, C] or [N, C, H, W])predict(torch.zeros((4, 480, 640, 3), dtype=torch.uint8))YOLO-NAS 포즈를 통해 농구 선수의 주요 지점을 예측SuperGradients는 출력을 표시하는 대신 저장할 수도 있습니다.다음 동영상subjectauthor
죄송합니다. 문제가 발생했습니다. 다시 시도해 주세요.
화면을 돌리거나 터치로 움직여 보세요YOLO-NAS 자세 추정 예측두 방법 모두 입력 이미지 또는 비디오에 결과를 표시합니다. 결과만 원하는 경우:원시 예측은 다음과 같습니다:​XYXY 형식의 경계 상자 예측예측된 객체에 대한 감지 점수XY 형식의 17개 키포인트 예측각 키포인트에 대한 신뢰도 점수​초기 후처리 단계에서는 상자 감지와 포즈 예측 모두에 비최대값 억제(NMS)를 적용하여 신뢰도가 높은 예측 결과를 얻어야 합니다. 그런 다음 일치하는 상자와 포즈를 선택하여 모델 출력을 구성합니다. 모델은 상자 감지와 포즈 예측이 동일한 공간 위치에서 발생하도록 학습되었으므로 일관성이 유지됩니다.​​YOLO-NAS 포즈 vs YOLOv8 포즈YOLO-NAS Pose vs YOLOv8 농구 실시간 노트북 Pose 효율 프런티어 그래프 플롯위 그래프는 YOLO-NAS Pose 모델과 YOLOv8 Pose 모델의 정확도와 지연 시간 간의 트레이드오프를 보여줍니다. 이 영역은 효율 프런티어라고도 합니다. 모든 모델은 COCO Val 2017 데이터셋과 Intel Xeon 4세대 CPU(1개의 배치 크기, 16비트 부동 소수점 연산)를 기반으로 평가되었습니다.​모든 YOLO-NAS Pose 모델의 정확도는 YOLOv8 Pose 모델보다 높습니다. 이는 AutoNAC의 헤드 설계 덕분입니다. 이제 구체적인 내용을 살펴보겠습니다:​소형 YOLO-NAS Pose 모델(나노 및 소형)은 정확도는 높지만 YOLOv8 Pose 모델보다 느립니다.대형 YOLO-NAS Pose 모델(중형 및 대형)은 정확도와 지연 시간 모두에서 더 우수합니다.​이제 더 자세히 알아보려면 COCO Val 2017 데이터세트에서 YOLO-NAS 포즈와 YOLOv8 포즈 모델의 결과를 살펴보세요.COCO Val 2017 데이터셋을 기반으로 한 YOLO-NAS Pose vs YOLOv8 Pose 평가YOLO-NAS Pose 모델의 정확도는 항상 해당 YOLOv8 Pose 모델보다 우수합니다. 자세한 내용을 살펴보겠습니다:​해당 모델의 매개변수 수는 서로 다릅니다. 예를 들어, NAS Nano는 990만 개의 매개변수를 가지고 있는 반면 v8 Nano는 330만 개의 매개변수를 가지고 있습니다. 이는 3분의 1의 차이입니다.또한, 추론 농구 실시간 노트북 실행 하드웨어도 다릅니다. NAS는 2018년 9월에 출시된 T4 GPU를 기반으로 결과를 게시한 반면, v8은 최신 A100 GPU를 기반으로 결과를 게시했습니다.​두 Pose 모델에 대한 비교 분석을 원하시면 댓글을 남겨주세요.​​포즈 모델은 어떻게 학습되었나요?​YOLO-NAS 포즈 손실 함수​모델이 두 작업을 효과적으로 학습할 수 있도록 Deci는 학습에 사용된 손실 함수를 개선했습니다. 할당된 박스에 대한 IoU(Intersection over Union) 점수만 고려하는 대신, 예측된 키 포인트와 실제 키 포인트를 비교하는 객체 키 포인트 유사도(OKS) 점수도 통합했습니다. 이러한 변화는 모델이 바운딩 박스와 포즈 추정 모두에 대해 정확한 예측을 할 수 있도록 지원합니다.​또한, 기존의 L1/L2 손실 기법을 능가하는 직접 OKS 회귀 기법을 사용했습니다. 이 접근법은 다음과 같은 여러 장점을 제공합니다:​박스 IoU와 유사하게 0에서 1까지의 범위 내에서 작동하여 포즈의 유사도를 나타냅니다.특정 키 포인트에 주석을 달 때의 다양한 난이도를 고려합니다. 각 키 포인트는 주석의 정확도와 데이터셋의 특성을 반영하는 고유한 시그마 점수와 연결됩니다. 이 점수는 모델이 부정확한 예측을 할 때 어느 정도의 페널티를 받는지 결정합니다.검증 지표와 일치하는 농구 실시간 노트북 손실 함수를 사용하여 지표의 타겟팅 및 최적화를 가능하게 합니다.​학습 하이퍼파라미터​YOLO-NAS Pose는 YOLO-NAS 모델과 유사한 기본 구조를 사용하므로, 최종 학습을 진행하기 전에 YOLO-NAS에서 사전 학습된 가중치를 사용하여 모델의 백본과 넥을 초기화했습니다. 학습 하이퍼파라미터는 다음과 같습니다:​학습 하드웨어: PyTorch 2.0을 탑재한 NVIDIA GeForce RTX 3090 GPU 8개를 사용했습니다.학습 일정: 최대 1000 에포크(epoch) 동안 학습을 수행했으며, 지난 100 에포크 동안 성능 향상이 없으면 조기에 학습을 중단했습니다.옵티마이저: 코사인 LR(학습률) 감소를 적용한 AdamW를 사용하여 학습 후반부에 LR을 0.05배 감소시켰습니다.가중치 감소: 편향 및 배치 정규화(BatchNorm) 계층을 제외하고 가중치 감소 계수 0.000001을 적용했습니다.EMA(지수 이동 평균) 감쇠: EMA 감쇠에 베타 계수 50을 사용했습니다.이미지 해상도: 이미지는 최대 변 길이가 640픽셀이 되도록 처리되었으며, 패딩 색상은 (127, 127, 127)로 640x640 해상도로 패딩되었습니다.​모자이크 데이터 증가, 무작위 90도 회전, 색상 증가와 같은 증강은 AP를 2만큼 더욱 향상시켰습니다.​​결론​YOLO-NAS Pose는 현재 최고의 포즈 추정 모델 중 하나입니다. 이 글에서는 다양한 모델에 대해 간략히 설명하고, YOLO-NAS Pose 모델 아키텍처와 AutoNAC을 이해했으며, 농구 실시간 노트북 SuperGradients를 사용하여 추론을 실행했습니다.​​참고 자료​