좌표 불안정
bbox로 좌표를 찾는 로직은 잘 작동함. 근데 세부적인 좌표는 너무 불안정하고, 특히 텍스트로만 표시되는 아이콘 / 또는 실제 텍스트 / 기타 매우 작은 영역은 bbox가 작동하기는 하나, 좌표값이 부정확함
2회_3회 클릭 후 화면이 변동없으면 좌표값을 다시 재정의하는 방식이긴 하지만, 이 부분은 어떻게 해야 끌어올릴 수 있을지 고민해봐야 할듯한
사진 분석 > 실제 작동까지의 시간
지금 사진 한개를 열어서 분석하는데 대략 1_2초 / 좌표 찾고 지정해서 명령어를 프로그램에 전달하는데 대략 1_3초 정도 소요되는데, 이 과정에서 대기열이 많거나 알 수 없는 이유로 굉장히 느려짐
아마 주된 원인은 한 프레임을 보고 명령전달 후 쌓이는 프레임 때문에 병목 현상일 것 같은데, 나보다 똑똑한 AI는 그것 뿐만은 아닌 것 같다고 하고... 이거 해결해야 좀 더 안정적인 테스트가 가능할듯
모델 자체의 성능 문제
테스트에 사용한 모델들 [ qwen3 VL 8B instruct & thinking / qwen3.5 9B / qwen3.5 28B ]
후속 모델일 수록 당연히 자체 추론 성능은 좋으나, 실제 프로그램 환경에서는 가장 약한 VL 8B instruct가 최고 성능을 보여줌.
이유는 지금 구조가 게임이 진행 중인 상황을 매순간 프레임을 찍어 분석하고, 필요에 따라 클릭을 수행하고 있는데 추론 성능이 높다 = 생각에 오랜 시간이 걸린다 = 병목 현상 상태가 되어버려서... 그냥 빠르게 생각하고 치워버리는 저렴이 모델이 가장 성능이 잘 나오고 있다.
문제는 저렴이 모델이라 오판을 너무 많이 한다는 건데... 나중에 하드웨어 문제에서 벗어나서 3.5 28B를 풀로드로 돌릴 수 있게 된다면, 다시 한번 테스트를 해보아야 할 것 같다.