군집 무인기 자율 협력 시뮬레이터 데모

시나리오 설정

적 타겟 수 (Target)

4대 5대

아군 에이전트 수 (Agent)

2대 3대 4대

적 처치 보상 (Target Elimination Reward)

+1 +3 (기본) +5

보상 스케일 실험은 논문의 대표 조합(적 4 : 아군 2)에서만 수행되었습니다.

환경 파라미터 (논문 표 1·2)
전장 크기	350 m × 400 m
이동 속도 (공통)	20 m/s
미사일 속도 / 피해	40 m/s / 1
미사일 재장전	5 s
체력 (HP)	1
아군 공격 사거리	50 m
적 공격 사거리	30 m
외곽 경계	반사(Reflection)

아군 에이전트 (사거리 50 m)

적 타겟 (사거리 30 m)

격추된 기체

미사일

논문 실험 결과

최종 누적 보상

–

최종 에피소드 길이

–

정책 엔트로피 (초기 → 수렴)

–

표 6. 에이전트-타겟 조합별 결과 (처치 보상 +3)
적:아군	누적 보상	에피소드 길이	엔트로피

표 7. 보상값별 결과 (적 4 : 아군 2, 1대당)
보상	누적 보상	길이	엔트로피

2D 가상 전장 교전 재현 (350 m × 400 m, 1 px = 1 m)

대기 중

교전 재현의 아군 기동은 학습된 MA-POCA 정책이 아니라, 논문이 서술한 보상 스케일별 정책 경향(+1 소극적 탐색, +3 사거리 우위를 활용한 협력, +5 무리한 돌진)을 단순 규칙으로 표현한 것입니다. 보상은 논문 표 3·4 규칙으로 집계합니다.

논문 내용 확인 결과

표 6과 표 7의 같은 조건 불일치: 표 7의 보상 3 결과(1대당 73)는 표 6의 4:2 결과(팀 146)를 2로 나눈 값과 같아 같은 조건입니다. 그런데 에피소드 길이(82 / 81)와 정책 엔트로피(0.31 / 0.42)가 서로 다릅니다. 두 표가 별도 실행이라면 그 사실과 시드를 밝혀야 하고, 같은 실행이라면 수치를 맞춰야 합니다. 표 7이 1대당 값이라는 점도 표 제목에 적혀 있지 않습니다.
보상 스케일 간 누적 보상 비교: 처치 보상을 1, 3, 5로 바꾸면 누적 보상의 크기 자체가 달라집니다. 그런데 표 7의 누적 보상은 72, 73, 70으로 거의 같아, 보상 단위가 다른 값을 그대로 비교한 것인지 정규화한 것인지 알 수 없습니다. 스케일 간 우열은 임무 성공률처럼 보상과 독립적인 지표로 비교해야 합니다.
보상 +5의 "협력 약화" 근거: 표 7에서 보상 3과 5의 최종 엔트로피는 0.42로 같고, 누적 보상 차이는 73 대 70(약 4%)입니다. "엔트로피가 높게 유지되고 협력 구조가 약화된다"는 해석은 그림 4의 곡선에 기대고 있어, 수렴 시점이나 분산 같은 정량값이 함께 제시되어야 합니다.
"최적 투입 규모"의 기준: 4:3을 적 4대 환경의 최적으로 보았지만, 팀 누적 보상은 4:4(216)가 더 높고, 1대당 보상은 4:2(73)가 4:3(62)보다 높습니다. 엔트로피, 에피소드 길이, 보상 중 무엇을 우선하는지 판단 기준을 먼저 정의해야 결론이 성립합니다.
적 5대 환경의 해석 부재: 4.2절은 적 4대 조합만 자세히 해석합니다. 적 5대에서는 4대 투입(5:4)이 보상 268, 엔트로피 0.16으로 가장 좋고, 5:3의 엔트로피(0.50)가 5:2(0.39)보다 높습니다. 4대 환경의 "증원 시 간섭" 결론과 반대되는 양상이라 설명이 필요합니다.
보상 항목의 지급 단위: 표 3의 접근 보상(+0.1)은 스텝, 결정 주기, 초 중 무엇마다 지급되는지 없습니다. HP가 1이고 미사일 피해가 1이므로 체력 손실(−0.3)은 곧 파괴(−1.0)와 함께 발생해, 두 항목을 따로 둔 의미가 드러나지 않습니다.
지표의 단위와 정의: 에피소드 길이(75~93)가 스텝, 결정 횟수, 초 중 어느 단위인지, 엔트로피 초기값 2.1이 어떤 행동 공간(이산·연속, 차원)에서 나온 값인지 나와 있지 않습니다. 제한 시간과 적 타겟의 행동 규칙도 기술되지 않았습니다.

현재 관점에서의 보완점

통계적 신뢰성: 다중 시드 검증은 4:2 조합, 5M 스텝 구간에서 3회만 수행되었고, 표 6·7은 단일 값으로만 제시됩니다. 조건별 5개 이상의 시드로 평균, 표준편차, 신뢰구간을 보고하고, 조건 간 차이(예: 보상 73 대 70)에 검정을 적용해야 결론의 무게가 생깁니다. 강화학습 평가에서는 IQM 같은 견고한 집계 지표 사용이 권장됩니다.
보상과 독립적인 성능 지표: 누적 보상은 보상 설계에 따라 달라지므로, 임무 성공률, 아군 생존율, 격추 교환비, 임무 소요 시간(초) 같은 작전 지표를 함께 측정하면 조합 간·스케일 간 비교가 공정해집니다. 논문도 누적 보상을 성공률의 대리 지표로 쓴다고 밝히고 있어, 성공률을 직접 제시하는 편이 명확합니다.
기준선 알고리즘 비교: MA-POCA 단독 결과만 있어 이 알고리즘을 쓴 효과가 분리되지 않습니다. 독립 PPO, MAPPO, 규칙 기반 정책과 같은 환경에서 비교하면 중앙 집중식 신용 할당의 기여를 확인할 수 있습니다.
MA-POCA의 강점 활용: 논문은 MA-POCA가 에이전트의 생성·소멸을 다룬다는 점을 선택 근거로 들었지만, 실험은 조합별로 따로 학습했습니다. 한 정책으로 2~4대를 모두 운용하는 일반화 실험, 교전 중 아군이 소멸할 때의 신용 할당 효과 분석이 추가되면 알고리즘 선택이 실험으로 뒷받침됩니다.
보상 설계 방법: 스케일을 1, 3, 5로 바꾸는 방식 외에, 접근 보상처럼 형성(shaping) 보상은 잠재 함수 기반 보상 형성(PBRS)으로 바꾸면 최적 정책을 바꾸지 않는다는 이론적 보장이 생깁니다. 보상 정규화를 함께 쓰면 스케일 변화가 학습률처럼 작용하는 효과도 분리할 수 있습니다.
적 정책과 환경의 현실성: 적 타겟의 행동이 고정 규칙이면 아군 정책이 그 규칙에 과적합될 수 있습니다. ML-Agents의 셀프 플레이로 적도 함께 학습시키거나, 통신 제약, 센서 오차, 3차원 기동을 단계적으로 넣으면 결과의 전장 적용성이 높아집니다.
재현성: 관측·행동 공간 정의, 보상 지급 주기, 학습 설정 파일(YAML), 환경 빌드와 시드를 공개해야 같은 결과를 다시 얻을 수 있습니다. ML-Agents 버전에 따라 POCA 구현이 바뀔 수 있으므로 버전도 명시해야 합니다.
운용 관점의 검토: 무장 무인기 군집의 자율 교전은 인간의 판단과 통제를 어디에 둘지가 함께 다뤄져야 합니다. 교전 승인 단계, 정책의 설명 가능성, 오인 교전 같은 안전 제약을 시뮬레이션 지표에 포함하면 유인·무인 복합체계(MUM-T) 연구로 이어가기 좋습니다.

수업 토의 질문

4:3과 4:4 중 어느 쪽이 "더 좋은" 투입 규모인가요? 누적 보상, 1대당 보상, 엔트로피, 에피소드 길이 중 무엇을 기준으로 삼을지 먼저 정해 보세요.
처치 보상을 5로 올렸는데 누적 보상이 3일 때보다 낮게 나온 이유를 보상 단위와 정책 행동 두 측면에서 설명해 보세요.
시뮬레이터 탭에서 보상 +1, +3, +5로 여러 번 실행해 보고, 결과가 실행마다 얼마나 달라지는지 관찰해 보세요. 시드 3개로 충분한가요?
적 5대 환경에서 4:3의 결론(증원 시 간섭)이 5:4에서는 나타나지 않은 이유는 무엇일까요? 전장 밀도 관점에서 가설을 세워 보세요.

군집 무인기 자율 협력을 위한 멀티 에이전트 강화학습 설계 데모

시나리오 설정

논문 실험 결과

논문 내용 확인 결과

현재 관점에서의 보완점

수업 토의 질문