※ 인공지능 모델 경량화 기술 동향 (3. 네트워크 가지치기 기술 동향 & 4. 토큰병합 기술 동향)

● 인공지능 모델 경량화 기술 동향 (정보통신기획평가원 주간기술동향, 황영배 충북대학교 부교수, 2025. 07. 09)

3. 네트워크 가지치기 기술 동향

인공지능 모델 경량화를 위한 다른 방법으로 네트워크 가지치기(network pruning) 방법이 있음.
학습이 완료된 신경망 모델에서 불필요하거나 중요도가 낮은 가중치나 뉴런을 제거함으로써 네트워크의 복잡도를 줄이는 방법임.

방대한 데이터를 다루기 위해 신경망은 과잉 설계되는 경향이 있으며, 실제 성능에 큰 영향을 미치지 않는 많은 수의 파라미터가 포함되어 있음.
불필요한 연결을 제거해도 정확도 손실 없이 모델을 압축할 수 있다는 가정으로 네트워크 가지치기는 딥러닝 네트워크의 실용화를 위한 하나의 방법으로 사용할 수 있음.

네트워크 가지치기는 모델의 구조를 변경하지 않고 계산량과 메모리 사용량을 줄일 수 있는 장점이 있음.
특히, 학습이 완료된 모델에게 적용 가능하다는 점에서 이미 잘 동작하는 모델의 성능을 유지하며 모바일 및 NPU 등 다양한 저사양 기기의 환경에 적합한 자원 효율성을 확보하는 데 효과적임.

최근에는 트랜스포머 기반 모델에서도 프루닝 기법이 효과적으로 적용되고 있으며, 다양한 형태의 가지치기 방법이 제안되고 있음.

가지치기의 방법은 제거 단위의 구조적 범위에 따라 비구조적 가지치기와 구조적 가지치기로 구분됨.
비구조적 가지치기는 개별 가중치 단위로 중요도가 낮은 연결을 제거하는 방식으로 매우 높은 압축률을 달성할 수 있지만 불규칙한 압축 패턴이 하드웨어에서는 병렬 처리나 최적화에 비효율적이라는 단점이 있음.
구조적 가지치기는 채널, 필터 및 레이어 단위처럼 일정한 구조를 가진 블록을 제거함으로써, 연산량이 직접적으로 감소하여 하드웨어 친화적인 경량화 방식임.

최근 모델의 각 주조의 중요도를 학습 중에 동적으로 평가하여 가지치기 기법을 적용하는 훈련 중 가지치기(pruning during training) 기법도 주목받고 있음.
이 방식은 훈련된 네트워크로부터 가지치기하는 방식보다 정확도 손실이 적고, 훈련 과정에서 모델이 성능뿐 아니라 네트워크의 효율성을 고려해 파라미터를 학습할 수 있는 장점이 있음.

가지치기 방법은 비전 트랜스포머뿐 아니라, vision-Language 모델이나 멀티 모달 모델까지 확장되며 가지치기 기술의 활용 가능성을 넓히고 있음.

가지치기 방법은 단순히 모델의 크기를 줄이는 것뿐 만 아니라, 추론 시간 및 전력 소모를 줄이며, 모델의 배포 및 유지 비용까지 절감할 수 있는 장점이 있음.
향후 NAS, 지식증류 및 양자화(Quantization)등의 기법과 적용할 수 있으며 모델 성능을 유지하면서도 실시간 추론이 요구되는 환경에서 효과적으로 활용될 수 있음.


4. 토큰 병합 기술 동향

대부분의 트랜스포머 기반의 비전 모델은 입력 이미지를 패치로 분할, 토큰으로 변환하여 처리하기 때문에 해상도가 높아질수록 연산 복잡도가 급격히 증가하는 구조를 가지고 있음.
이러한 문제를 해결하기 위해 입력 토큰 수 자체를 줄이는 다양한 연구가 진행되고 있으며, 그 중에서도 유사한 토큰을 병합하는 방식의 토큰 병합(Token Merging, ToMe) 기법이 주목받고 있음.

토큰 병합은 중요하지 않은 토큰을 제거하는 가지치기 방식과 달리, 유사한 토큰들을 병합함으로써 입력 정보를 압축하여 연산 효율성과 성능을 함께 확보하는 것이 핵심임.

ToMe 이후에는 병합 기준을 정교화하거나 병합 구조를 다변화하는 여러 후속 연구들이 제안되었음.

Prune and Merge는 토큰 병합과 가지치기 방법의 장점을 결합하여 중요하지 않은 토큰을 제거 및 병합하고 재구성 행렬과 숏컷 연결을 통해 병합 및 제거된 토큰의 정보를 복원함으로써 연산 효율성과 성능을 확보하였음.

토큰 병합은 여러 토큰의 시각적 정보를 하나의 토큰으로 표현하기 때문에 세부 객체의 경계나 위치 정보가 손실될 우려가 있음.
이는 의미론적 분할이나 객체 검출과 같은 공간적 정보가 중요한 작업에서 성능 저하로 이어질 수 있음.
이를 해결하기 위해 최근에는 시맨틱 정보와 위치 정보를 함께 고려한 병합 전략들이 등장하고 있음.
토큰 병합 기법은 이미지 기반 작업을 넘어 비디오 데이터의 높은 시공간 중복성을 효과적으로 활용 가능하여 비디오 인식 및 시맨틱 트래킹 작업에서도 관련된 연구가 많이 진행되고 있음.

Diffusion Models과 같은 생성모델도 추론 효율성을 높이기 위해 토큰 병합 기법이 적용되고 있음.

※ From Mine to Magnet (말레이시아 국책연구기관 ISIS 보고서, 2025. 10. 31) Part. 2

1.0 희토류의 높아지는 경제적 중요성

클린 에너지와 첨단 기술로의 글로벌적 전환은 전기차, 풍력 터빈, 첨단 전자제품에 사용되는 고성능 영구자석 생산에 필수적인 핵심 광물군인 ‘희토류(REs)’ 및 희토류 원소(REEs)의 수요와 중요성을 강화하였음.
에너지 전환이 가속화됨에 따라, IEA는 2022년에서 2027년 사이 글로벌 전력 용량 확장의 90%이상이 신재생에너지에서 나올 것으로 추정하고 있으며, 그린에너지 기술에 따른 희토류 원소 수요는 2040년까지 가파르게 상승할 것으로 예상됨.

데이터에 따르면, 2024년 그린에너지 투자 속도는 2020년 대비 두 배로 증가하였으며, 향후 10년 동안 더 큰 성장이 예상됨.
그린기술의 단위 비용이 지속적으로 감소하고, 글로벌 기업들에게 ESG가 더 중요해짐에 따라 이러한 추세는 계속될 것으로 보임.

특히 전기차는 네오디뮴-철-붕소(NdFeB) 슈퍼자석의 적용을 통해 미래 희토류 수요의 상당 부분을 견인할 것임. (현대적인 전기차 1대당 1 – 2kg의 희토류가 필요함)
Wood Mackenzie에 따르면 NdFeB 자석의 수요가 2030년까지 114%, 2050년까지 293%증가할 것으로 전망하고 있음.
전기차 외에도 가전제품, 항공우주, 방위 기술 분야 같은 다른 영구자석 응용처가 희토류 시장의 29%를 차지할 것임.


1.1 희토류 분야의 지경학적 경쟁 심화

세계 최대의 희토류 산화물(REOs) 수출국인 중국은 희토류 제품의 제련 및 제조분야에서 글로벌 강자임. 중국은 전 세계 희토류 광물 생산의 약 69%를 차지하며, 제련 역량에서는 무려 88%를 점유하고 있음.

연구에 따르면 중국과 자원 부국 간에 체결된 일부 양자 협정은 ‘자원 담보 대출’에 기반을 두고 있음. 이는 광물 수출을 통해 대출금을 직접 상환하거나, 광물 그 자체를 담보로 제공하는 방식임.

2023년 12월, 중국 당국은 희토류 추출 및 분리 기술에 대한 기존 금지 조치에 더해 영구자석 기술 수출 금지를 발표하였음. 중국은 또한 동시에 몇몇 핵심 산업광물의 수출 규정을 강화하였는데 이는 미국 칩스법(CHIPS Act)에 따른 첨단 반도체 기술 제재에 대한 대응 조치로 널리 해석되고 있음.

미국의 “Liberation Day” 관세 조치 이후, 중국 정부는 7가지 희토류 원소와 영구자석에 대해 광범위한 수출 규제를 추가로 단행했고 이는 결국 미국이 핵심 광물 공급망을 재개하기 위한 후속 협상에 나서게 되는 결과를 낳았음.
이러한 상황은 새로운 기실이 부상하는 가운데 단기적으로 가격 비탄력적인 글로벌 공급 곡선의 특성과 맞물려 발생하고 있음. (가격이 상승하더라도 새로운 채굴 및 가공 능력을 빠르게 확대할 수 없기 때문임)
이러한 공급 경직성은 미국, EU, 중국 간의 지속적인 무역 긴장이 장기적인 공급망 취약성을 심화시키고 원자재 가격 상승을 부추길 것임을 의미함.

러시아에 대한 에너지 의존도를 낮추려는 EU의 강력한 추진에 힘입어, 2022년 글로벌 재생에너지 지출은 사상 최대인 6,000억 달러에 달하였음.

미국은 자급자족 가능한 공급망 구축을 목표로 하고 있으나, RAND Corporation에 따르면 이 과정이 10 - 15년이 소요될 것으로 추산하고 있음.
바로 이러한 시차는 말레이시아가 글로벌 밸류체인 내에서 확고한 입지를 다질 수 있는 ‘전력적 기회의 창’을 만들어 주고 있음.


1.2 말레이시아의 산업적 희토류 지형

말레이시아는 글로벌 희토류 가치사슬, 특히 미드스트림인 분리 단계에서 독보적인 위치를 점하고 있음.
글로벌적으로 말레이시아는 중국에 이은 제2의 제련 국가이며, 2025년 기준 분리된 희토류 산화물(REOs)의 약 5%를 생산하고 있는 것으로 추산됨.

Gebeng에 위치한 라이나스 첨단 소재 공장(LAMP)은 서호주 Mt. Weld에서 채굴된 원재료를 사용하여 다양한 경희토류 및 중희토류 산화물(연간 총 22,000톤 생산능력)하고 있으며, 이는 중국 외 지역에 존재하는 몇 안 되는 수직 계열화 된 희토류 가공 시설 중 하나임.

그러나 말레이시아의 미드스트림 부문 강점은 말레이시아의 업스트림 역량과는 비례하지 않음.
희토류에 대한 업스트림 활동이 거의 전무한 탓에(케너링의 파일럿 프로젝트 제외), 산업 구조가 미드스트림 부문에 편중되는 결과를 낳았음.
2024년 말레이시아는 5억 8600만 링깃 상당의 희토류 금속을 수입하였는데 이 중 99%가 호주산이었으며, 반면 산화물 및 정광 수출액은 16억 8000만 링깃을 기록하였음.

이 생산물량의 주요 구매자는 중국과 일본임.
특히 일본은 라이나스와의 협약을 체결하여 2038년까지 라이나스의 생산 증가분에 대한 우선 구매권을 확보함으로써 호주산 희토류 자원에 대한 접근권을 보장받고 있음.
이러한 계약은 말레이시아의 글로벌 밸류체인 통합을 강화하는 측면이 있지만, 한편으로는 목표 지향적인 산업 파트너십의 지원 없이는 다운스트림 확장을 위한 말레이시아 내 원료 배분에 제약을 초래하기도 함.


말레이시아 정책 입안자들은 현지 ‘비방사성’ 희토류(NR-REE) 채굴을 육성하는 방향으로 정책 전환을 시사하였음.
특히 말레이시아에 풍부한 이온흡착형 점토(IAC) 매장지(약 1,610만톤 추정)가 그 대상인데, 여기에는 터븀이나 디스프로슘과 같은 가치가 높은 중희토류가 고농도로 함유되어 있음.
이러한 매장지에는 토륨과 우라늄 함량이 규제 임계치보다 낮다고 인식되어 “비방사성”으로 기술되곤 함.
그러나 일부 연구에 따르면 특정 IAC 매장지는 자연 기원 방사성 물질(NORM) 수치가 임계치에 근접하거나 이를 초과할 수 있다고 지적하고 있음.
정부는 미드스트림 산업을 장려하고 천연자원을 보존하기 위해 가공되지 않은 희토류의 수출을 금지한 바 있음.

하지만 말레이시아 법인인 MCRE Resources 단 한 곳만이 연구 목적으로 Gerik의 케너링 광산에서 채굴한 소량의 현지 희토류 탄산염(RECs)을 수출할 수 있는 특별 면제 허가를 받았음.
이 회사는 말레이시아 소유 기업이지만, 중국희토그룹과 독점적인 기술 제휴를 맺고 있으며, Qingdao Joyful Investment Co., Ltd.가 지분 36%를 소유하고 있음.
주목할 점은 2025년 싱가폴의 Southern Alliance Mining Ltd.가 이 회사의 지분 40%를 인수하였다는 것인데, 이는 벤처 사업에 전략적인 다국적 참여가 이뤄지고 있음을 반영함.

라이나스와 달리 MCRE는 현지 IAC 유래 탄산염을 처리하는데, 이는 개별 산화물로 분리되기 전 단계의 업스트림 중간재로서 중국의 미드스트림 제련소로 보내짐.
(2024년 MCRE는 1억 7400만 링깃 상당의 REC 6,348톤을 수출)

이와 병행하여, 현지 기업들도 말레이시아산 IAC 희토류를 위한 미드스트림 가공 기회를 모색하기 시작하였음.
특히 Malaco Mining Croup은 중희토류에 초점을 맞춘 다운스트림 개발 통합 계획과 함께 말레이시아 가공 공장 설립 포부를 밝혔음.
이러한 노력에 발맞춰 국부펀드인 Khazanah Nasional 또한 다운스트림 역량 개발을 목표로 외국 기업과의 탐색적 파트너십을 시작한 것으로 알려졌음.
그러나 이러한 역량을 실현하기 위해서는 말레이시아 원료 공급, 산업연구, 상업적 규모의 전개에 있어 막대한 투자가 필요함.

※ From Mine to Magnet (말레이시아 국책연구기관 ISIS 보고서, 2025. 10. 31) Part. 3

1.3 글로벌 희토류(REE) 지형 내 말레이시아의 역할 및 하류 부문 개발 기회

NRES의 추산에 따르면, 말레이시아의 희토류 부문은 2050년까지 약 919억 링깃의 GDP기여와 96,900개의 일자리를 창출할 것으로 예상되며, 대부분의 경제적 가치와 고용은 다운스트림 활동에서 발생할 것으로 보임.
그러나 이 추정치는 AI와 로봇 도입으로 인해 발생할 수 있는 잠재적인 변화는 포함되지 않았다는 점에 유의해야 함.

산업 초기에는 외국의 파트너십, 투자, 전문 지식에 의존할 것으로 예상되지만, 장기적으로는 희토류 지형의 현지화로 전환될 가능성이 높음.

말레이시아 다운스트림 가공 공정은 1차 희토류 수출에 비해 훨씬 더 높은 수익을 창출하며, 종종 초기 가치의 몇 배를 초과하기도 함.
그러나 이러한 잠재력에도 불구하고 희토류 가공은 자본 집약적이고 자원 집약적이며, 치열한 글로벌 가격경쟁과 맞물려 미드스트림 제련업체들의 영업마진을 타이트하게 제한하는 결과를 낳고 있음.
이러한 요인들로 인해, 전체 밸류체인 발전의 촉매제가 되기 위해서는 중류 원료 공급을 위한 견고하고 비용 효율적인 업스트림 추출 공급망이 필수적임.

말레이시아의 산업 지형이 미드스트림 부문에 집중되어 있기는 하지만, 야금(metallurgy), 영구자석 제조, 부품 제작 등 하류 부문으로의 확장에 대한 강력한 명분을 제시하고 있음.
전체 산업 생태계와 투자기회를 개괄적으로 살펴보면, 주요 생산 활동은 산화물 분리 단계에 집중되어 있으며, 말레이시아가 더 큰 경제적 승수 효과를 창출하기 위해서는 국내 사용을 위한 업스트림 역량을 확대하고, 야금, 희토류 가공, 전기차 부품용 자석 제조에 대한 투자를 확대하려는 노력이 필요함.

산화물 수출에 집중하는 기업 차원에서, 라이나스 첨단 소재 공장의 경제적 파급 효과는 주목할 만함.
한 경제 평가 보고서에 따르면 LAMP는 2018년 경제에 9억 7000만 링깃의 GDP 기여를 했으며, 지역 내 산업 간 구매액은 4억 링깃을 넘었고, Kuantan 전체 총 부가가치의 3.7%를 차지한 것으로 추산되고 있음.

라이나스는 2024년 이후 몇몇 주요 양해각서를 체결하였음.
혼합 희토류 탄산엽(Mixed REC)의 이온흡착형 점토(IAC) 가공에 관한 ‘라이나스-켈란탄 업스트림 협력 프레임워크’, 그리고 연간 최대 3,000톤의 NdFeB 영구자석 생산을 위한 한국의 제이에스링크와의 계약 등이 그것 임.
이 외에도 2025년 10월 26일 말레이시아는 미국과 희토류 부문의 협력 및 거버넌스 강화를 목표로 하는 양자 핵심 광물 MOU를 체결하였음.

주 정부와 지방 정부 입장에서 희토류 업스트림 부문은 재정적으로 매력적인데, 토지 및 광물 관련 수입원이 주 재정의 대부분을 차지하기 때문임.
Invest Perak 위원회에 따르면 2023년 페락주는 Kenering 희토류 광산에서 4,000만 링깃(절반은 로열티 수입)의 수익을 거두었음.
그러나 밀반출은 여전히 우려스런 문제임.
닉 나즈미 전 NRES 장관은 의호 답변에서 수출된 현지 희토류 19,081톤 중 약 16,000톤이 불법으로 선적된 것으로 추정된다고 보고하였음.
만약 이 수출 물량에 합법적 과세가 이뤄졌다면, 주 정부 수입은 2억 5000만 링깃에 달했을 것임.

IAC 매장지는 지리적으로 분산되어 있으며, 페락, 케다, 트렝가누, 켈란탄 주가 추정 희토류 매장량의 75%이상을 차지하고 있음.
이는 주 정부들에게 채굴 작업을 확장할 강력한 재정적 인센티브를 제공하지만, 동시에 많은 매장지가 산림 보호구역 내에 위치해 있어 연방과 주정부 간의 조정과 제도적 환경적 플레임워크의 필요성을 부각시킴.

국제적으로 말레이시아는 다변화되는 글로벌 밸류체인에서 중국을 제외한 중요한 공급처로 부상하고 있음.
2024년 미국 지질조사국(USGS)은 말레이시아가 미국 희토류 산화물 수입의 약 13%를 공급했다고 보고했는데, 이는 미중 무역 갈등이 시작된 이후 상승 추세를 반영하는 것임.
그럼에도 불구하고 말레이시아가 전 주기 영구자석 밸류체인을 확보하기 위해서는 제련된 산화물을 금속, 합금, 자석으로 변환하기 위한 국내 투자를 유치하고 견인할 수 있는 국내 역량이 필요함.