[ 글을 시작하기 전에 ]
인공지능의 시대에 어떤 요소가 필요하고 어떤 요소가 더 부각될 것인지 알아두는 것은 미래 산업의 발전 방향을 아는데 많은 도움이 된다.
나아가 인공지능의 발전 방향에 대해서도 지속적으로 고민하는 것도 많은 도움이 된다.
그럼 어떤 요소가 필요하고 인공지능은 어떻게 발전될 것인지 알아보도록 하자.
Ⅰ. 클라우드와 AI의 결합
20세기 초부터 시작된 AI 기술은 대중에게 큰 기대감을 줬다가 이내 실망감을 주고 암흑기에 빠졌다가 다시 기대감을 주는 과정을 수십 년간 반복해왔다.
AI기술이 제대로 된 성과를 내기 시작한 첫 번째 계기는 빅데이터 생태계가 본격적으로 만들어진 것이었다.
빅데이터로 AI모델을 학습시켜야 AI모델의 성능을 끌어올릴 수 있기 때문에 빅데이터는 AI의 연료라 할 수 있다.
AI기술이 더 큰 성과를 내기 시작한 두 번째 계기는 클라우드 기술이 발전하고 보편화한 것이다.
기계학습을 위해서는 우선 방대한 데이터를 수집해야 한다. 이렇게 수집한 방대한 데이터가 빅데이터에 해당하는데, 과거에는 빅데이터를 자체 서버 안에 데이터베이스 형태로 구축한 후 데이터 베이스에 저장했다.
기계학습을 통해 AI 모델의 성능을 목표했던 수준 이상으로 끌어올리기 위해 필요한 빅데이터의 양을 처음부터 제대로 예측하기는 쉽지 않다.
기계학습에 필요한 빅데이터의 양을 크게 예측해서 서버 용량을 크게 정했는데 실제로 필요한 빅데이터의 양이 예측보다 훨씬 적으면 준비한 서버 용량의 상당 부분이 불필요해지게 된다.
반대로 기계학습을 반복하는 과정에서 AI 모델의 성능을 기대 이상으로 끌어올리기 위해 필요한 빅데이터의 양이 예상보다 훨씬 많은 경우에는 서버 용량을 늘려야 하는데, 현실적으로 서버 용량을 즉각 늘리는 것은 매우 어렵다.
물리적인 서버 공간을 늘린다는 것은 사무실 확장 이전에 해당하는 일을 해야 한다는 뜻이고 서버를 구매하고 필요한 설정을 하는 일도 추가로 해야 한다는 뜻이기 때문이다.
이 문제를 해결하는 가장 효과적인 방법은 기계학습에 필요한 빅데이터를 클라우드 안에 저장하는 것이다.
클라우드에 빅데이터를 적게 저장하면 적은 클라우드 사용 요금이 청구되고, 반대로 빅데이터를 많이 저장하면 클라우드 비용이 사용량에 비례해서 청구되기 때문에 예산을 효과적으로 사용할 수 있다.
또한 빅데이터 저장을 위해 필요한 공간을 줄이거나 늘리는 작업을 자체 서버를 구축하는 것보다 훨씬 신속하게 처리할 수 있어서 시간을 아낄 수 있다는 것도 장점이다.
클라우드는 기계학습에 필요한 빅데이터를 저장할 뿐 아니라 기계학습을 위한 컴퓨터 연산을 할 때도 유용하게 사용된다.
기계학습을 할 때 컴퓨터의 두뇌 역할을 하는 CPU가 사용되는데, 성능이 뛰어난 CPU를 사용할수록 기계학습에 필요한 시간이 단축된다.
기계학습은 한 번으로 끝나는 것이 아니라 반복적으로 계속 이어져야 하므로 고사양 CPU를 쓰느냐, 저사양 CPU를 쓰느냐에 따라서 기계학습으로 AI모델을 개발하는 시간이 크게 달라진다.
한편 컴퓨터 게임 등에서 컴퓨터의 그래픽 처리 능력을 향상하는 데 사용하기 위해 기존 CPU를 발전시킨 GPU가 출현했다.
GPU를 암호화폐 채굴에 활용하면 효과적이라는 사실이 밝혀진 이후 GPU가 암호화폐 채굴에도 널리 사용되고 있다.
어떤 CPU, GPU, AI 반도체를 선택하고 어떤 옵션과 사양을 선택하느냐에 따라서 기계학습에 필요한 시간이 크게 달라진다.
그런데 CPU를 직접 자체 서버 안에 구축하면 기계학습 도중에 옵션이나 사양을 수시로 조정하기가 매우 어렵다.
또한 특정 시점에는 기술적 사양과 옵션이 최고였더라도 시간이 지나면 사양과 옵션이 더 뛰어난 제품이 나오기 마련이다.
사용 클라우드 서비스 기업들은 다양한 CPU, GPU, AI 반도체와 매우 세부적인 옵션과 사양을 갖추고 있다.
따라서 특정 옵션과 사양을 선택해서 기계학습을 해본 후 옵션과 사양의 수준을 수시로 높이거나 낮추면 기계학습에 필요한 시간과 비용을 최적화할 수 있다.
기계학습 과정에서 클라우드를 사용하는 것은 이제 필수적인 일이 되었고, 클라우드 서비스와 산업의 발전은 기계학습 기술 발전에도 큰 도움이 되고 있다.
일부에서는 기계학습에 필요한 빅데이터를 클라우드에 저장하면 자체 서버 안에 저장하는 것보다 보안이 더 취약해진다고 오해한다.
자신들에 관한 빅데이터가 다른 회사의 클라우드에 저장되는 상황이 정서적으로 불편하게 느껴질 수 있다.
하지만 보안 사고의 대부분은 내부 직원, 퇴사자, 협력업체 직원 등 내부인과 관련되어 벌어진다는 것을 간과해서는 안 된다.
또한 자체 서버에 기계학습에 필요한 빅데이터를 저장한다고 해서 보안이 더 강력해지는 것은 아니다.
클라우드 서비스 제공 기업은 높은 수준의 보안 기능을 클라우드에 적용하고, 기술을 계속 갱신하고 있어서 자체 서버보다 클라우드의 보안 수준이 일반적으로 더 높다.
클라우드 서비스 제공 기업은 퍼블릭 클라우드를 기업의 특색에 맞게 프라이빗 클라우드 환경으로 구성하여 제공함으로써 보안을 더욱 강화하고 있다.
또한 클라우드에는 수많은 클라우드 수요 기업의 방대한 데이터가 모여 있기 때문에 해커가 보안을 뚫고 클라우드 안으로 침입한다고 해도 목표로 하는 데이터를 정확하게 찾아내기가 매우 어렵다.
실제로 클라우드를 활용해서 기계학습을 해본 실무자들은 클라우드로 기계학습을 하면 보안이 더 강력해진다는 것을 알고 있다.
반면 예산을 결정하는 위치에 있는 의사결정권자들은 자체 서버보다 클라우드가 보안에 더 취약하다고 생각하는 경우가 상대적으로 많다.
이 부분이 한때는 클라우드를 활용하여 기계학습을 하는 과정에서 걸림돌이 되었다.
하지만 시간이 지날수록 의사결정권자들도 클라우드를 활용하여 기계학습을 한다고 해서 보안이 더 취약해지지는 않는다는 사실을 알게 되었다.
비용 측면에서도 자체 서버를 활용하여 기계학습을 하는 것보다 클라우드를 활용하는 것이 훨씬 경쟁력이 높다.
과거에는 기업들이 클라우드 플랫폼에 안에 데이터를 쌓는 데 주력했다면 이제는 이렇게 쌓은 데이터를 어떻게 활용할 것인지가 관건이 되었다.
클라우드 플랫폼에 저장된 방대한 데이터를 활용하는 단계에서 AI를 활용하면 더 효과적이기 때문에 자연스럽게 클라우드와 AI 기술이 결합되고 있다.
Ⅱ. 기계학습의 한계는 무엇인가?
어린이가 모국어를 능숙하게 해낼 때까지 부모와 선생님을 포함한 주위 사람들의 엄청난 애정과 관심, 충분한 시간이 필요한 것처럼 딥러닝, 더 나아가 기계학습으로 똑똑한 AI를 만들기 위해서는 수많은 데이터를 수집하고 데이터를 양질의 AI 학습용 데이터로 만들고, 이렇게 만든 AI 학습용 데이터로 AI 모델을 반복적으로 학습시키는 과정이 필요하다.
이런 일을 하는 데는 만만치 않은 시간, 돈, 인력 투입이 필요하다.
지난 수년간 정부는 예산과 지속적으로 투입하여 양질의 AI 학습용 데이터를 구축하기 위해 노력해왔다.
수십억 원의 예산과 수백 명 이상의 크라우드 워커가 투입되어 1년 가까운 시간 동안 작업해서 특정 분야의 AI 학습용 데이터를 각각 구축하는 일들이 진행되었다.
여기까지 진행된 일은 AI 학습용 데이터를 구축한 것뿐이다. AI학습 데이터로 AI모델을 학습시키고, 이렇게 학습된 AI모델로 AI서비스를 만드는 것은 별도의 일이다.
기계학습을 활용하여 최종적인 AI서비스를 개발하는 데는 많은 돈과 인력, 시간이 필요하다.
또한 AI프로젝트는, 에어컨을 구매해서 설치한 후 전원을 켜면 곧바로 차아운 바람이 나오는 것처럼 미리 만든 AI솔루션을 적용하면 곧바로 성과가 나오는 형태로 진행되지 않는다.
성공적으로 영화를 제작해본 경험이 많은 제작사와 감독도 새 영화를 만들 때마다 기획, 각본, 캐스팅, 의상 준비를 다시 해야 하는 것처럼 AI프로젝트도 매번 주어진 문제를 해결하는 방법을 처음부터 다시 마련해야 한다.
많은 시간, 돈, 인력이 필요한 기계학습의 특성과 영화 제작처럼 매번 새로이 접근해야 하는 AI 프로젝트의 특성이 결합하여 기계학습으로 문제를 해결하는 데는 예상보다 훨씬 더 많은 자원이 필요한 경우가 대부분이다.
따라서 비용 절감을 위해서, 특히 인력 감축을 위해서는 기계학습을 선택하면 기존 방법보다 비용이 오히려 더 증가하고 필요한 인력이 더 많아지는 경우가 흔하다.
결과적으로 기계학습으로 얻을 수 있는 아웃풋보다 기계학습을 위해 투입해야 하는 인풋이 훨씬 더 큰 경우가 많고, 이것이 한때 만능처럼 여겨졌던 기계학습의 한계로 드러나고 있다.
Ⅲ. 기계학습의 대안으로 떠오른 초거대 AI
기계학습은 옷을 직접 만들어 입는 것과 원리가 비슷하다. 즉 직접 누에를 치고 실을 뽑아내서 옷감을 만드는 것과 비슷하다.
이처럼 기계학습으로 AI모델을 개발한 후 AI 모델을 활용한 AI서비스를 직접 만드는 데는 매우 오랜 시간과 비용이 필요하다.
기계학습의 이런 낮은 생산성을 극복하기 위해 대두한 기술이 바로 초거대 AI다.
초거대 AI는 대규모의 컴퓨팅 파워를 동원하고 대규모 빅데이터를 활용하여 AI 모델을 기계학습시켜 범용적으로 사용할 수 있는 AI모델을 개발하는 기술이다.
사용자는 자신의 목적과 필요에 맞게 초거대 AI를 사용하고, 사용량에 따라 비용을 지불한다.
초거대 AI는 옷을 대량으로 만드는 공장을 세우는 것과 같다.
대규모의 자원을 투자할 수 있는 기업이 옷 공장을 세운 후에 옷을 생산하고 소비자는 비용을 지불하고 옷을 구매해서 입는 방식이 바로 초거대 AI를 만들고 사용하는 것과 비슷하다.
Ⅳ. 초거대 AI, 대규모 언어 모델과 AI반도체의 관계
초거대 AI는 대규모 언어 모델을 기반으로 만드는 경우와 대규모 언어 모델과 무관하게 만드는 경우로 나뉜다.
대규모 언어 모델과 무관한 초거대 AI는 주로 기계학습을 활용하여 만든다. 대규모 언어 모델도 기계학습의 일부분이기 때문에 전체 기계학습 분야 중 대규모 언어 모델을 제외한 다른 기계학습으로 초거대 AI를 만드는 것을 기계학습을 활용하여 초거대 AI를 만드는 경우라고 볼 수 있다.
대규모 언어 모델을 활용하여 초거대 AI보다 규모가 작은 AI서비스를 만들어서 활용할 수도 있다.
즉 대규모 언어 모델로 초거대 AI를 만드는 경우와 그보다는 작은 AI서비스를 만드는 경우로 나눌 수 있다.
대규모 언어 모델을 학습시키는 과정은 한 번으로 끝내지 않고 연중 반복적으로 계속해야 한다.
이런 일을 해내기 위해서는 많은 컴퓨터를 동원해야 하는데, 이때 컴퓨터의 성능이 충분히 뛰어나지 않으면 대규모 언어 모델을 학습시키는 데 매우 많은 시간이 필요하다.
시간이 많이 필요하다는 것은 결국 그만큼 더 많은 돈이 필요하다는 뜻이 된다.
그래서 대규모 언어 모델을 효과적이고 주기적으로 학습시키기 위해 초거대 AI모델 개발사에서는 CPU보다 최적화된 AI 반도체 NPU를 사용한다.
NPU는 AI 작업에 특화된 전문가 도구다. 자동차에 비유하면 CPU는 다용도로 활용할 수 있는 승용차, NPU는 대량 운송에 특화된 화물 트럭과 같다.
CPU는 다양한 작업을 처리할 수 있는 범용성 덕분에 소규모의 복잡한 연산이나 여러 종류의 작업을 동시에 수행하는 데 적합한 반면, AI 연산처럼 계산 자체는 비교적 단순하나 계산량이 매우 많고 반복적인 작업에서는 상대적으로 비효율적이다.
NPU는 AI작업을 빠르고 효율적으로 처리하도록 설계되었으며, 대규모 병렬 연산에 최적화되어 높은 성능을 발휘한다.
AI 반도체는 AI모델을 학습시키는 과정에서 사용하는 것과 학습된 AI모델을 활용하는 과정에서 사용하는 것으로 나뉜다.
AI모델을 학습시킬 때 쓰이는 AI반도체를 사용하면 AI모델 학습을 좀 더 빠른 시간 안에 할 수 있다.
이미 학습이 된 AI모델을 활용하는 과정에서 CPU를 사용하면 시간이 많이 소요될 수 있다.
AI모델을 활용하는 과정에서 AI반도체를 사용하면 이 시간을 단축할 수 있다.
결과적으로 대규모 언어 모델을 학습시키고, 학습된 대규모 언어 모델을 활용할 때 AI반도체가 필요하고, 대규모 언어 모델을 기반으로 초거대 AI를 만들 때뿐만 아니라 대규모 언어 모델 없이 기계 학습으로 초거대 AI를 만들 때도 AI반도체가 필수적으로 필요하다.
[ 글을 마치며 ]
인공지능이 왜 필요한지에 대해서 먼저 상상해보자.
도서관에 갔을 때에 수많은 책 중에 내가 원하는 책이 어디인지 알기 위해서는 컴퓨터를 찾아서 검색해야 한다.
만약 이 시스템이 존재하지 않는다면 우리는 결과물을 찾는데 너무 많은 시간이 걸릴 것이다.
그래서 시스템을 구축해야 하는데 이를 위해서는 시스템화 시킬 수 있는 데이터가 필요하게 된다.
데이터는 시간이 갈수록 점점 더 많아지게 되는데 방대한 데이터의 양을 처리하는 컴퓨터의 속도가 또 문제가 된다.
도서관이라는 공간에서 벗어나 동영상이라는 것을 찾는다고 바꿔서 생각해보자.
동영상은 데이터의 용량이 매우 크기 때문에 검색하는 데 더 오랜 시간이 걸린다.
그리고 동영상의 정확한 제목을 모를 경우 검색이 안 될 수도 있다.
나아가 완전히 존재하지 않는 데이터를 찾기 위해서는 먼저 데이터를 만들어야 하는 과정도 거쳐야 한다.
결국 모든 것의 시작은 데이터의 유무에서 시작되게 된다.
현재 세상은 모든 것이 데이터화 되어서 변화되고 있는 과정에 있다. 데이터의 축적이 점점 더 가속화되고 있고 더 많은 것들이 데이터로 축적되고 있다.
데이터는 앞으로도 엄청나게 늘어날 것이고 더 빠른 속도로 증가하게 될 것이다.
이 중에서 어떤 것이 좋은 데이터인지 나쁜 데이터인지를 판단하기는 어렵다.
이 때문에 데이터를 더 많이 저장해야 하는 공간이 필요하게 되고 더 빨리 데이터를 검색하고 처리하는 과정이 필요해지게 된다.
이를 위해서 인공지능이 필요해지게 되는 것이다. 더 많은 것을 검색하고 더 빠르게 검색하고 더 정확하게 검색하는 인공지능의 개발을 우리는 점점 더 요구하게 되는 것이다.
인공지능의 발달이 더 많이 생겨날 수 있고 더 빨리 발전하게 될 수도 있다.
인공지능의 학습과 발달을 위해서도 현재의 기술로는 극복하지 못하는 것이 있는데 그것이 바로 반도체이다.
과거의 반도체에 비해서 현재의 반도체는 비약적인 발전을 이루었지만 인간이 생각하는 상상력의 기술을 얻기 위해서는 전혀 다른 레벨의 반도체가 필요하게 될 수 있다.
마치 예전에는 100마이크로 미터 공정이 최선이라고 생각했는데 현재는 100나노도 아닌 4나노 나아가 2나노에 도전하고 있다.
2나노 공정을 완성하고 난 다음에는 공정 기술력이 정체될 것인가? 그렇지 않다고 생각한다.
마치 최초의 휴대폰이 엄청난 크기를 자랑하면서도 지금보다 떨어지는 성능을 보였듯이 앞으로의 반도체는 분명 미래에는 사용하기 어려운 수준의 반도체 기술력으로 보여질 수 있을 것이다.
인간이 만들어내는 데이터와 이를 처리하기 위한 반도체 기술의 발전, 새로운 성능을 지원하는 로직의 개발은 우리가 기대하는 수준의 인공지능 발전을 실현시킬 것으로 생각한다.
무엇을 상상하던 그 이상의 결과물이 나올 수 있고 더 큰 상상을 요구하는 시대가 도래할 수 있을 것이라는 생각이 든다.
더 많은 것들에 대해서 고민해 볼 수 있어야 하겠다.
참고 도서 : 이것이 생성형 AI다 ( 김명락 )
* 박천욱님의 더 많은 생각이 궁금하다면?
✅ https://brunch.co.kr/@grandmer
