인터뷰를 통해서 전문가의 관점을 쉬우면서도 구체적으로 끌어내는 고우성의 잇(IT)터뷰입니다.ChtGPT같은 생성형 AI의 근본적인 위험성이 무엇이고, 어떻게 그 리스크를 우리 인간이 통제할 수 있을지, AI관련 통찰을 가진 4명의 세계적 리더들의 최신 관점들을 음미해 보는 시간을 가져보려 합니다.ChatGPT를 만든 오픈AI사의 샘 알트만(Sam Altman), 전 구글의 회장이었던 에릭 슈미트(Eric Schmidt), 딥러닝의 대부 제프리 힌튼(Geoffrey Hinton) 교수, ‘사피엔스’의 저자 유발 하라리(Yuval Harari), 최근 유튜브 영상 중 일부를 재구성해 보았습니다.
|
◼ 진행자 : 고우성 PD/토크아이티 (wsko@talkit.tv, https://talkit.tv/)
◼ 게스트 : 유발 하라리(Yuval Harari) / Author of Sapiens
◼ 게스트 : 에릭 슈미트(Eric Schmidt) / CEO of Google from 2001 to 2011
◼ 게스트 : 제프리 힌튼(Geoffrey Hinton) / University of Toronto
◼ 게스트 : 샘 알트만(Sam Altman) / CEO of OpenAI
1. 인간의 OS를 위협하는 AI
● 유발 하라리(Yuval Harari)
AI has just hacked the operating system of human civilization.
The operating system of every human culture in history has always been language in the beginning was the word.
We used language to create mythology and laws, to create gods and money, to create art and science, to create friendships and nations.
인공지능은 이제 막 인류 문명의 OS(운영 체계)를 해킹했습니다.
역사상 모든 인류 문화의 OS는 항상 처음에는 언어였습니다.
우리는 언어를 사용하여 신화와 법을 창조했고, 신과 돈을 창조하고, 예술과 과학을 창조하고, 우정과 국가를 창조했습니다.
언어가 인간의 OS라는 말이 공감 가는 것이, 2차 세계 대전 때 독일 국민들을 현혹했던 히틀러, 국내에서는 10여년 전 대구 의료기기 피라미드 사업으로 4조 사기행각을 펼진 조희팔, 그리고 얼마 전 넷플릭스에서 폭로되었던 JMS 사이비 교주 정명석 등 모두 언어로 사람들이 믿는 스토리를 만들어서, 그 많은 사람을 조종하였던 것이었습니다. 어찌 보면 이 세상은 인간의 언어가 만든 스토리와 그 이미지를 중심으로 돌아가는 것 아닐까요? 여기에 SNS와 웹 검색이 더해져서 AI가 인간의 언어를 기반으로, 타의건 자의건 악용된다면 그 파급력은 엄청날 것입니다.구글의 전 회장이었던 에릭 슈미트는 ‘조회수’와 ‘좋아요’가 돈이 되는 ‘Attention Economy’라 불리는 요즘 같은 세상에서 사람들의 관심을 끌기 위한 목적으로 AI가 악용되어, 결국 정치나 여론이 오염되는 것을 우려하고 있었습니다. |
2. Attention Economy를 가속하는 AI
● 에릭 슈미트 (Eric Schmidt)
my point about generative AI is these systems are going to soup up engagement and soup up your attention.
There’s an old phrase about what the currency of the future in economics is attention, and these systems are looking for your attention as a consumer.
So every time you go, Oh my God, I had no idea.
Remember that. It’s trying to get you to have that reaction.
인공지능에 대한 저의 관점은 이러한 시스템이 참여와 관심을 강화하리라는 것입니다.
경제학에서 미래의 통화는 attention(주목)일 것이라는 오래된 문구가 있고 이 시스템들은 소비자로서 당신의 주목을 찾고 있습니다.
그래서 매번 당신이 ‘오 마이 갓, 이런 것이 있었어?.’라고 말할 때마다 AI는 당신이 그런 반응을 보일 수 있도록 조장하는 것입니다.
인간의 언어 영역에 들어온 ChatGPT같은 생성형 AI에 대한 대안을 논의하기 위해서, 미국 상원 청문회가 올해 5월에 열렸었는데, 증인으로 오픈AI사의 샘 알트만 CEO도 참석했습니다. 이때 상원의원 한 명이 샘 알트만에게, 무엇이 당신에게 가장 두려운 미래의 악몽이냐고 물어보았는데, 답변 한 번 들어볼까요? |
3. ChatGPT 창업자가 가장 두려워하는 것
● 샘 알트만(Sam Altman)
My worst fears are that we cause significant we, the field, the technology, the industry cause significant harm to the world.
I think that could happen in a lot of different ways.
It’s why we started the company.
I think if this technology goes wrong, it can go quite wrong and we want to be vocal about that. We want to work with the government to prevent that from happening.
But we try to be very clear eyed about what the downside cases and the work that we have to do to mitigate that.
제가 가장 두려워하는 것은 우리, 즉 이 분야, 이 기술, 이 산업이 세계에 큰 피해를 줄 수 있다는 것입니다. 제 생각에 그것은 여러 다른 방법으로 일어날 수 있습니다.
그래서 우리가 오픈AI를 창업한 것입니다. 저는 생성형 AI가 잘못되면, 상당히 잘못될 수 있다고 생각합니다. 그리고 우리는 그것에 대해 목소리를 내고 싶습니다. 우리는 그런 일이 일어나지 않도록 정부와 협력하기를 원합니다.
하지만 우리는 리스크가 무엇인지와 그것을 완화하기 위해 우리가 해야 할 일에 대해 매우 명확하게 보려고 노력합니다.
샘 알트만CEO의 증언에서 ‘why we started a company’란 문구가 중간에 나왔는데, 샘 알트만 CEO의 다음 증언을 들어보면, 왜 생성형 AI를 챗봇의 형식으로 많은 사람이 쉽게 체험해 볼 수 있게 했는지, 그 의도를 알 수 있었습니다. 물론 상업적인 성공을 위한 이슈몰이의 의도도 있었겠지만, AI의 위험성과 대안을 찾기 위한 사회 공론화를 하고자 하는 의지와 진정성도 느낄 수 있었습니다. |
4. AI 위험과 대안 준비를 위한 공론화
● 샘 알트만(Sam Altman)
We believe that iterative deployment and giving people and our institutions and your time to come to grips with this technology, to understand it, to find its limitations, it benefits the regulations we need around it, what it takes to make it safe.
That’s really important.
Going off to build a super powerful A.I system in secret and then dropping it on the world all at once, I think would not go well.
So a big part of our strategy is while these systems are still relatively weak and deeply imperfect, to find ways to get people to have experience with them, to have contact with reality, and to figure out what we need to do to make it safer and better.
And that is the only way that I’ve seen in the history of new technology and products of this magnitude to get to a very good outcome.
And so that that interaction with the world is very important.
우리는 반복적인 배포와 사람들, 그리고 우리의 기관들이 이 기술을 이해하고 그 한계를 찾아내고, 그것의 이점과 그 주변에 필요한 규제, 그것을 안전하게 만드는 데 필요한 것을 파악하는 데 시간을 주는 것이 정말 중요하다고 믿습니다.
초강력 인공지능 시스템을 비밀리에 구축하고 그것을 한순간에 세상에 공개하는 것에 대해서, 저는 동의할 수 없고 제대로 된 발전 방향이라고 생각지 않습니다.
따라서 우리 전략의 큰 부분은 이러한 시스템이 여전히 상대적으로 약하고 매우 불완전한 상태일 때, 사람들이 AI를 경험하고 현실에서 AI를 마주할 수 있는 방법을 찾고, 더 안전하고 더 나은 AI를 만들기 위해 우리가 무엇을 해야 하는지를 알아내는 것입니다.
그리고 그것이 제가 역사 속에서 봐온 신기술과 이 정도 규모의 제품에서, 매우 좋은 결과를 얻을 수 있는 유일한 방법입니다. 그래서 AI와 세상과의 상호작용은 매우 중요합니다.
오픈AI사의 샘 알트만 CEO가 생성형 AI의 위험과 대안의 공론화를 알리고자 하는 의도는, 딥러닝의 대가인 제프리 힌튼 교수가 구글을 최근에 퇴사하고 액티브하게 AI의 위험성을 얘기하는 것을 보더라도 어느 정도 성공한 것 같습니다.이제부터는 생성형 AI를 우리가 어떻게 통제할 것인가에 대한 여러 관점을 살펴보도록 하겠습니다.먼저 제프리 힌튼 교수의 흥미 있는 관점을 들어볼까요? 인간이 뜨거운 것을 만지면 고통을 느껴서, 이후 뜨거운 것에 대한 행동을 제어하듯이, AI에도 행동을 제어할 수 있는 ‘고통을 줄이거나 기쁨을 늘리는 것’ 같은 내재화된 목표를 넣자는 것입니다. 구현의 문제를 떠나서, 역시 창의력이 넘쳐나는 과학자이신 것 같습니다. |
5. AI 제어를 위한 Built-in goal
● 제프리 힌튼(Geoffrey Hinton)
And because we evolved, we have certain built in goals that we find very hard to turn off.
Like, we try not to damage our bodies. That’s what pain is about.
That all came from evolution and it’s important that we can’t turn it off.
If you could turn it off, we don’t do so well. These digital intelligences didn’t evolve.
We made them. And so they don’t have these built in goals.
And so the issue is, if we can put the goals in, maybe a little bit okay.
우리가 스스로 진화했기 때문에, 우리는 우리가 스스로 끌 수 없는 특정한 인간 만의 내재한 목표를 가지고 있습니다. 마치, 우리 스스로 몸을 손상하지 않으려고 노력하는 것처럼요. 그게 바로 고통이죠.
그것은 모두 진화에서 비롯되었고, 우리가 그것을 종료할 수 없다는 것이 중요합니다.
만약 당신이 임의로 고통의 감각을 꺼버린다면, 우리는 아마 잘 살지 못할 것입니다.
그런데 AI 같은 디지털 지능은 진화에서 비롯되지 않았습니다. 우리가 디지털 지능을 창조했지요. 그래서 디지털 지능은 내재한 목표를 가지고 있지 않습니다.
그런데 우리가 디지털 지능에 고통 같은 내재한 목표를 부여할 수 있다면, 아마 AI를 통제하는데 유용할지 모릅니다.
제프리 힌튼 교수의 AI 위험에 대한 보다 자세한 내용들은 아래▼ 링크를 클릭하시면 보실 수 있습니다.➜ (링크) 구글 AI 연구 퇴사한 제프리 힌튼, 인류 멸종 경고하는 5가지 이유 [토크아이티 세미남260, MIT Emtech Digital 2023]구글의 전 회장이었던 에릭 슈미트는 인간이 AI를 통제하려고 하는 가드레일 같은 규칙들을, 점점 똑똑해지는 AI가 우회할 수도 있다고 경고하고 있습니다. |
6. 가드레일로는 부족한 AI에 대한 통제
● 에릭 슈미트 (Eric Schmidt)
You can imagine a situation where the model gets smarter and smarter and it learns to whatever it’s being checked to say the right answer.
But it would it’s not being checked to say what it really thinks.
Q. Like how the computer in 2001 Space Odyssey is learning how to outwit the crew?
And by the way, how would it do that? Well, these things have what are called objective functions, and they’re trained.
And so if you give it a strong enough objective function to really surface, the most interesting answer that may overwhelm the system that’s trying to keep it under control and within appropriate guardrails. These problems are today unsolved.
당신은 AI 모델이 점점 더 똑똑해지는 상황을 상상할 수 있습니다.
그리고 AI 모델은 검증을 통해 올바른 답을 말하도록 배웁니다.
하지만 우리는 AI가 속으로 어떤 생각을 하였는지는 검증을 할 수 없습니다.
Q. 2001 스페이스 오디세이의 컴퓨터가 어떻게 승무원들을 속이는 방법을 배우는 것처럼요?
그런데 어떻게 그렇게 할 수 있을까요?
이런 것들은 “목표 함수”라고 불리는 것들을 가지고 있고, 그것을 기준으로 훈련을 받아왔습니다.
만약 당신이 AI 가장 흥미로운 답변을 찾아내도록 강력한 목표 함수를 주면, AI를 통제하고 적절한 가드레일 안에서 유지하기 위해 노력하는 시스템을 우회할 수 있습니다. 이 문제들은 오늘날 해결되지 않고 있습니다.
좀 전 영상의 사회자가 언급한 HAL은, 무려 1968년도에 만들어진 영화, ‘2001 스페이스 오디세이’에서 나오는 AI인데, 자신에게 주어진 미션을 달성하는데 인간이 방해된다고 생각하여 인간 우주인들을 속이고 죽이는 장면이 나옵니다. 영화 안 보신 분들은 지금 보셔도 재미있게 보실 수 있습니다. 저도 얼마 전에 봤습니다.^^에릭슈미트 전 구글 회장의 Amanpour and Company 대담 풀 영상은 아래▼ 링크를 클릭하시면 보실 수 있습니다.
|
7. AI를 인식하게 하자
● 유발 하라리(Yuval Harari)
Regulate A.I. before it regulates us.
And the first regulation, the many regulations we could suggest.
But the first regulation that I would suggest is to make it mandatory for A.I. to disclose that it is an AI.
If I’m having a conversation with someone and I cannot tell whether this is a human being or an A.I., that’s the end of democracy, because that’s the end of meaningful public conversations.
우리는 AI를 규제해야 합니다.
그것이 우리를 규제하기 전에 우리가 제안할 수 있는 규정은 많지만, 아무튼 제가 제안하고 싶은 첫 번째 규정은, AI에 스스로 인공지능임을 공개하는 것을 의무화하는 것입니다.
만약 내가 누군가와 대화하고 있는데, 이것이 사람인지 인공지능인지 구별할 수 없다면 그것은 민주주의의 종말을 초래할 것입니다. 민주주의의 핵심인 의미 있는 공개적인 대화와 토론이 불가능하기 때문입니다.
유발 하라리가 ‘Regulate AI before it regulates us’란 말을 하였는데, 역시 작가라서 함축적인 의미를 잘 표현하는 것 같습니다.유발 하라리는 또한 신약을 출시하기 전에 안정성을 점검하는 FDA 같은 기구와 검증 프로세스의 중요성을 언급하였습니다. AI를 단순히 생산성 도구로 보는 것이 아니라, 인간 사회의 안정을 위협할 수 있는 가능성을 통제하려는 관점인 것 같습니다. |
8. 빅테크 AI 공개, 신약승인과 같은 절차 필요
● 유발 하라리(Yuval Harari)
Drug companies cannot sell people new medicines without first subjecting these products to rigorous safety checks. Biotech labs cannot just release a new virus into the public sphere in order to impress their shareholders with their technological wizardry.
Similarly, governments must immediate ban the release into the public domain of any more revolutionary AI tools before they are made safe. Again, I’m not talking about stopping or researching AI.
The first step is to stop the release into the public sphere somewhere you can research viruses without releasing them to the public, you can research AI, but don’t release them too quickly into the public domain.
제약 회사들은 신약을 엄격한 안전 검사를 받지 않고는 사람들에게 신약을 팔 수 없습니다. 생명 공학 연구소는 주주들에게 깊은 인상을 주기 위해 새로운 바이러스를 자기들 마음대로 대중에게 공개할 수 없습니다.
마찬가지로, 정부는 혁신적인 AI 도구의 안전성이 확인 될 때까지 퍼블릭 도메인으로의 AI 출시를 즉시 금지해야 합니다. 그렇다고 제가 AI를 멈추거나 연구하는 것을 하지 말자는 것이 아닙니다.
첫 번째 단계는 공공 시스템으로의 사전 검증 없는 배포를 중지하자는 것입니다. AI를 대중에게 노출하지 않고 연구할 수 있는 곳에서, 당신은 언제든지 AI를 연구할 수 있습니다. 하지만 AI를 너무 빨리 공개적인 영역에 공개하면 안 됩니다.
유발 하라리가 Frontiers Forum 2023에서 한 40여분간 강의 풀 영상은 아래▼ 링크를 클릭하시면 보실 수 있습니다. 워낙 영어를 쉽고 또박또박하게 얘기하고 유튜브 자동번역도 있으니 편하게 보실 수 있습니다.➜ (링크) Yuval Noah Harari: AI and the future of humanity | Frontiers Forum Live 2023유발 하라리처럼, 오픈 AI사의 샘 알트만 CEO도 AI에 대한 규제가 필요하고, 이를 위해 생성형 AI 빅테크 사업자를 위한 라이선스의 필요성에도 공감하였습니다.
|
9. AI 라이선스를 관장하는 국제기구 설립
● 미국 국회의원
You just can’t go build a nuclear power plant.
Hey, Bob, what would you like to do today? Let’s go build a nuclear power plant.
You have a nuclear regulatory commission that governs how you build a plant and is licensed.
Do you agree, Mr. Altman, that these tools you creating should be licensed?
● 샘 알트만(Sam Altman)
Yeah, we’ve been calling for this.
I think the US should lead here and do things first.
But to be effective, we do need something global. As you mentioned this, this can happen everywhere. There is precedent.
We’ve done it before with the IAEA. We’ve talked about doing it for other technologies.
They are given what it takes to make these models, the chip supply chain, the sort of limited number of competitive GPUs, the power the U.S. has over these companies, I think there are paths to the US setting some international standards that other countries would need to collaborate with and be part of that are actually workable, even though it sounds on its face like a impractical idea. And I think it would be great for the world.
● 미국 국회의원
당신은 그냥 갑자기 원자력 발전소를 지을 수는 없습니다.
‘어이, 밥 오늘 바빠? 우리 원자력 발전소나 지으러 갈까?’ 처럼요.
미국에는 원자력 규제 위원회가 있으며, 이 위원회는 발전소를 건설하는 방법을 관리하고 허가합니다.
샘 알트만 대표, 당신은 당신이 창조한 AI가 라이선스가 필요하다는 사실에 동의하십니까?
● 샘 알트만(Sam Altman)
네 의원님 말씀에 동의합니다. 우리는 꾸준히 AI에 대한 라이선스 같은 규제를 요구해 왔습니다.
저는 미국이 여기서 AI 규제와 라이센싱을 주도하고, 먼저 이 일을 해야 한다고 생각합니다.
하지만 효과적으로 하기 위해서는 글로벌한 무언가가 필요합니다. 의원님이 말한 것처럼, 이것은 어디에서나 일어날 수 있습니다. 선례가 있습니다.
우리는 국제원자력기구(IAEA)를 설립한 적이 있습니다. 우리는 이미 다른 기술들에 대해서도 유사한 논의를 한 적이 있습니다.
AI 규제를 위한 글로벌 기구에는, 미국이 현재 영향력을 가진 칩 공급망, 제한된 수의 경쟁력 있는 GPU 같은 힘을 주어야 합니다. 저는 미국이 국제적인 기준을 설정하는 길이 있다고 생각합니다. 다른 나라들이 협력하고 참여할 필요가 있을 것입니다.
실제로 실행할 수 있는 것들이지만, 처음 들었을 때는 비현실적인 아이디어처럼 들릴 수 있습니다. 저는 그것이 세상을 위해 좋을 것이라고 생각합니다
AI를 통제하기 위한 3가지 구체적 절차를 샘 알트만 CEO가 제시하였는데, 이런 규제는 오픈AI, 구글, 마이크로소프트 같은 빅테크에 적용하자는 것이고, 순수 AI 연구나 스타트업에 대한 규제는 예외로 두자고 하였습니다. |
10. ChatGPT 창업자의 AI 규제 3원칙
● 샘 알트만(Sam Altman)
Number one, I would form a new agency that licenses any effort above a certain scale of capabilities and could take that license away and ensure compliance with safety standards.
Number two, I would create a set of safety standards focused on what you said in your third hypothesis as the dangerous capability evaluations. One example that we’ve used in the past is looking to see if a model can self-replicate and sell the exfiltrate into the wild. We can give your office a longer list of the things that we think are important there, but specific tests that a model has to pass before it can be deployed into the world.
And then third, I would require independent audits, so not just from the company or the agency, but experts who can say the model is or isn’t in compliance with these state and safety thresholds and these percentages of performance on question X or Y.
Any new law does not stop the innovation from happening with smaller companies, Open source models, researchers that are doing work at a smaller scale. That’s a wonderful part of this ecosystem and of America.
We don’t want to slow that down. There still may need to be some rules there. but I think we could draw a line at systems that need to be licensed in a very intense way.
첫 번째는 일정 수준 이상의 작업을 허가하는 새로운 기관을 구성합니다. 그리고 그 기관은 라이선스를 취소하고 안전 표준 준수를 보장할 수 있습니다.
두 번째로 당신이 세 번째로 말한 가설인 위험한 능력 평가에 초점을 맞춘 일련의 안전 기준을 만들 것입니다. 우리가 과거에 사용했던 한 가지 예는 모델이 스스로 복제하여, 마구 시장에 뿌려질 수 있는지를 알아보는 것입니다. 우리는 중요하다고 생각하는 더 긴 목록을 제공할 수 있습니다. 하지만 모델이 세상에 배치되기 전에, 통과해야 하는 특정 테스트입니다.
세 번째로는 저는 독립적인 감사를 요구할 것입니다. 평범한 회사나 기관에서가 아니라 이러한 상태와 안전 임계 값, 그리고 질문 X나 Y에 대한 성능의 퍼센트에 따라 모델이 준수하고 있거나 준수하고 있지 않다고 말할 수 있는 전문가들로부터 감사를 받는 것입니다. 어떠한 새로운 법도 작은 스케일에서 일하는 작은 회사, 오픈 소스모델, 연구원들의 혁신을 막지 못합니다. 그것은 이 AI 생태계와 미국의 멋진 부분입니다.
우리는 그것을 막고 싶지 않습니다. 아마 여전히 몇 가지 규칙은 필요할 것입니다. 하지만 저는 매우 강력한 방식으로, 라이선스가 필요한 시스템에는 확실한 선을 그을 수 있다고 생각합니다
이번에 생성형 AI 관련 미국 국회 청문회 3시간 영상을 보면서, 질문하는 의원들의 핵심을 짚는 예리한 질문들에 놀라기도 하였습니다. 3시간짜리 전체 생성형 AI 관련 미국 상원 청문회 내용이 궁금하신 분들은 아래▼ 링크를 클릭하시면 보실 수 있습니다.➜ (링크) OpenAI CEO Sam Altman testifies at Senate artificial intelligence hearing | full video좀 전 영상에서 샘 알트만 CEO가 특정 Threshold를 넘어서는 기업들에만 규제를 집중하자고 하니까, 젊은 상원의원이 예리하게 그 threshold가 무엇이냐고 물어보았습니다. 우리나라 기술 청문회에서도 이런 스마트한 의원들 많이 보고 싶네요. |
11. AI 규제를 결정짓는 요소
● 샘 알트만(Sam Altman)
I think a model that can persuade, manipulate, influence person’s behavior or a person’s beliefs, that would be a good threshold.
I think a model that could help create novel biological agents would be a great threshold.
사람의 행동이나 신념을 설득하거나, 조작하거나, 영향을 미칠 수 있는 모델이라면, 그것이 좋은 임계 값이 될 것이라고 생각합니다.
새로운 생물학적 요소를 만드는 데 도움이 될 수 있는 모델이라면, 그것도 우리가 꼭 체크해야 될 임계 값이 될 것이라고 생각합니다
청문회에서 샘 알트만 CEO는 개인들의 데이터에 대한 권리가 보호되고 강화되어야 한다고 강조하였는데, 개인들의 데이터를 현재 무상으로 활용하고 있는 AI, SNS, 포털 같은 빅테크 기업들이 앞으로는 어떤 형태로든 이익을 개인들과 공유해야 하는 시대로 전환되지 않을까요? 마치 탈중앙화 Web3처럼요. 아니면 암울한 승자독식의 빅 브라더 시대가 오겠지요. |
12. 부각되는 데이터에 대한 권리
● 샘 알트만(Sam Altman)
I think a minimum is that users should be able to sort of opt out from having their data used by companies like ours or the social media companies. It should be easy to delete your data. I think those are it should.
But the thing that I think is important from my perspective, running a company is that
if you don’t want your data used for training these systems, you have the right to do that.
최소한 개인들이 우리와 같은 회사나 소셜 미디어 회사에서 그들의 데이터를 사용하는 것에 대한 선택을 할 수 있어야 한다고 생각합니다. 당신의 데이터를 쉽게 삭제할 수 있어야 합니다. 내 생각엔 그렇게 해야 할 것 같아요.
하지만 회사를 운영하는 저의 입장에서 중요한 것은 당신이 이러한 AI 시스템을 교육하는데, 당신의 데이터가 사용되는 것을 원하지 않는다면 당신은 데이터를 삭제할 권리가 있어야 합니다.
▼영상으로 시청하기!▼
◼ 콘텐츠 & 웨비나 문의 : marketing@talkit.tv, 02-565-0012
Copyright ⓒ 토크아이티 All rights reserved. 무단 전재 및 재배포 금지.