같은 AI를 쓰는데, 왜 결과물의 수준은 이렇게 다를까?

요즘 Claude나 ChatGPT, Gemini 같은 생성형 AI를 업무에 사용하시는 분들이 정말 많습니다.

특히 소프트웨어 개발 분야에서는 그 변화가 더욱 두드러집니다.

예전에는 개발자가 직접 코드를 작성하던 일을 이제는 AI에게 설명하고, AI가 작성한 코드를 검토하고 수정하는 방식으로 바뀌었습니다.

저 역시 최근에는 AI를 업무의 개발뿐 아니라 기획, 사업관리 등 거의 모든 분야에 활용하고 있습니다.

그러면서 계속 드는 생각이 하나 있습니다.

"똑같은 AI를 사용하는데도 사람마다 만들어내는 결과물의 수준은 왜 이렇게 다를까?"

처음에는 단순히 프롬프트를 잘 쓰는 사람과 그렇지 않은 사람의 차이라고 생각했습니다.

(물론 이 부분도 어느 정도는 맞는 말이죠.)

그런데 AI를 오랫동안 사용하다 보니, 그것만으로 설명하기에는 부족하다는 생각이 점점 강해졌습니다.

요즘 제가 느끼는 것은 오히려 AI에게 일을 시키는 것이 직장 동료에게 일을 시키는 것과 상당히 비슷하다는 것입니다.

일을 어떻게 시키느냐에 따라 결과가 달라진다.

회사에서 일을 해보면 비슷한 경험이 많습니다.

누군가에게 그냥 "이러이런거 좀 만들어 주세요." 라고 이야기 하는 것과,

왜 필요한지, 누가 사용하는지, 앞뒤 업무는 어떻게 연결되는지,

어떤 부분이 중요한지까지 설명하면서 일을 맡기는 것은 완전히 다른 결과를 가져옵니다.

그리고 사실 업무 지시보다도 피드백에서 더 큰 차이가 난다고 생각합니다.

"뭔가 좀 이상한데 다시 해주세요." 라고 이야기하는 것과

"이 구조로 가면 추후 업무가 확장될 때 제한이 발생할 것 같습니다. 이 부분의 책임을 분리하고 데이터 구조도 같이 바꾸는 게 좋겠습니다."

라고 이야기하는 것은 완전히 다릅니다.

AI도 마찬가지입니다.

막연하게 일을 시키면 일단 뭔가를 만들어 주고 겉으로 보기에도 꽤 그럴듯합니다.

핵심은 그 결과물이 정말 좋은 결과물인지 아닌지를 판단하는 것입니다.

AI가 항상 틀린 답을 이상하게 만들어 주는 것은 아닙니다.

오히려 가장 곤란한 것은 틀렸는데도 그렇듯하게 만들어 준다는 점입니다.

결국 내가 알아야 제대로 시킬 수 있다.

AI를 많이 쓰다 보니 오히려 이런 생각을 자주 하게 됩니다.

AI에게 제대로 일을 시키려면 결국 내가 그 일을 알아야 하는구나.

그리고 AI가 만들어내 결과물에 제대로 피드백을 주려면 더 많은 지식과 경험이 필요하구나.

소프트웨어 개발도 그렇습니다.

AI에게 시스템을 하나 설계해 달라고 하면 아키텍처도 만들고, DB도 설계하고, 코드까지 작성해 줍니다.

마찬가지로 처음 보면 꽤 그럴듯합니다.

그런데 경험이 있는 사람이 보면 다른 것들이 보입니다.

지금은 되겠지만 데이터가 늘어나면 문제가 생기겠다거나,

실제 업무는 저렇게 흘러가지 않는다거나,

이 구조로 만들면 다른 시스템과 연계할 때 문제가 생기겠다거나,

중요한 예외 상황이 빠져 있는 것이 보이기도 합니다.

결국 문제가 있다는 것을 알아차릴 수 있는 사람이 있어야 합니다.

그리고 이런 판단력은 단순히 많은 지식을 알고 있다고 생기는 것만은 아닙니다.

실제로 만들어 보고,

실패도 해보고,

운영하면서 문제가 생기는 것도 보고,

잘못된 설계를 유지보수해 보기도 하고,

계속 바뀌는 요구사항을 경험하면서 조금씩 쌓이는 것입니다.

(결국 사람은 직접 경험한 지식만이 진정한 자기의 것이 되기 때문이지요.)

저 역시 예전에 했던 여러 판단들이 지금 다시 보면 왜 그렇게 했나 싶은 것들이 많습니다.

하지만 그런 경험들이 있었기 때문에 다음에는 조금 다른 선택을 할 수 있었습니다.

AI에게 피드백을 줄 때도 결국 그런 경험들이 사용됩니다.

AI가 깊이를 채워줘도 방향은 사람이 정해야 한다.

AI를 많이 사용하면서 또 하나 느끼는 것은, 사람이 모든 세부 지식을 머릿속에 가지고 있어야 할 필요는 점점 줄어들고 있다는 점입니다.

모르는 것이 있으면 AI에게 물어볼 수 있습니다.

기술 문서를 조사할 수도 있고, 생소한 분야를 설명받을 수도 있고, 필요하면 실제 코드까지 만들어 볼 수 있죠.

예전 같으면 두꺼운 책을 잡고 수주를 공부해야 익힐 수 있었던 영역을 훨씬 빠르게 살펴볼 수 있게 되었습니다.

그렇다고 사람의 지식이 중요하지 않아진 것은 아닙니다.

오히려 반대로,

어디를 봐야 하는지, 무엇이 중요한지, 어떤 방향으로 가야 하는지를 판단할 수 있는 지식과 경험이 더 중요해지고 있습니다.

필요할 때 AI는 깊이를 상당 부분 보완해 줄 수는 있습니다.

하지만 무엇을 깊게 봐야 하는지 정하는 것은 여전히 사람의 몫입니다.

아마 이런 변화 때문에 앞으로는 한 분야의 세부적인 지식뿐 아니라 여러 분야를 연결해서 볼 수 있는 능력의 가치도 더 커지고 있는 것 같습니다.

이 부분은 다음에 따로 한번 적어보도록 하죠.

결국 중요한 것은 AI자체가 아니다.

AI가 아무리 좋아져도

무엇을 만들 것인지,

왜 만들어야 하는지,

어떤 방향으로 만들어야 하는지,

그리고 만들어진 것이 정말 괜찮은 것인지

판단하는 사람의 역할은 여전히 중요합니다.

예전에는 사람이 직접 만드는 능력의 비중이 컸다면, 지금은 조금 달라지고 있습니다.

문제를 이해하고,

구조화하고,

방향을 잡고,

AI에게 정확하게 지시하고,

결과를 검증하는 능력

이런 능력의 중요성이 더욱 커지고 있습니다.

그래서 나는 AI를 사람을 대신하는 존재라기보다는 아주 강력한 도구라고 생각합니다.

같은 도구를 가지고도 누가 사용하느냐에 따라 결과가 완전히 달라지는 것처럼 말입니다.

ALEXSOFT에서도 AI를 그런 방식으로 활용하고 있습니다.

AI에게 모든 것을 맡기는 것이 아니라, 지금까지 쌓아온 소프트웨어 개발과 업무 분석, 사업 기획등의 다양한 경험을 바탕으로 AI를 활용해 더 빠르고 더 좋은 결과를 만드는 것입니다.

이 블로그에서는 앞으로도 AI와 소프트웨어 개발에 대한 생각, 실제 기업의 업무를 시스템으로 만드는 방법, 좋은 시스템과 그렇지 않은 시스템의 차이처럼 실제 일을 하면서 경험하고 느꼈던 것들을 하나씩 적어나가 보겠습니다.