채팅이 남기지 않는 것

문제를 바르게 놓기

앞 레슨의 결론을 "AI가 거짓말을 한다"로 정리하면 다음 선택이 전부 어긋납니다. 정확한 진단은 이것입니다. 아무것도 남지 않습니다. 조작된 인용이 걸러지지 않은 것도 거짓말이 특별히 교묘해서가 아니라, 걸러 낼 기록이 애초에 없었기 때문입니다.

챗봇 창을 닫고 나면 사라지는 것은 문장이 아니라 문장에 이르는 경로입니다. 어떤 검색어로 어디를 찾았는지, 무엇을 왜 뺐는지, 어느 문장이 어느 원문에 걸려 있는지. 여기에 실무적인 손실이 더 붙습니다. 버전이 관리되지 않고, 서지관리 프로그램과 분리되며, 같은 작업을 다음 달에 또 하려면 처음부터 다시 설명해야 합니다.

연구가 요구하는 두 가지

연구는 결과물만으로 성립하지 않습니다. 두 가지를 더 요구합니다.

첫째는 다시 확인할 수 있는 산출물입니다. 반년 뒤 심사자가 "이 문장의 근거가 무엇입니까"라고 물었을 때 열어서 보여 줄 수 있는 파일입니다. 대화 스크롤은 그 역할을 하지 못합니다.

둘째는 재현 가능한 절차입니다. 같은 검색을 다시 돌렸을 때 같은 결과에 도달할 수 있어야 합니다. 챗봇은 같은 질문에도 매번 다른 문단을 돌려주고, 그 차이가 어디서 왔는지 알 방법이 없습니다.

챗봇에 물을 때	이 코스가 쓰는 방식
답이 한 덩어리로 옴	단계마다 파일이 남음
창을 닫으면 사라짐	내 폴더에 그대로 쌓임
같은 결과를 다시 못 냄	기록으로 다시 확인 가능

직접 해 보기약 12분

최근에 AI에게 받은 답 하나를 고릅니다. 초록 요약이든, 서론 초안이든, 문헌 정리든 상관없습니다. 그 답을 오늘 처음부터 다시 만든다고 가정하고 필요한 항목을 적어 봅니다.

• 어떤 자료원을 어떤 검색어로 찾았는가
• 몇 건이 나왔고 그중 무엇을 왜 뺐는가
• 각 문장이 어느 원문의 어느 대목에 걸려 있는가
• 이 답을 만든 날짜와 사용한 모델은 무엇인가

각 항목 옆에 복구 가능 / 복구 불가만 표시합니다. 복구 불가로 표시된 줄의 목록이 이번 레슨의 산출물입니다. 그 목록이 곧 지금 방식이 남기지 못하는 것의 정확한 크기이고, 앞으로 도구를 바꿀 때마다 같은 목록을 다시 채워 보면 무엇이 실제로 나아졌는지 눈으로 확인할 수 있습니다.

커뮤니티에 결과를 남겨 보세요

연구에 적용하면

이 모듈의 천장은 여기입니다. 채팅은 대화를 남기지만, 다시 확인할 수 있는 산출물과 절차를 남기지 않습니다. 이 코스가 도구를 바꾸는 이유도 성능이 아니라 이것입니다. 도구가 기록을 남기고, AI는 판단과 종합을 돕고, 결정은 끝까지 사람이 합니다.

다만 도구를 먼저 바꾸면 순서가 어긋납니다. 남길 만한 기록은 대답 가능한 질문에서만 나오기 때문입니다. 모듈 2에서 질문부터 세웁니다.