챗GPT로 전문자료 탐색시에 반드시 크로스 체크

※ 이 글은 '얼룩소'에 2023년 1월 1일에 게재했던 글입니다.

글의 원래 제목은 "챗GPT로 잘 모르는 분야 탐색시에 반드시 크로스 체크"라는 것이었는데, 더 적합한 것은 '전문자료 탐색'이 맞을 것 같아서 제목을 수정하였다.

─── ∞∞∞ ───

요즘 챗GPT로 이것저것 해보고 있습니다.

최근에 '디지털 인문학' 관련해서 공부를 하다가,
"세르누다의 『현실과 욕망』에 관한 디지털 인문학적 분석 시도-전기 시와 후기 시의 어휘적 특성을 중심으로"라는 논문을 보게 되었습니다.

https://www.bestialectora.com/2021/09/biografia-de-luis-cernuda.html

세르누다(Luis Cernuda Bidón, 1902~1963)는 스페인 시인입니다. 이 논문을 보기 전까지는 몰랐던 사람입니다. 

위 논문은 이 분의 시집  『현실과 욕망(La Realidad y el Deseo)』(1924-1962)을 다루고 있습니다. 시집을 텍스트 분석 기법(빈도값 측정, 감정 분석, 공기어 분석)으로 분석해서 그의 망명 이전 시와 이후 시 사이의 특성을 분석하는 것입니다.

세르누다 시에 대한 사전 지식이 없지만, 시집이 나온지 오래 되었으니 그의 전기 시와 후기 시 사이의 차이에 대해서는 이미 밝혀져 있을 걸로 추정이 되었습니다. 이걸 챗GPT에 물어 보았습니다. 

Q: 세르누다 시의 전기와 후기 사이의 차이를 알려줘.

A: 루이스 세르누다(Luis Cernuda)는 20세기 전반에 활동한 스페인의 시인이자 문학 비평가이다. 그의 작품은 크게 두 시기로 나눌 수 있는데, 전자 시기는 1920년대부터 1930년대 후반까지, 후자 시기는 1940년대부터 1960년대까지였다.

전자 시기에 세르누다의 시는 환멸감과 개인적, 사회적 변화에 대한 열망으로 특징지어졌다. 이 시기의 그의 시들은 사랑, 상실, 인간의 상태에 대한 주제들을 탐구했고, 자기 성찰적이고 내향적인 느낌으로 특징지어졌다. 이 시기의 세르누다의 시는 문학에 대한 전위적이고 실험적인 접근으로 유명한 스페인 시인과 지식인들의 모임인 '27세대'의 일원으로서 그의 경험에 영향을 받았다.

세르누다의 생애 후반기 동안, 그의 시는 더 정치적이 되었고 그 시대의 사회적, 정치적 문제에 관여했다. 이 시기의 그의 시들은 종종 망명, 이주, 스페인 내전의 여파를 주제로 다루었다. 이때부터의 세르누다의 시는 프랑코 정권에 대한 반대로 스페인을 떠날 수밖에 없었던 그의 고향에 대한 향수와 그리움이 두드러지기도 했다. ...

위 논문의 독창성을 확인하고 싶어서 챗봇에 물어봤던 겁니다. 관련 분야 전문가라면 사전지식으로 판단할 수 있었겠죠. 

위 논문의 텍스트 분석 결과와 크게 차이가 없었습니다. 후기 시에서 '죽음'이라는 단어 빈도가 높았다는 점은 챗GPT가 이야기하지 않았습니다만.

위 내용은 신뢰할 만하게 보였습니다. 한 발 더 들어가서, 위의 내용을 담은 논문이 뭐가 있는지 물어봤습니다. 그러자 세 논문을 소개해 주었습니다. 각 논문의 핵심 내용에 대한 설명도 해 줬습니다. 여기엔 서지만 옮겨 봤습니다.

• "Luis Cernuda: The Poet of Exile" by David Arthur McMurray (published in The Modern Language Review, Vol. 87, No. 1 (Jan., 1992), pp. 143-155). 
• "The Poetry of Luis Cernuda: Between the Avant-Garde and the Tradition" by Beatriz H. Rueda (published in Hispania, Vol. 79, No. 1 (Mar., 1996), pp. 35-44). 
• "Nostalgia, exile and poetic identity in the work of Luis Cernuda" by José Luis Gómez Martínez (published in Bulletin of Hispanic Studies, Vol. 75, No. 2 (1998), pp. 173-185). 

그런데 말입니다.

이 세 논문은 모두 존재하지 않았습니다.

물론 제가 못 찾은 것일 수도 있지요. 실제로 존재한다면 google scholar 같은 데에서 검색이 되어야 할 텐데, 나오지 않더군요.

위에 언급된 저널들은 실제 존재하는 저널입니다. 그래서 해당 저널의 호수를 찾아서 확인해 봤습니다. 그런데 제시된 호수의 페이지에 다른 글이 실려 있었습니다. 가령 하나만 보면, 맨 아래  Bulletin of Hispanic Studies 75권 2호의 173페이지에 실린 글을 찾아보면 다음과 같습니다.

https://www.liverpooluniversitypress.co.uk/doi/10.3828/bhs.75.2.173

네, 전혀 다른 논문이죠.

https://chat.openai.com/chat

챗GPT 사용자 화면에 'Limitations' 항목 첫 번째에 이렇게 적고 있죠. '때로 잘못된 정보를 생성할 수 있습니다.'

잘못된 정보 생성 능력도 대단하군요!

챗GPT가 알려주는 논문, 참고서지는 믿을 게 못 된다는 걸 확인하는 계기였습니다. 정말 그럴 듯하게 만들어 주긴 하는데 말이죠... 자료 찾을 때 활용한다면 반드시 크로스 체크가 필요한 듯합니다. 제 느낌에는 전문자료 찾아달라는 건 다 좋은 결과를 얻지 못하는 것 같습니다.

─── ∞∞∞ ───

2024년 7월 2일 추가>

현재 ChatGPT-4o나 Claude 3.5로 전문자료를 찾으면, 실제 존재하는 유용한 자료를 확인할 수 있는 가능성이 6,70% 정도는 된다. 여전히 일부 hallucination이 있지만, 훨씬 쓸만해진 상태라고 할 수 있다.