기본 콘텐츠로 건너뛰기

블로그 글 백업 1단계 성공

우여곡절 끝에 텍스트 백업을 마쳤다.

글을 비공개 상태로 스크랩핑 하는 방법이나 word 파일에 텍스트와 이미지를 모두 넣어 저장하는 방법 등을 고심했지만, 현재 나의 코딩 실력으로는 하세월이었다.

검색으로 찾아 볼 수 있는 코드와 유튜브 강의들을 참고해서 노가다로 만들었다.

약 790여개*의 아티클을 word 파일로 저장할 수 있었다. 

*위 이미지에서 'range' 항목이 709-907로 되어 있는데(이 의미는 url주소의 끝 숫자가 709에서 906까지 해당 페이지에 대해서 아래의 코드를 실행) 중간 중간에 예상하지 못한 error들을 다루며 코드를 바꿔가면서 했기 때문이다. 출발한 url의 숫자는 61번이었다. 중간에 결측치가 있기 때문에 846건의 아티클을 수집한 게 아니었다.

일정한 패턴의 url 주소를 바탕으로 해당 페이지의 내용을 구문분석해서 텍스트를 추출하고 그렇게 추출된 텍스트에서 제목, 시간 정보를 추출하여 가공하고, 본문 텍스트를 뽑아 제목과 본문을 워드 파일로 저장하게 한 코드다. 

워드 파일명은 해당 게시물의 시간 정보+글 제목으로 만들었는데, 이 덕분에 가공이 더 필요했다. 제목에는 '<', '/', '?', '!', ':', '"' 등 컴퓨터 파일명에 쓸 수 없는 기호들이 담겨 있다. 이를 파일명에 쓸 수 있는 기호나 문자로 변환해 주거나 삭제할 필요가 있었다. 

파일명을 그렇게 어렵게 정하지 않았다면 코드가 더 단순해졌겠지만, 파일에 담긴 글의 정보를 손쉽게 확인하게 하기 위해서 글제목으로 파일명을 삼기로 한 기준은 포기할 수 없었다  

이 백업 데이터 중에서 무엇을 가공해서 쓸지는 또 한참 고민과 노가다가 남아 있다.

티스토리 블로그는 각 게시물의 이미지를 추출한 후에 모두 삭제할 예정이다.

조만간 티스토리와는 정말 안녕이다.

댓글

이 블로그의 인기 게시물

미신과 종교라는 개념에 담긴 '너는 틀렸고, 내가 맞다'

※ 이 글은 '얼룩소'에 2023년 1월 21일에 게재했던 글입니다. ─── ∞∞∞ ─── 미신이란 말을 많이 씁니다. 그게 무엇이냐 물어 본다면 우리는 어떤 행위들이나 관념을 이야기합니다. 뇌과학자 정재승 선생님도 미신 이야기를 하면서 '빨간색으로 이름 쓰는 행위가 불길하다는 미신'을 이야기했습니다. 차이나는 클라스, 정재승 편 미신이 어떤 것인가를 말할 때, 이렇게 미신에 속한 것들을 이야기하게 됩니다. '시험 볼 때 미역국을 먹지 않는다' '시험 볼 때 포크를 선물한다' '손 없는 날 이사해야 한다' '밤에 손톱을 깎으면 안 된다' '귀신을 쫓기 위해서 팥죽을 먹는다' 그럼 '미신'은 어떤 것이냐 설명해 보라면, 아마 이런 말들을 늘어 놓게 될 겁니다. https://engoo.co.kr/blog/먼나라이웃나라-세계-각국의-다양한-미신들/ 표준국어대사전에 바로 그와 같이 설명이 되어 있습니다. 표준국어대사전 '미신' 항목 그런데 이런 개념은 일상에서는 그런대로 사용할 수 있지만, 엄밀하게 따지면 쓸 수 없는 설명입니다. '비합리적이고 비과학적'인 게 너무 광범위하기 때문입니다. 도덕적, 경제적 판단과 믿음에도 그런 사례를 많이 찾아 볼 수 있습니다. 가령 '관상은 과학이다', 'ABO 혈액형 성격론', '과시적 소비' 등등. 어떤 종교적 맥락에서 '이상한 것'을 이야기하기 위해서 '미신'이란 말을 많이 사용합니다. 종교와는 다른 것으로 이야기합니다. 그런데 위 국어사전의 개념 정의는 종교도 포함된다고 볼 수 있습니다. 미신과 종교가 구분되지 않는다면, 어딘지 이상하게 느껴집니다. '미신'은 과학적 개념은 아니다 우리가 일상에서 당연시하는 많은 개념은 편견의 산물인 경우가 많습니다. 정상과 비정상의 구분에서 그런 게...

미신에 대한 중립적 개념은 무엇일까?

※ 이 글은 '얼룩소'에 2023년 1월 25일에 게재했던 글입니다. 본래 제목을 약간 수정하였습니다. ─── ∞∞∞ ─── 미신, 사이비, 이단 이 말들은 종교의 대척점에 있는 개념들입니다. 미신은 종교적 의식(儀式)이지만, 종교적 수준에 이르지 못한 것을 지칭하는 경향이 있습니다. 물론 모든 비과학적인 믿음을 통칭할 때 사용하기도 합니다. 사이비(似而非), 말뜻은 ‘비슷하지만 틀린 것’이죠. 영어의 ‘pseudo-’에 대응되는 말입니다. 사이비 종교를 ‘pseudo religion’이라고 하지요. ‘가짜’라는 의미가 두드러집니다. '사이비'란 말은 『맹자(孟子)』, 「진심장구하(盡心章句下)」 편에 수록된 말입니다.  孔子曰: 惡似而非者(공자왈: 오사이비자) 공자께서 말씀하시길, "나는 비슷해 보이지만 실제로는 아닌 것을 싫어한다." 출처: 다락원 페이스북(https://www.facebook.com/darakwonchild) 이 언급의 자세한 맥락은 다음의 글을 참고하세요( 사이비-나무위키 ). 겉만 그럴 듯하고 속은 빈 경우를 말합니다. 사이비란 말은 참된 종교와 거짓 종교를 말하는 맥락에서 많이 쓰이게 되면서 애초 의미에서 '거짓 가르침'으로 변하였습니다(사이비과학, 사이비종교 등등). 이단(異端), 말뜻은 ‘끝이 다르다’이고, 의미상으로 ‘사이비’와 큰 차이가 없습니다.  『맹자집주』의 주자주(朱子註) 중 '맹자는 양주와 묵적과 같은 이단에게서 유교를 지켰다'라는 표현이 나옵니다. 유교의 맥락에서 '이단'의 대표주자는 '양주와 묵적'입니다. 양주는 '위아설'(나만 위하면 돼), 묵적은 '겸애설'(모두 무차별적으로 사랑하라)로 이야기됩니다. 유가들이 곡해해서 '무부무군(無父無君)의 가르침'으로 평가되는 것이지, 그리 허무맹랑한 가르침은 아니라고 평가되고 있습니다(참고: 양주(전국시대)-나무위키 ...

한 해를 시작하는 날은 많다?│시간과 종교적 본능

※ 이 글은 '얼룩소'에 2023년 1월 2일에 게재했던 글입니다. (부제를 약간 수정) ─── ∞∞∞ ─── 1년의 시작점은 많습니다. 우리에게 익숙한 시간은 동지, 설, 정월대보름, 입춘 등입니다. 전에 이야기한 16세기 후반 프랑스의 신년 기념일들처럼( 참고 ) 같은 나라 안에서도 여러 신년 기념일이 있는 경우는 특이한 현상이 아닙니다. 왜 이렇게 되었을까요? 원래 지역적인 단일성은 있었을 겁니다. 특정 지역에서는 1월 1일이다, 이 동네는 음력 설이다, 이 동네는 입춘이다, 이렇게 말입니다. 이게 어떤 계기에 통합되는 과정을 거칩니다. 지역적으로 통일성을 가진 집단들이 묶여서 더 큰 집단으로 통합되면서 시간, 의례 등을 통합하는 과정이 뒤따르게 됩니다. 종교단체 수준에서도 진행이 되지만 국가 수준에서도 진행이 됩니다. 이 과정은 국가의 흥망성쇠, 종교단체의 흥망성쇠 등 집단 구속력의 변화에 따라서 부침을 겪으며 반복·중첩되었을 것으로 보입니다.  앞서 언급한 프랑스에서는 16세기에 신년 기념일을 단일화하려 했습니다. 한국에서는 그러한 노력이 19세기말 20세기에 시도되었습니다. 공식적인 수준에서 한 해의 시작일은 그렇게 하루 아침에 바꿀 수 있지만, 의례적으로 기념하는 첫 날은 쉽게 변화하지 않습니다. 이를 문화적 관성이라고 할 수 있습니다(선조들이 해왔던 대로 해야 한다는 의식으로 나타남). 여러 신년 기념일은 그런 통합의 힘에도 어떤 현실적 필요에 의해서 과거의 전승이 살아남아 그 흔적을 남긴 덕분입니다. 다만 해당 기념일을 현재에 활용하는 의미는 달라질 수 있습니다.  현재적 가치를 상실하게 된다면 사라질 운명을 일 겁니다. 그럴 경우 '고유한 문화를 지키자'는 운동이 표출될 수도 있습니다. 집단 정체성과 관련된 전통으로 선택되지 못하면 잊혀지는 것이고요. 동지 우리에게는 팥죽 먹는 날 정도의 의미만 남았습니다. 그러나 이 날도 과거에는 새해가 시작되는 날로 기념되었습니다. 그런 동지 축제가 신년 축제인 사례도...