기본 콘텐츠로 건너뛰기

selenium을 이용한 카카오 로그인┃웹스크래핑 공부(2)

티스토리 블로그에서 글을 백업하기 위한 첫 관문은 코딩을 이용해서 로그인을 하는 것이다.

selenium(파이썬을 이용해 웹에서 자동적 상호작용을 하게 하는 도구)을 이용해 티스토리 블로그 로그인을 어떻게 하는지에 대한 코드는 검색을 하면 여기저기에서 볼 수 있다.

일단 kakao 아이디가 통합되어 있다면 2022년 이전 코드는 소용이 없는 것 같다. 또 '카카오 로그인'을 설명하는 게시물들 중에 요즘 로그인 코드와 다른 구버전의 코드로 작성된 것도 보인다.

가령 이 코드 같은 경우는 실제로 작동하지 않는다. 카카오 웹 구조가 위 코딩이 짜였을 때와 달라졌기 때문이다. 또 Python 버전에 따라서 selenium 코드도 다르다. 옛날 버전에서는

driver.find_element_by_id('id_email_2').send_keys(user_id)

라고 적는 것이 최신 버전에서는 다음과 같이 바뀌었다.

driver.find_element(By.ID, 'id_email_2').send_keys(user_id)

그래서 검색 가능한 코드들을 복붙한다고 결과가 나오지 않는다. 사소한 문제 때문에 작동하지 않는 코드를 써야 하기도 한다.

로그인 자동화 시에 '자동 로그인'을 막는 포털의 대응 때문에 과거에 알려진 방법이 더 이상 유효하지 않은 경우도 있다.

네이버 로그인의 경우 몇 가지 우회 방법이 알려져 있는데(참고), 인간스러움을 보이기 위해서 코드 실행 사이에 '쿨 타임'을 넣는다던지, 로그인 시에 사람처럼 복붙하게 해서 네이버를 속인다 든지 하는 스킬이 덧붙여진다(참고).

덕분에 time.sleep() 함수라던지, pyperclip.copy('비밀번호'); tag_pw.send_keys(Keys.CONTROL, 'v') 함수를 써 봤다. 그래서 네이버에 로그인 하는 것까지는 성공했다. 그러나 자동 로그아웃은 실현시키지 못했다. 'a href'가 해당 버튼 코드의 맨 앞에 위치하고 있을 때, 문제가 발생하는 것 같다.

<a href="https://nid.naver.com/nidlogin.logout?returl=https%3A%2F%2Fwww.naver.com" target="_parent" class="btn_logout" data-clk="nmy.logout">로그아웃</a>

일반적으로 알려진 방법으로 저 버튼을 코드로 클릭하기가 어려웠다.

가령 browser.find_element(By.XPATH, '해당xpath').clik()이라 적은 코드는 계속 에러 메시지를 띄웠다.

어쨌든 네이버에 로그인이 성공해서, 웹 서핑을 적당히 하며 티스토리 블로그 로그인을 시도하게 되었다. 네이버 로그인과 같은 방식으로 접근해서 무척 어려움을 겪었다.

import time
from selenium import webdriver
from selenium.webdriver.common.by import By

browser = webdriver.Chrome()
browser.implicitly_wait(2)
ts_url = "블로그 로그인 url"
browser.get(ts_url)
time.sleep(1
browser.find_element(By.NAME, 'email').send_keys('카카오계정 이메일')
browser.find_element(By.NAME, 'password').send_keys('해당pw')
time.sleep(1)
browser.find_element(By.XPATH, '//*[@id="login-form"]/fieldset/div[8]/button[1]').click()

처음에는 browser.find_element(...).click()을 넣었다. 그런데 카카오 계정에서는 id, pw 입력시에 해당 입력 창을 클릭하는 코드를 짜서 넣으면 에러가 났다.

저렇게 간단하게 짜도 로그인에 성공하였다. 

━━━━━

다음 작업은 '관리자' 창에서 '글관리'로 가서 글들을 날짜, 제목, 내용, 이미지 순으로 스크랩하는 것이다.

댓글

이 블로그의 인기 게시물

위로가 없는 '차가운 종교학', Science of Religion을 생각하며

※이 글은 얼룩소 글(23.7.13)을 옮겨온 것입니다. ━━━━━━ ♠ ━━━━━━ 종교라는 주제를 다루려면 '위로'가 필요하다? 이 말을 저는 곳곳에서 확인하게 됩니다. 그 이야기를 좀 해 보겠습니다. 정재승 박사가 총괄자문 및 프리젠터로 참여한 다큐 시리즈 '뇌로 보는 인간'의 마지막 '종교' 편에 제가 자문으로 참여하여 아주 짧은 시간 출연한 경험이 있었습니다. 시청률이 높았던 편이 아니라서 사람들로부터 별다른 반응을 듣지는 못했습니다. 우연히 EBS 다큐를 보던 친구가 '야, 너 나왔더라...잠깐 ㅎㅎ', 이런 반응을 보인 예가 있었을 뿐입니다. 함께 자문에 참여한 구형찬 박사(인지종교학)가 종교학자로서는 메인이었기 때문에 당연한 일이었습니다. '뇌로 보는 인간' - 종교 편의 한 장면┃저는 입을 다물고 있습니다^^ 몇 년이 지나서 그때 나왔던 미디어 비평 기사를 볼 수 있었습니다. 미디어스 기사 캡쳐 해당 다큐에 대한 내용을 정리한 다음에 이런 논평을 내 놓았습니다. 미디어스 관련 기사 '위로가 없다'는 비판 을 볼 수 있었습니다. 예 그렇습니다. 종교라는 주제를 다룰 때 사람들은 그런 것을 기대하곤 합니다. '종교의 본질', '참된 의미' 같은 것을 발견하고, 뭔가 진리의 말씀이나 인생을 통찰할 수 있는 지혜를 얻기를 기대합니다. 그런 이야기를 하는 종교학도 존재합니다. '현대인의 종교는 병들었다'는 진단을 내리며 '고대인의 지혜'를 회복해야 한다는 메시지를 내거나 모든 종교에 담겨있는 가장 고귀한 가르침(가령 황금률 같은)은 모두 상통하고 그것이 인간이 향유해야 할 소박하지만 분명한 진리라고 이야기하는 예도 있습니다. 프리드리히 막스 뮐러┃출처: Wikimedia Commons 종교학의 아버지라고 불리는 막스 뮐러는 '종교학으로의 초대(Introduction to the Science ...

"뇌 회로는 친숙한 것, 중요한 것과 단순한 배경을 식별합니다."(논문 정리)

흥미로운 신경과학 연구 소개를 봤습니다. 친숙한 것과 중요한 것을 먼저 식별하는 뇌 경로에 관한 연구입니다. '신경종교학'에 참고가 되는 논문일 것으로 판단되어, 내용을 정리해 봅니다.  *  *  * Brain Circuit Identifies What’s Familiar, Important, or Just Background┃Neuroscience News.com 요약 : 과학자들은 기억과 감정을 통합하여 감각 정보를 빠르게 평가하는 이전에 알려지지 않은 뇌 회로를 발견했습니다. 내측후각피질(entorhinal cortex)과 해마(hippocampus) 사이의 이 직접 피드백 루프를 통해 뇌는 중요한 광경과 소리를 거의 즉시 우선순위를 정할 수 있습니다. 이전에 알려진 더 느린 경로와 달리, 이 회로는 관련 자극과 배경 소음을 구별하는 데 도움이 될 수 있으며, PTSD와 자폐증과 같은 상태에 영향을 미칠 수 있습니다. 이 발견은 뇌가 정보를 걸러내는 방식에 대한 이해를 높이고 감각 및 기억 관련 장애를 치료하기 위한 새로운 전략으로 이어질 수 있습니다. ─── ∞∞∞ ───  익숙한 것을 한눈에 알아보는 뇌 회로, 해마의 비밀 우리는 왜 친숙한 얼굴이나 물건을 한눈에 알아볼 수 있을까요? 반대로 처음 보는 것은 어딘가 낯설게 느껴지곤 합니다. 이런 능력 뒤에는 우리의 기억 이 큰 역할을 합니다. 뇌의 해마(hippocampus)라는 부분이 과거의 기억을 보관하고 있다가, 현재 들어오는 감각 정보와 비교하여 이것이 익숙한지 새로운지 판단하도록 돕는 것이죠. 예를 들어, 해마는 “이건 예전에 봤던 거야” 혹은 “처음 보는 거네”라는 신호를 뇌의 다른 부분에 보내 우리의 인식을 조절합니다. 이 덕분에 우리는 중요한 새로운 정보 에 주의를 기울이고, 이미 아는 것은 배경 소음처럼 무시할 수도 있습니다. 해마는 특히 대뇌피질의 한 부분인 내후각 피질 (entorhinal cortex)과 긴밀히 소통합니다. 내후각 피질은 오감에...

한 해를 시작하는 날은 많다?│시간과 종교적 본능

※ 이 글은 '얼룩소'에 2023년 1월 2일에 게재했던 글입니다. (부제를 약간 수정) ─── ∞∞∞ ─── 1년의 시작점은 많습니다. 우리에게 익숙한 시간은 동지, 설, 정월대보름, 입춘 등입니다. 전에 이야기한 16세기 후반 프랑스의 신년 기념일들처럼( 참고 ) 같은 나라 안에서도 여러 신년 기념일이 있는 경우는 특이한 현상이 아닙니다. 왜 이렇게 되었을까요? 원래 지역적인 단일성은 있었을 겁니다. 특정 지역에서는 1월 1일이다, 이 동네는 음력 설이다, 이 동네는 입춘이다, 이렇게 말입니다. 이게 어떤 계기에 통합되는 과정을 거칩니다. 지역적으로 통일성을 가진 집단들이 묶여서 더 큰 집단으로 통합되면서 시간, 의례 등을 통합하는 과정이 뒤따르게 됩니다. 종교단체 수준에서도 진행이 되지만 국가 수준에서도 진행이 됩니다. 이 과정은 국가의 흥망성쇠, 종교단체의 흥망성쇠 등 집단 구속력의 변화에 따라서 부침을 겪으며 반복·중첩되었을 것으로 보입니다.  앞서 언급한 프랑스에서는 16세기에 신년 기념일을 단일화하려 했습니다. 한국에서는 그러한 노력이 19세기말 20세기에 시도되었습니다. 공식적인 수준에서 한 해의 시작일은 그렇게 하루 아침에 바꿀 수 있지만, 의례적으로 기념하는 첫 날은 쉽게 변화하지 않습니다. 이를 문화적 관성이라고 할 수 있습니다(선조들이 해왔던 대로 해야 한다는 의식으로 나타남). 여러 신년 기념일은 그런 통합의 힘에도 어떤 현실적 필요에 의해서 과거의 전승이 살아남아 그 흔적을 남긴 덕분입니다. 다만 해당 기념일을 현재에 활용하는 의미는 달라질 수 있습니다.  현재적 가치를 상실하게 된다면 사라질 운명을 일 겁니다. 그럴 경우 '고유한 문화를 지키자'는 운동이 표출될 수도 있습니다. 집단 정체성과 관련된 전통으로 선택되지 못하면 잊혀지는 것이고요. 동지 우리에게는 팥죽 먹는 날 정도의 의미만 남았습니다. 그러나 이 날도 과거에는 새해가 시작되는 날로 기념되었습니다. 그런 동지 축제가 신년 축제인 사례도...