목록CS_Project/WebCrawler_Venture (4)

생각이 담아두는 곳

4. 반복문을 통해, 원하는 데이터 엑셀로 저장하기

from selenium import webdriver import time import pandas as pd driver = webdriver.Chrome("/Users/growing/Projects/WC/chromedriver") driver.get("https://thevc.kr/") #웹사이트 접속 time.sleep(120) #지연을 시키고 수동 로그인 후, 웹사이트 빈 공간 한 곳 클릭 firm_list = ["당근마켓","왓챠","우아한형제"] #여기다가 나중에 회사 리스트 results = [] for i in range(len(firm_list)): venture_search = driver.find_element_by_class_name("total_search") #검색창 클 ven..
CS_Project/WebCrawler_Venture 2020. 3. 23. 13:57
3. 셀레니움으로 필요한 정보 텍스트로 가져오기

from selenium import webdriver from bs4 import BeautifulSoup driver = webdriver.Chrome("/Users/growing/Projects/WC/chromedriver") driver.get("https://thevc.kr/") #웹사이트 접속 # 자동 로그인 recapcha 때문에 안됨 # driver.find_element_by_class_name("join_toggle").click() #로그인 버튼 클릭 # # user_name = "hawng000@naver.com" # password = "autovc12!" # # driver.find_element_by_name('username').send_keys(user_name) # dri..
CS_Project/WebCrawler_Venture 2020. 3. 23. 11:31
2. 개발의 시작.

셀레니움을 이용해 개발하기 시작했다. 첫 코드는 아래와 같다. from selenium import webdriver driver = webdriver.Chrome("/Users/growing/Projects/WC/chromedriver") driver.get("https://thevc.kr/") venture_search = driver.find_element_by_class_name("total_search") venture_search.clear() venture_search.send_keys("왓") driver.implicitly_wait(10) driver.find_element_by_xpath('/html/body/header/div[2]/div/div[1]/div[2]/ul/li[1]/a/..
CS_Project/WebCrawler_Venture 2020. 3. 23. 02:04
1. 전체적인 구도

목표는 투자회사가 주어지면, 그 투자회사가 투자한 기업들의 리스트 생성 기업들을 https://thevc.kr/ 에 검색, 엑셀에 사명, 제품/서비스명, 업종, 회사설립연도, 직전라운드, 일시, 총투자금액, 투자자리스트를 자동으로 만들어 내는 것이다. 하나 어려운 문제가 투자자리스트는, 뉴스에 들어가 상단 문단을 긁어서 파싱해야한다. 일주일동안 만들 것은 기업들 리스트가 있다고 가정하고, 위 사이트 검색을 통해 원하는 데이터들을 가져오는 웹크롤링 장치이다. 동적웹이 많아, 셀레니움을 이용할 것 같다.
CS_Project/WebCrawler_Venture 2020. 3. 23. 01:33
Prev 1 Next