java selenium chromedriver를 이용한 블로그 자동화 개발 - 3. 크롤링 해보기

 

위에 소스를 설명하자면, 구글에 들어가서, q라는 name의 element를 찾는다.(q는 구글 검색창)

 

검색어를 설정하고 submit으로 검색 시작

 

 

action을 줄 수 있도록 추가를 하고, PAGE_DOWN 키를 연타한다. 많은 수의 주소를 얻기 위함.

 

 

RVQdVd class는 구글 더보기 버튼의 클래스임.

 

클릭을 누르면 검색결과가 더 많이 리스트업 된다.

 

 

tjvcx의 클래스는 url이다.

이번에는 리스트로 받아서, 다수의 데이터를 한번에 가져올 수 있다.

 

아래 소스는 받아온 리스트를 사이즈 크기 만큼 for문 돌려서 텍스트 확인하기.

(희안하게 홀수 index에는 주소값이 들어있지 않아서 i를 짝수 단위로 올린걸 알 수 있다.

 

 

결과물