본문으로 바로가기

웹스크래핑에 대해서

category 공지사항 2016/03/11 08:15
안녕하세요?

이전에 작성한 공지에서 작업 의뢰를 받도록 하였지만 특별한 일이 없는 이상은 별도의 작업의로를 받지 않을 생각입니다.
또한, 자료에 대해서도 일체 공개는 하지 않을 생각이기에 이전 공지를 내리고 새롭게 공지를 작성해서 올려드립니다.

보통 제가 작업을 하는 환경에 대해서도 일단 공지사항에 포함해서 알려드리겠습니다.

C#(WinForm) Visual Studio 2015을 사용하고 있으며, VS에 포함된 웹브라우저와, 외부 라이브러리인 HtmlAgilityPack.1.4.6 를 사용해서 작업을 하고 있습니다.

PHP로 작업할경우에는 웹페이지가 아닙니다. PHP CLI 모드에서 작동하도록 하고 있으며, Linux, Winodws 에서도 작동이 가능합니다.
PHP로 작업할 경우에는 curl을 기본으로 사용하고 있으며, 해당 class 파일도 제가 임의 적으로 만들어서 사용을 하고 있습니다.


웹스크래핑 작업이 어떻게 보면은 다른 사이트의 데이터를 내 마음대로 가져와서 웹상에 게시할 수 있고, 악의적인 목적등으로 사용할 수도 있기에 소스는 전체 공개하지 않도록 합니다.
하지만 그 작업을 하는 동안 파생된 기술 습득이나 다른 부분은 나름대로 정리해서 블로그에 올리고 있습니다.
공부하실분은 그 부분을 찾아 보고 공부를 하시면 됩니다.

정말 초기 제작본이 필요하시다는분은 블로그의 방명록을 통해서 비밀글로 남겨주시면 그에 해당해서 작업비용등이 발생해서 작업을 해드리고 소스도 약간의 돈을 받고 드리겠지만, 가능하면은 의뢰를 하지 말아 주시기 바랍니다.
하지 말아 달라고 하니 제가 거창한것처럼 이야기하지만 아직 초보이며, 웹스크래핑이 좋은 방향외에도 쓰일 수 있기에 가능하면 하지 않으려고 제 나름대로 노력중인것입니다.

이전에 공지도 올려 놓았다가 내린다는것을 깜빡했다가 작업요청이 들어와서 오늘에서야 급하게 해당 공지를 내리고 이렇게 새롭게 공지를 작성합니다.
아무리 그래도 다른 사람의 데이터를 가져온다는것은 어떠한 작업이라도 문제의 소지가 있으니 작업을 하실때 신중에 신중을 기해주시기 바랍니다.


Trudy
Trudy 님의 블로그
MENU
VISITOR 오늘346 / 전체462452