스크래핑기술을 유익하게 활용하는 '5가지 방법'
약국 마케팅 패러다임이 빠른 속도로 바뀌고 있다. 바로팜 약국 통합주문 플랫폼이 2021년7월12일 론칭한 이후부터다.
플랫폼 출시 후 5개월만인 같은 해 11월 2000 곳의 약국이 이 시스템에 가입하여 이용하였고, 그 후 6개월 2022년5월 5000 곳으로 늘어났으며 그로부터 4개월 지난 2022년10월에는 1만 곳을 돌파했다. 3개월 후인 올해 2023년 1월 기준 1만3000 곳으로 증가했다. 사용 약국이 가히 눈덩이처럼 기하급수적으로 불어나고 있다.
개국 약사들은 조제와 투약 및 약국 관리를 하면서 의약품 주문 업무를 하지 않으면 안 된다. 통상 100~200개 의약품 품목을 주문하기 위해 아침마다 바쁜 시간을 쪼개어 의약품 공급자들(주로 도매유통사) 사이트(site)를 이곳저곳 검색하며 재고와 가격 등을 확인해야 한다. 이들에게 이러한 일들은 여간 불편한 일이 아니며 시간과 수고(노동력)가 소요되는 일일 것이다.
"거래 도매상 사이트를 일일이 방문하지 않아도 이들을 모두 연동시켜 주는 하나의 사이트에서 주문 업무를 행할 수 있다면 얼마나 편리하고 좋을까 라는 점에 착안하여, 그러한 기능 수행이 가능한 '바로팜 약국 통합주문 플랫폼'을 만들게 됐다"는 바로팜(상호와 솔루션 명칭 동일)의 개발 동기가 전해진다.
맨 처음, 거래 도매상의 '아이디(ID, identification)와 비밀번호'를 연동시켜 놓으면, 다음 이용부터 거래중인 도매유통사들의 가격과 재고 정보 등을 바로팜 플랫폼 상에서 한눈에 보고 주문할 수 있으며, 배송과 결제 등은 도매유통사와 기존에 해왔던 방식 그대로 하면 되도록 돼있어 간편성도 배가됐다.
이 모든 게 '스크래핑 기술'의 마법인 것으로 확인됐다. 아직은 의약업계에서 생소한 개념인 것으로 알고 있지만, 근래 알 만한 사람이면 다 알게 됐다.
'스크래핑 기술'의 씀씀이는 정보통신ㆍ금융ㆍ부동산 등 데이터가 필요한 모든 분야로 빠르게 확산되고 있다. 물론 그 와중에 정보 무단 취득ㆍ가공 등에 따른 법적 다툼도 심심찮게 발생되고 있지만 말이다.
최근, 국내 의약품 마케팅 전문가(마케터, marketer)들이 업무 수행에 '스크래핑 기술'을 유용하게 활용할 수 있는, BBN타임즈(미디어/뉴스기업, 2017.5.29.설립, 런던)의 제언(기고자 Anas Bouargane, 비즈니스 전문가)이 있어 정리해 봤다.

"마케터들이 '웹 스크래핑'을 유익하게 활용하는 방법(HOW MARKETERS UTILIZE WEB SCRAPING TO THEIR ADVANTAGE)"에 관한 것이다.
첫째, 시장조사를 (마음 놓고 추적당하지 않고) 익명으로 수행할 수 있다.
표적 사이트의 서버가 데이터 수집을 추적하고 개인 정보를 그대로 유지하는 것을 원하지 않는 경우, 웹 스크래핑을 위해 안정적인 무료 프록시 사이트를 사용할 수 있다. 프록시를 사용하면 다른 IP 주소를 통해 사용자 요청을 라우팅(routing, 패킷의 전송 경로를 지정하는 것)하므로 온라인 활동(스크래핑)을 안전하게 (숨기며) 유지할 수 있다. 표적 웹 사이트가 사용자 뒤를 쫓고자 할 때 스크래핑을 실행한 IP 주소를 알 수 없기 때문에 추적할 수 없게 된다.
Doing Market Research Anonymously
If you do not want websites to track your data-gathering and keep your privacy intact, you can use reputable free proxy sites for web scraping. Proxies enable you to keep your online activity secure because they route your requests via a different IP address. So, when a website attempts to track you, it will not be able to do so because it does not have the original IP address that your request came from.
둘째, 유용한 블로그 콘텐츠를 설계할 수 있다.
마케터들은 좋은 콘텐츠가 웹 사이트로 거래를 유도하고 변환시킬 수 있다는 것을 알고 있다. 콘텐츠는 블로그 게시물이나 사용 안내서와 같은 것일 수 있다. 웹사이트에 양질의 유용한 콘텐츠를 배치함으로써, 구글과 같은 검색 엔진 첫 페이지에 업무내용을 표시할 수 있다. 사이트에 어떤 종류의 콘텐츠를 포함할지 알기 위해, 웹 스크래핑을 활용하여 경쟁업체가 과거에 어떤 작업을 수행했는지 확인할 수 있다. 블로그 제목, 메타 태그, URL(uniform resource locator, 웹페이지 위치를 나타내는 주소) 등의 데이터를 얻을 수 있다. 그러면 콘텐츠에 사용할 주제 및 키워드의 귀중한 데이터베이스를 갖게 된다. (이를 활용해 아주 유용한 블로그 콘텐츠를 설계할 수 있다)
Blog Content Scraping
Marketers know that good content can drive traffic to their websites and create conversions. The content could be things like blog posts or how-to-guides. By placing quality and useful content on your website, you can get your business to show up on the first page of search engines like Google. To know what kind of content to include on your site, you can utilize web scraping to find out what your competitors have done in the past. You could gain data such as blog titles, meta tags, URLs, and more. You would then have a valuable database of topics and keywords to use for your content.
셋째, 마케팅을 위한 이메일 목록을 작성할 수 있다.
마케팅 채널로서 이메일(email)은 (고객)전환률을 높이는 환상적인 방법이다. 고품질 이메일 주소록을 확보할 수 있다면 대단한 결과를 얻을 수 있음이 확실하다. 웹 스크래핑을 활용하여 목록을 작성하는 과정을 (손수 Copy&Paste 하는 것 보다) 가속화할 수 있다. 다양한 웹 스크레이퍼를 사용하여 스크랩하려는 특정 웹 사이트에서 양질의 이메일 주소를 찾을 수 있다.
Building an Email List for Marketing
Email as a marketing channel is a fantastic way of creating conversions. Build a high-quality email list, and you are sure to see great results. You can speed up the process of building your list by utilizing web scraping. You can use various web scrapers to find quality email addresses from the specific websites you wish to scrape.
넷째, 제품 분석을 위한 웹 스크래핑으로 특정 산업 또는 시장에 대한 정보를 찾을 수 있다.
웹 스크래핑을 사용하여 특정 산업 또는 시장에 대한 정보를 찾을 수도 있다. 예컨대 휴대 전화를 판매하는 전자상거래(e-commerce) 사업을 마케팅하고 있다고 가정해 보자. 이 경우 아마존(Amazon)과 같은 사이트의 데이터에 액세스하여 제품 세부 정보, 가격, 점수, 리뷰 및 배송 세부 등에 대한 정보를 얻을 수 있다. (이들) 각각의 정보는 자신의 제품을 마케팅 하는 데 믿을 수 없을 정도로 가치가 있다. 데이터를 사용하여 아마존과 같은 거대 기업에 효과적으로 광고하고 포지셔닝(positioning) 하는 방법에 대한 통찰력(insights)을 얻을 수 있다.
Web Scraping for Analysis of Products
You can also use web scraping to find out information about your particular industry or market. For example, suppose you are marketing an e-commerce business that sells phones. In that case, you can access data on sites like Amazon to get information about things like product details, prices, scores, reviews, and delivery details. Each piece of information is incredibly valuable for marketing your own products. You can even use the data to generate insights on how to advertise and position yourself against such giants as Amazon effectively.
다섯째, '소셜 미디어' 게시물들을 용이하게 스크랩할 수 있다.
마케터들이 가치 있는 데이터에 접근하는 가장 좋은 방법 중 하나는 트위터와 같은 소셜 미디어 플랫폼을 긁어내는 것이다. (약)업계에서 영향력 있는 사람들이 어떤 트윗을 올렸는지, 가장 성공적인 트윗이 무엇인지, 해당 트윗의 내용이 무엇인지 파악함으로써 마케팅 목적에 맞는 귀중한 통찰력을 얻을 수 있다. 개인이 아닌 전체 온라인 커뮤니티(community)에서 정보를 얻고 싶다면 레딧(Reddit)과 같은 플랫폼에 웹 스크래퍼(web scraper)를 사용하면 된다. 마케터가 해야 할 일은 목표로 삼고 싶은 커뮤니티에 '서브레딧'을 사용하는 것이다. 어떤 주제가 가장 많은 지지를 받고 있는지, 어떤 주제가 가장 인기가 없는지, 경쟁업체가 하위 편집에 적극적으로 게시하고 있는지 등의 정보를 찾을 수 있다. (커뮤니티에서 좋아요, 댓글이 많이 달린 글을 분석하여 어떤 주제가 인기가 많은지 알 수 있다)
Scraping Social Media Posts
One of the best ways for marketers to access valuable data is to scrape social media platforms like Twitter. By discovering what influencers in your industry have been tweeting about, knowing what their most successful tweets were, and what the content of those tweets was, you can gain valuable insights for your marketing purposes. If you want to get information from entire online communities rather than from individuals, you can use a web scraper for platforms like Reddit. All you need to do is use a subreddit for the community that you wish to target. You can find things like which topics have the most upvotes, which topics are the most unpopular, and whether your competitors are actively posting in the subreddits.
제약바이오업계와 의약품유통업계(도매업계 및 요양기관)의 경영자와 마케터들은 바로팜을 발판 삼아 의약업계에 예고 없이 어느 날 불쑥 찾아 온 '스크래핑 기술'을 어떻게 맞이할까? 주목된다. '스크래핑 기술'을 먼저 빨리 유감없이 활용하는 자가 승리자가 될 것으로 믿어 의심치 않는다. 21세기의 원유라고 불리는 데이터 정보를 샅샅이 캐내어 목적대로 가공하는 첨단 기술이 바로 '스크래핑 기술'이기 때문이다.
