Web Scraping5(사용자가 입력한 검색어 가져오기)
2020. 12. 31. 16:33
프로그래밍/Flask
사용자가 입력한 검색어 정보 가져오기 1️⃣ 임포트 하기 👉 from flask import request 2️⃣ 변수에 정보 저장 👉 word = request.args.get("word") main.py from flask import Flask, render_template, request #request안을 들여다봐서 키워드 뽑아올 수 있음(request를 임포트 하는 이유) app = Flask("WebScrapper") @app.route("/") def home(): return render_template("home.html") @app.route("/report") def report(): word = request.args.get("word") #word라는 이름의 argument를 가..
Web Scraping4(서버 생성 및 실행)
2020. 12. 31. 15:19
프로그래밍/Flask
서버 생성하기 from flask import Flask app = Flask("WebScrapper") #앱 만들기 Flask("앱 이름 지정") app.run(host="127.0.0.1") # 0.0.0.0 혹은 127.0.0.1 로 하기 접속 요청시 파이썬 함수 실행시키기 📌 @(데코레이터)는 바로 아래 있는 함수를 찾아 그 함수를 꾸며주는 역할(접속 요청들어오면 바로 아래 함수 실행) from flask import Flask app = Flask("WebScrapper") #앱 만들기 Flask("앱 이름 지정") @app.route("/") def home(): return "Hello! Happy New Year!" @app.route("/") def user(username): retur..
Flask 소개 및 설치
2020. 12. 30. 12:18
프로그래밍/Flask
Flask란? 간단한 웹 사이트, 혹은 간단한 API 서버를 만드는 데에 특화 되어있는 Python Web Framework 요즘에는 클라우드 컴퓨팅의 발달로 Docker, Kubernetes 와 접목해서 소규모 컨테이너 단위로 기능 별 개발 후, 한 꺼번에 배포하는 방식, 혹은 배포 후 기능 추가 하는 식으로 자주 사용함 Micro Web Framework 👉 Micro : 가벼운 기능 만 제공, 가볍게 배우고, 가볍게 사용 할 수 있으며, 확장성 또한 넓다! 👉 Framework : 라이브러리 그 이상의 의미로, 어플리케이션의 핵심이 되는 기술이라고 보면 된다! 장점 1️⃣ 가볍게 배울 수 있음 (Python, HTML + CSS + Javascript만 할 줄 알면 금방 배운다!) 2️⃣ 가볍게 사..
Django의 특징
2020. 12. 29. 19:19
프로그래밍/Django
☝ arguments & keyword arguments arguments(positional arguments) 인자가 많을 때 사용 ➡ *args keyword arguments keyword arguments가 많을 때 사용 ➡ **kwargs def plus(a, b, *args, **kwargs): print(args) print(kwargs) return a + b plus(1, 2, 3, 4, 5, 6, 7, 8, 9, 10, happy=True, new=True, year=True) # (3, 4, 5, 6, 7, 8, 9, 10) 튜플 형태 # {'happy': True, 'new': True, 'year': True} 딕셔너리 형태 많은 수 계산기 def plus(*args): resu..
Django란?
2020. 12. 28. 12:26
프로그래밍/Django
Django란? 보안이 우수하고 유지보수가 편리한 웹사이트를 신속하게 개발하는 하도록 도움을 주는 파이썬 웹 프레임워크 이 프레임워크는, 웹 개발을 하는데 많은 도움을 주기 때문에 새롭게 웹 개발을 시작할 필요없이 그저 프레임워크를 활용하여 앱 개발에만 집중할 수 있게함 무료 오픈소스인데다가, 활발한 커뮤니티들이 있고, 좋은 참고자료와 무료 및 유료 지원을 하는 옵션들이 제공됨 Django 특징 Complete(완결성 있는) Django는 "Batteries included" 의 철학을 기반으로 개발자들이 개발하고 싶은 거의 모든것을 개발하는데 도움을 줌 개발자들이 원하는 것은 모두 하나의 "결과물"의 일부일 것이기 때문에 도달하고자 하는 목표지점은 같으며 이 덕분에 일관된 디자인 룰을 적용하여 광범위한..
Web Scraping3(CSV 파일에 저장하기)
2020. 12. 25. 12:00
프로그래밍/Python
CSV(Comma Separated Values) 데이터들은 보통 쉼표(,) 로 구분되어 저장되어 있음 하지만 세미콜론(;), 공백( ), 탭('\t') 으로 구분해서 저장할 수도 있음 csv 파일 생성하기 save.py import csv def save_to_file(news): return main.py from naver import get_news as get_naver_news from hankyung import get_news as get_hankyung_news from save import save_to_file naver_news = get_naver_news() hankyung_news = get_hankyung_news() news = naver_news + hankyung_new..
Web Scraping2
2020. 12. 24. 18:45
프로그래밍/Python
뉴스 기사 정보 찾기 한 페이지의 뉴스 기사 정보 추출하기 naver.py import requests from bs4 import BeautifulSoup URL = "https://search.naver.com/search.naver?&where=news&query=%EC%82%BC%EC%84%B1%EC%A0%84%EC%9E%90&sm=tab_pge&sort=1&photo=0&field=0&reporter_article=&pd=6&ds=2020.06.23&de=2020.12.20&docid=&nso=so:dd,p:6m,a:all&mynews=0" def extract_naver_pages(): result = requests.get(URL) soup = BeautifulSoup(result.text,..
SQL과 NoSQL
2020. 12. 24. 15:04
프로그래밍/SQL
SQL과 NoSQL 대부분의 경우 SQL로 다 커버가 가능 NoSQL은 특별한 경우에 대응하기 좋은 DB임 NoSQL Not only SQL or Not SQL 1️⃣ Document DB mongoDB가 대표적인 예시 보통의 SQL처럼 행과 열이 존재하는 것이 아니라 데이터를 json document형태로 저장 SQL은 데이터의 구조가 엄격함 but mongoDB는 원하는 어떤 형태든 저장가능하고 데이터가 같은 모양일 필요 없음 2️⃣ Key Value DB 엄청 빠르게 많이 써야하고 많이 읽어야 할때 사용함 CassandraDB와 DynamoDB가 대표적인 예시 CassandraDB는 column wide database유형이기도 함 또한 읽고, 쓰기가 엄청 빠름 (많은 수의 아이템을 1초만에 쓸 수..