import numpy as np
import pandas as pd
from bs4 import BeautifulSoup
import requests
import re
import urllib
import os
import http.cookiejar
import json
from skimage import io

from matplotlib.pyplot import imshow
import numpy as np
from PIL import Image
import  matplotlib.pyplot as plt


print('Loading data...')
data_path =  '/home/bono/ONEDRIVE_DATA/kkbox/'
df_train = pd.read_csv(data_path + 'train.csv')
df_songs = pd.read_csv(data_path + 'songs.csv')
df_members = pd.read_csv(data_path + 'members.csv')
df_songs_extra = pd.read_csv(data_path + 'song_extra_info.csv')

# songs_extra
def isrc_to_year(isrc):
    if type(isrc) == str:
        if int(isrc[5:7]) > 17:
            return 1900 + int(isrc[5:7])
        else:
            return 2000 + int(isrc[5:7])
    else:
        return np.nan
        
df_songs_extra['song_year'] = df_songs_extra['isrc'].apply(isrc_to_year)
df_songs['song_length'] = df_songs['song_length'] / 1000

df_train.head()

df_songs.head()

df_songs_extra.head()

df_members.head()

#df_songs 정보에 df_songs_extra 정보를 붙이기 위해서 merge를 함

df_songs = df_songs.merge(df_songs_extra[['song_id', 'name','song_year']], how= 'left', on = 'song_id')

#bd는 나이고 , gender는 성별인데 빠져 있는 것들이 많음
#df_train에 df_members 를 merge 함
df_train = df_train.merge(df_members[['msno','city','bd','gender']], how = 'left', on = 'msno')

#분석을 위해서 df_train과 df_songs을 merge
df_data = df_train.merge(df_songs, how = 'left', on = 'song_id')

#총 분석 데이터 수는 (7,377,418)
df_data.shape

df_data.groupby('artist_name')['msno'].count().reset_index().sort_values('msno', ascending = False).head(20)

df_song_20 = df_data.groupby('song_id')['msno'].count().reset_index().sort_values('msno', ascending = False).head(20)
df_song_20 = df_song_20.rename(columns={'msno':'count'})

df_song_20.merge(df_songs[['name','genre_ids', 'artist_name','language','song_year','song_id']])

# language 별로 분류 가장 많은 3은 중화권, 52는 영어권, 31 한국어 권 
df_data.groupby('language')['artist_name'].count()

# 한국어권과 영어권만 분류 하기 위해서 52는 영어권, 31 한국어 권 
df_data_52 = df_data[df_data['language']==52]
df_data_31 = df_data[df_data['language']==31]

df_data_31.groupby('artist_name')['msno'].count().reset_index().sort_values('msno', ascending = False).head(20)

df_song_20 = df_data_31.groupby('song_id')['msno'].count().reset_index().sort_values('msno', ascending = False).head(20)
df_song_20 = df_song_20.rename(columns={'msno':'count'})

df_song_20.merge(df_songs[['name','genre_ids', 'artist_name','language','song_year','song_id']])

# 영어권에서 1960년 이상만을 대상으로
df_data_52 = df_data_52[df_data['song_year'] >=1960]

df_data_52.groupby('song_year')['song_id'].count().plot()
plt.show()
#### 올드 팝 보다는 최신 음악을 듣고 있음. 
#### 2017년 노래는 아직 많이 없기 때문에 그래프가 마지막에 하강되게 나타남

df_piv = df_data_52.groupby(['song_year','artist_name'])['name'].count().reset_index()
## 년도별로 rank를 줌
df_piv['rn'] = df_piv.sort_values(['name'], ascending=[False]) \
             .groupby(['song_year']) \
             .cumcount() + 1
df_x =df_piv[df_piv['rn']<21][['song_year','artist_name','rn']].sort_values(['rn', 'song_year'])
df_x = df_x.set_index(['song_year','rn'])
df_x.unstack('song_year')

df_x = df_x.reset_index()
df_song_1991 = df_x[df_x['song_year'] == 1991]

def get_soup(url,header):
    return BeautifulSoup(urllib.request.urlopen(urllib.request.Request(url,headers=header)),'html.parser')

alist = []
header={'User-Agent':"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.2357.134 Safari/537.36"
}
ActualImages=[]

for i in range(0, len(df_song_1991)):
    query = df_song_1991.iloc[i,2] +' ' + '1991' + ' ' + 'album jacket'
    query= query.split()
    query='+'.join(query)
    url = "https://www.google.co.kr/search?q=" + query + "&hl=ko&dcr=0&biw=1006&bih=525&tbm=isch&source=lnt&tbs=isz:ex,iszw:500,iszh:500"
    soup = get_soup(url,header)
    a = soup.find_all("div",{"class":"rg_meta"})[0]
    link = json.loads(a.text)["ou"] 
    ActualImages.append((link))
    alist.append(ActualImages[0])
plt.figure(figsize=(20,10))
columns = 5    
print(len(ActualImages))
for i, images in enumerate(ActualImages):
    plt.subplot(len(ActualImages) / columns + 1, columns, i + 1)
    io.imshow(io.imread(images))
io.show()