import glob
import os
import re
import pandas as pd
import xgboost as xgb
import numpy as np
from sklearn.metrics import accuracy_score
from sklearn.model_selection import train_test_split, GridSearchCV, RepeatedKFold
from string import ascii_letters, digits

# ファイル一覧取得
files_race = glob.glob('race/*')
df_all_race = pd.DataFrame()

# 各ファイルを処理
for file in files_race:

 　# ファイルを読み込み
　with open(file, encoding='shift-jis') as f:
　　data = f.readlines()

 # スペースや改行を削除し
  data = [s.replace('\u3000', '').replace('\n', '') for s in data]  half = ascii_letters + digits   table = {c + 65248: c for c in map(ord, half)}   data = [name.translate(table) for name in data] # ファイル名から日付を抽出 date = os.path.basename(file) date = re.sub(r'\D', '', date) # 数値のみ抽出 data = [row for row in data if re.match('^[0-9]', row)] # 必要な値のみを抽出 pattern_place_re1 = re.compile('\d{2}[B][B]') pattern_race_num_re1 = re.compile('\d+[R]') pattern_racer_re1 = re.compile('^[1-6]\s\d{4}') pattern_place_re2 = re.compile('(\d{2})[B][B]') pattern_race_num_re2 = re.compile('(\d+)[R]') pattern_racer_re2 = re.compile('^([1-6])\s(\d{4})([^0-9]+)(\d{2})([^0-9]+)(\d{2})([AB]\d{1})\s(\d.\d{2})\s*(\d+.\d{2})\s*(\d+.\d{2})\s*(\d+.\d{2})\s*(\d+)\s*(\d+.\d{2})\s*(\d+)\s*(\d+.\d{2})')  values = []   place_elm = race_num_elm = None for row in data: if re.match(pattern_place_re1, row): 　 place = re.match(pattern_place_re2, row).groups() 　 place_elm = place[0] elif re.match(pattern_race_num_re1, row): 　 race_num = re.match(pattern_race_num_re2, row).groups() 　 race_num_elm = race_num[0].zfill(2) elif re.match(pattern_racer_re1, row): 　 value = re.match(pattern_racer_re2, row).groups() 　 val_li = list(value) + [place_elm, race_num_elm, date] 　values.append(val_li)   # データフレーム作成   columns = ['艇番', '選手登番', '選手名', '年齢', '支部', '体重', '級別', '全国勝率', '全国2連率', '当地勝率', '当地2連率', 'モーターNO', 'モーター2連率', 'ボートNO', 'ボート2連率', '開催地', 'レース番号', '日付']  　 df_race = pd.DataFrame(values, columns=columns)  　 df_race['レースID'] = df_race['日付'] + df_race['開催地'] + df_race['レース番号']  　 df_all_race = pd.concat([df_all_race, df_race], ignore_index=True) df_all_race

# ファイル一覧取得
files_result = glob.glob('result/*')
df_all_result = pd.DataFrame()

# 各ファイルを処理
for file in files_result:

　 # ファイルを読み込み
　with open(file, encoding='shift-jis') as f:
　data = f.readlines()
　# 余分なスペースや改行を削除
　data = [s.replace('\u3000', '').replace('\n', '') for s in data]

　 # 全角文字を半角文字に変換
　half = ascii_letters + digits
　table = {c + 65248: c for c in map(ord, half)}
　data = [name.translate(table) for name in data]

　 # ファイル名から日付を抽出
　date = os.path.basename(file)
　date = re.sub(r'\D', '', date)

　 # 必要なデータのみを抽出
　data = [row for row in data if re.match('[0-9]', row) or re.match('\s\s[0-9]', row) or re.match('\s\s\s[0-9]', row)]

　 # データから必要な値を抽出
　pattern_place_re1 = re.compile('\d{2}[K][B]')
　pattern_race_num_re1 = re.compile('\s+\d+[R]')
　pattern_racer_re1 = re.compile('\s+\d+\s+[1-6]\s\d{4}')

　pattern_place_re2 = re.compile('(\d{2})[K][B]')
　pattern_race_num_re2 = re.compile('\s+(\d+)[R]')
　pattern_racer_re2 = re.compile('\s+(\d+)\s+[1-6]\s(\d{4})')

　values = []
　place_elm = race_num_elm = None

　for row in data:
　　if re.match(pattern_place_re1, row):
　　place = re.match(pattern_place_re2, row).groups()
　　place_elm = place[0]
　elif re.match(pattern_race_num_re1, row):
　　race_num = re.match(pattern_race_num_re2, row).groups()
　　race_num_elm = race_num[0].zfill(2)
　elif re.match(pattern_racer_re1, row):
　　value = re.match(pattern_racer_re2, row).groups()
　　val_li = list(value) + [place_elm, race_num_elm, date]
　　values.append(val_li)

 # データフレーム作成
　columns = ['実着順', '選手登番', '開催地', 'レース番号', '日付']
　df_result = pd.DataFrame(values, columns=columns)
　df_result['レースID'] = df_result['日付'] + df_result['開催地'] + df_result['レース番号']
　df_result = df_result[['実着順', '選手登番', 'レースID']]

　df_all_result = pd.concat([df_all_result, df_result], ignore_index=True)

df_all_result

# レースID,選手登番をキーに出走表データとレース結果データを結合
df = df_all_race.merge(df_all_result, how='left', on=['レースID','選手登番'])

# 級別を数値に変換（説明変数として使用したいため）
df['等級'] = df['級別'].apply(lambda x: 1 if x=='A1' else (2 if x=='A2' else(3 if x=='B1' else 4)))

# 着順なしのデータを補正
df['実着順'] = df['実着順'].fillna('06')

# 無効レースを削除
df_del = df.groupby('レースID').count()['実着順']
df_del = df_del[df_del <= 2]
for i in df_del.index:
df.drop(df[df['レースID'] == i].index, inplace=True)

# データ型を変換
df[['艇番', '選手登番', 'レースID']] = df[['艇番', '選手登番', 'レースID']].astype(int)
df[['全国勝率', '全国2連率', '当地勝率', '当地2連率', 'モーター2連率', 'ボート2連率']] = df[['全国勝率', '全国2連率', '当地勝率', '当地2連率', 'モーター2連率', 'ボート2連率']].astype(float)

# 不要なカラムを削除
df = df.drop(['選手名', '年齢', '支部', '体重', 'モーターNO', 'ボートNO', '開催地', 'レース番号', '日付','級別'], axis=1)

# カラム名を変更
df = df.rename(columns={
'実着順': '着順', '選手登番': '選手番号', '艇番': '艇番',
})

# # 着順をマッピングする
class_mapping = {'01': 0, '02': 1, '03': 2, '04': 3, '05': 4, '06': 5}
df['着順'] = df['着順'].map(class_mapping)

df

# 説明変数
# 説明変数
df_x = df.drop(['着順'],axis=1)

# 目的変数
df_y = df['着順']

x_train, x_test, y_train, y_test = train_test_split(df_x,df_y,random_state=1)

model = xgb.XGBClassifier()

params = { 'booster':['gbtree']
　　　　　　,'max_features':['sqrt', 'log2', 'auto', None]
　　　　　　,'random_state':[1]
　　　　　　,'objective':['multi_sofmax']
　　　　　　}

gcv = GridSearchCV(estimator=model, param_grid=params,
scoring='f1_micro')
gcv.fit(x_train, y_train)

print('best score: {}'.format(gcv.score(x_test, y_test)))
print('best params: {}'.format(gcv.best_params_))
print('best val score: {}'.format(gcv.best_score_))

model=xgb.XGBClassifier(
　booster= "gbtree",
　max_features='sqrt',
　objective="multi:softmax",
　fandom_state=1
)
model.fit(x_train, y_train)

y_test_pred = model.predict(x_test)
print(classification_report(y_test,y_test_pred))

precision recall f1-score support 
         0 0.52 0.56 0.54 1128 
         1 0.25 0.26 0.25 1152 
         2 0.18 0.18 0.18 1094 
         3 0.22 0.19 0.20 1161 
         4 0.20 0.20 0.20 1095 
         5 0.34 0.35 0.35 1264 
　accuracy           0.29 6894 
macro avg　　　　  　 0.28 0.29 0.29 6894 
weighted avg 　　　 　0.29 0.29 0.29 6894

投票数 : 55件
的中 : 2件
回収率 : 67.27%