Upload 5 files

Model training and evaluation

WarBot_test.ipynb

@@ -0,0 +1,229 @@
+{
+ "cells": [
+  {
+   "cell_type": "code",
+   "execution_count": 1,
+   "metadata": {
+    "collapsed": true
+   },
+   "outputs": [],
+   "source": [
+    "from transformers import AutoTokenizer ,AutoModelForCausalLM\n",
+    "import torch\n",
+    "import re\n",
+    "from sklearn.utils import shuffle"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 2,
+   "outputs": [],
+   "source": [
+    "# util function to get expected len after tokenizing\n",
+    "def get_length_param(text: str, tokenizer) -> str:\n",
+    "    tokens_count = len(tokenizer.encode(text))\n",
+    "    if tokens_count <= 15:\n",
+    "        len_param = '1'\n",
+    "    elif tokens_count <= 50:\n",
+    "        len_param = '2'\n",
+    "    elif tokens_count <= 256:\n",
+    "        len_param = '3'\n",
+    "    else:\n",
+    "        len_param = '-'\n",
+    "    return len_param"
+   ],
+   "metadata": {
+    "collapsed": false
+   }
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 7,
+   "outputs": [],
+   "source": [
+    "def remove_duplicates(S):\n",
+    "    S = re.sub(r'[a-zA-Z]+', '', S) #Remove english\n",
+    "    S = S.split()\n",
+    "    result = \"\"\n",
+    "    for subst in S:\n",
+    "        if subst not in result:\n",
+    "            result += subst+\" \"\n",
+    "    return result.rstrip()"
+   ],
+   "metadata": {
+    "collapsed": false
+   }
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 3,
+   "outputs": [],
+   "source": [
+    "fit_checkpoint = \"WarBot\"\n",
+    "tokenizer = AutoTokenizer.from_pretrained(fit_checkpoint)\n",
+    "model = AutoModelForCausalLM.from_pretrained(fit_checkpoint)"
+   ],
+   "metadata": {
+    "collapsed": false
+   }
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 12,
+   "outputs": [],
+   "source": [
+    "quote = \"Однажды мы проснёмся и поймём, что бригада Нахаль наваляла десантникам по самые помидоры\""
+   ],
+   "metadata": {
+    "collapsed": false
+   }
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 72,
+   "outputs": [],
+   "source": [
+    "# encode the input, add the eos_token and return a tensor in Pytorch\n",
+    "user_inpit_ids = tokenizer.encode(f\"|0|{get_length_param(quote, tokenizer)}|\" \\\n",
+    "                                              + quote + tokenizer.eos_token, return_tensors=\"pt\")\n",
+    "\n",
+    "#chat_history_ids = torch.cat([chat_history_ids, user_inpit_ids], dim=-1)\n",
+    "\n",
+    "chat_history_ids = user_inpit_ids # To be changed\n",
+    "\n",
+    "output_id = model.generate(\n",
+    "            chat_history_ids,\n",
+    "            num_return_sequences=1, # use for more variants, but have to print [i]\n",
+    "            max_length=300, #512\n",
+    "            no_repeat_ngram_size=1, #3\n",
+    "            do_sample=True, #True\n",
+    "            top_k=50,#50\n",
+    "            top_p=0.9, #0.9\n",
+    "            temperature = 0.45, # was 0.6, 0 for greedy\n",
+    "            #mask_token_id=tokenizer.mask_token_id,\n",
+    "            eos_token_id=tokenizer.eos_token_id,\n",
+    "            #unk_token_id=tokenizer.unk_token_id,\n",
+    "            pad_token_id=tokenizer.pad_token_id,\n",
+    "            #pad_token_id=tokenizer.eos_token_id,\n",
+    "            #device='cpu'\n",
+    "        )"
+   ],
+   "metadata": {
+    "collapsed": false
+   }
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 59,
+   "outputs": [],
+   "source": [
+    "def removeSigns(S):\n",
+    "    last_index = max(S.rfind(\".\"), S.rfind(\"!\"))\n",
+    "    if last_index >= 0:\n",
+    "        S = S[:last_index+1]\n",
+    "    return S"
+   ],
+   "metadata": {
+    "collapsed": false
+   }
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 63,
+   "outputs": [],
+   "source": [
+    "def getResponce():\n",
+    "    response = tokenizer.decode(output_id[0], skip_special_tokens=True)\n",
+    "    response = removeSigns(response)\n",
+    "    #response = re.sub(r'[^а-яА-Я;.,!?]', '', response) # Clear the response, remains only russian\n",
+    "    response_с = response.split(quote)[-1] #Remove the Quote\n",
+    "    clean_response = remove_duplicates(re.sub(r\"\\d{4,}\", \"\", response_с)) # Remove the consequent numbers with 4 or more digits\n",
+    "    return clean_response"
+   ],
+   "metadata": {
+    "collapsed": false
+   }
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 73,
+   "outputs": [
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "Response: в бригаде есть несколько батальонов \"йерихон\". они основном для того чтобы отражать атаки хезов. батальонный уровень это ротные минометы на джипах прицепами (на уровне батальона). если них будет достаточно ракет могут даже накрыть батарею 120мм минометной установки или из состава бригады может быть хуже чем батареи 122 м-109 которые находятся под управлением роты/бат аля рейнджеры... опять все зависит ситуации например после первой ливанской артиллеристы стали очень сильно нервничать когда обстреливали израильские бпла типа 28, как приходилось отвечать свои задачи. теперь вот примеру американцы решили полностью перевести всю бригаду второй эшелон : 1) сократив количество артдивизионов 4х; 3 пехотных батальонах(м113); 5 танковых + отдельный армейский который сможет прикрывать танки непосредственно перед атакой противника.. правда нужно еще иметь возможность поддерживать свой штатную авиацию огнем своего штатного места без необходимости перебрасывать туда часть танков.... короче говоря вся эта система должна работать вместе /при условии полного отсутствия взаимозачетчиков между ними...но тут надо смотреть кто первый окажется дежурным батареей техасских коптеров..и итп....\n"
+     ]
+    }
+   ],
+   "source": [
+    "print(\"Response:\",getResponce())"
+   ],
+   "metadata": {
+    "collapsed": false
+   }
+  },
+  {
+   "cell_type": "markdown",
+   "source": [
+    "Spelling Fix:"
+   ],
+   "metadata": {
+    "collapsed": false
+   }
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 74,
+   "outputs": [],
+   "source": [
+    "from autocorrect import Speller\n",
+    "spell = Speller('ru')\n",
+    "spell_fix_response = spell(getResponce())"
+   ],
+   "metadata": {
+    "collapsed": false
+   }
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 75,
+   "outputs": [
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "в бригаде есть несколько батальонов \"рихон\". они основном для того чтобы отражать атаки уезов. батальонный уровень это ротные минометы на джипах прицепами (на уровне батальона). если них будет достаточно ракет могут даже накрыть батарею 120мм минометной установки или из состава бригады может быть хуже чем батареи 122 м-109 которые находятся под управлением роты/бат аля рейнджеры... опять все зависит ситуации например после первой ливанской артиллеристы стали очень сильно нервничать когда обстреливали израильские была типа 28, как приходилось отвечать свои задачи. теперь вот примеру американцы решили полностью перевести всю бригаду второй эшелон : 1) сократив количество артдивизионов 4х; 3 пехотных батальонах(м113); 5 танковых + отдельный армейский который сможет прикрывать танки непосредственно перед атакой противника.. правда нужно еще иметь возможность поддерживать свой штатную авиацию огнем своего штатного места без необходимости перебрасывать туда часть танков.... короче говоря вся эта система должна работать вместе /при условии полного отсутствия взаимозачетчиков между ними...но тут надо смотреть кто первый окажется дежурным батареей техасских коптеров..и итп....\n"
+     ]
+    }
+   ],
+   "source": [
+    "print(spell_fix_response)"
+   ],
+   "metadata": {
+    "collapsed": false
+   }
+  }
+ ],
+ "metadata": {
+  "kernelspec": {
+   "display_name": "Python 3",
+   "language": "python",
+   "name": "python3"
+  },
+  "language_info": {
+   "codemirror_mode": {
+    "name": "ipython",
+    "version": 2
+   },
+   "file_extension": ".py",
+   "mimetype": "text/x-python",
+   "name": "python",
+   "nbconvert_exporter": "python",
+   "pygments_lexer": "ipython2",
+   "version": "2.7.6"
+  }
+ },
+ "nbformat": 4,
+ "nbformat_minor": 0
+}

datacleaner.py

@@ -0,0 +1,53 @@
+import pandas as pd
+import glob
+import re
+
+def clean(text):
+    if type(text) == str:
+        url_pattern = re.compile(r'http[s]?://(?:[a-zA-Z]|[0-9]|[$-_@.&+]|[!*\(\),]|(?:%[0-9a-fA-F][0-9a-fA-F]))+')
+        email_pattern = re.compile(r'[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}')
+        www_pattern = re.compile(r'\b\w*www\.\w*\b')
+        ftp_pattern = re.compile(r'ftp://(?:[a-zA-Z]|[0-9]|[$-_@.&+]|[!*\(\),]|(?:%[0-9a-fA-F][0-9a-fA-F]))+')
+        file_pattern = re.compile(r'file://(?:[a-zA-Z]|[0-9]|[$-_@.&+]|[!*\(\),]|(?:%[0-9a-fA-F][0-9a-fA-F]))+')
+        underscore_pattern = re.compile(r'\b\w*_\w*\b')
+        quote_pattern = re.compile(r'""([^"]*)""')
+        curly_brackets_pattern = re.compile(r'\{[^}]*\}')
+        post_pattern = re.compile(r'#post')
+        write_pattern = re.compile(r'(\b\w+)\sнаписал\(а\)\b')
+
+        text = re.sub(url_pattern, '', text)
+        text = re.sub(email_pattern, '', text)
+        text = re.sub(ftp_pattern, '', text)
+        text = re.sub(www_pattern, '', text)
+        text = re.sub(underscore_pattern, '', text)
+        #text = re.sub(quote_pattern, '', text)
+        text = re.sub(curly_brackets_pattern, '', text)
+        text = re.sub(file_pattern, '', text)
+        text = re.sub(post_pattern, '', text)
+        text = re.sub(write_pattern, '', text)
+
+    return text
+
+path = r'Data' # use your path
+all_files = glob.glob(path + "/*.csv")
+
+li = []
+
+for filename in all_files:
+    df = pd.read_csv(filename, index_col=None, header=0)
+    li.append(df)
+
+frame = pd.concat(li, axis=0, ignore_index=True)
+
+frame = frame.drop_duplicates()
+
+#frame = frame[~frame.applymap(lambda x: x == 'nan').any(1)]
+frame = frame.applymap(clean)
+frame = frame.applymap(lambda x: str(x).replace("посмотреть вложение", ""))
+#frame = frame.applymap(lambda x: str(x).replace('"', ''))
+
+# And again:
+frame = frame.drop_duplicates()
+frame = frame[frame.apply(lambda x: 'nan' not in x.values, axis=1)]
+
+frame.to_csv(path+'/combined.csv',index = False)

requirements.txt

@@ -0,0 +1,11 @@
+pandas
+requests
+bs4
+transformers
+scikit-learn
+tensorboardX
+sentencepiece # summaruization
+autocorrect # spelling
+# pip install git+https://github.com/RussianNLP/russian_paraphrasers@master
+#pip install torch==1.12.1+cu116 torchvision==0.13.1+cu116 torchaudio==0.12.1 --extra-index-url https://download.pytorch.org/whl/cu116
+#pip install torch==1.13.1+cu117 --extra-index-url https://download.pytorch.org/whl/cu117

waronlineforum.py

@@ -0,0 +1,174 @@
+# -*- coding: utf-8 -*-
+"""WarOnlineForum.ipynb"""
+
+# Extracting messages from forum
+
+import requests
+from bs4 import BeautifulSoup
+import re
+import pandas as pd
+import urllib.request as urllib
+import warnings
+warnings.filterwarnings("ignore")
+
+# initiate the corpus of Quote->Response texts
+corpus = pd.DataFrame(columns=['Quote', 'Response'])
+
+def remove_substring(string, substring):
+    index = string.find(substring)
+    if index != -1:
+        start_index = string.rfind(" ", 0, index) + 1
+        end_index = string.find(" ", index)
+        if end_index == -1:
+            end_index = len(string)
+        return string[:start_index] + string[end_index:]
+    return string
+
+def remove_attachments(string, substring='Посмотреть вложение'):
+  index = string.find(substring)
+  if index != -1:
+    end_index = string.find(" ", index)
+    if end_index == -1:
+      end_index = len(string)
+      return string[:index] + string[end_index:]
+  return string
+
+def collectDataFromPage(url):
+  # specify the URL of the XenForo forum page you want to extract messages from
+
+  # send a request to the URL and get the HTML response
+  response = requests.get(url)
+  html = response.content
+
+  # parse the HTML using BeautifulSoup
+  soup = BeautifulSoup(response.content, "html.parser")
+
+  # Find all elements with class "messageContent"
+  message_contents = soup.find_all("div", class_="bbWrapper")
+
+  # Loop through each messageContent element
+  for message_content in message_contents:
+    # Find the text within the messageContent element
+    message_text = message_content.text.strip()
+    
+    # Find the quoted text within the messageContent element
+    try:
+      quoted_text = message_content.find("blockquote").text.strip()
+      quoted_text = ''.join(BeautifulSoup(quoted_text, "html.parser").findAll(string=True))
+      quoted_text = quoted_text.replace('Нажмите для раскрытия...', '')
+      message_text = message_text.replace('Нажмите для раскрытия...', '')
+      # Remove the text in between "bbCodeBlock-expandLink js-expandLink" and "</div>"
+      
+      
+      # Print the message text and quoted text
+      Quote = re.sub(r'http\S+', '', ' '.join(quoted_text.split()).partition('(а): ')[2])
+      Quote = remove_substring(Quote,".com")
+      Quote = remove_attachments(Quote)
+      Quote = ' '.join(remove_substring(Quote,"@").split())
+      
+      Message = ' '.join(message_text.replace(quoted_text,'').split())
+      Message = remove_substring(Message,".com")
+      Message = remove_attachments(Message)
+      Message = ' '.join(remove_substring(Message,"@").split())
+
+      if Message and Quote:
+        # corpus is a dataframe (global)
+        corpus.loc[len(corpus)]=[Quote,Message]
+        #print("Quoted Text:", Quote)
+        #print("Message Text:", Message)
+        #print('________________________')
+    except:
+      pass
+
+def compare_pages(url1, url2):
+    page1 = requests.get(url1).text
+    page2 = requests.get(url2).text
+    # Stupid, but must be working
+    return len(page1) == len(page2)
+
+def compare_pages2(url1, url2):
+  return urllib.urlopen(url1).geturl() == urllib.urlopen(url2).geturl()
+
+
+def pages_of_thread(thread,startingPage=1):
+  page = startingPage
+  lastPage = False
+  while not lastPage:
+    response = requests.get(thread+'/page-'+str(page))
+    if response.status_code == 200:
+      collectDataFromPage(url = thread+'/page-'+str(page))
+      print(f'finished page #{page}')
+      if not compare_pages2(thread+'/page-'+str(page),thread+'/page-'+str(page+1)):
+        page+=1
+      else:
+        lastPage = True
+    else:
+      lastPage = True
+
+  # Usage Example:
+  #pages_of_thread(0,800) # Thread #0, starting page 800
+
+"""______________________________________ Main Code __________________________________________"""
+
+# Define the URLs to be crawled
+base_url = 'https://waronline.org'
+# Pehota base subforum
+#url = "https://waronline.org/fora/index.php?forums/%D0%9F%D0%B5%D1%85%D0%BE%D1%82%D0%B0.3/"
+# Obshevoyskovie base subforum
+#url = "https://waronline.org/fora/index.php?forums/%D0%9E%D0%B1%D1%89%D0%B5%D0%B2%D0%BE%D0%B9%D1%81%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5-%D1%82%D0%B5%D0%BC%D1%8B.4/"
+# VMF
+url = "https://waronline.org/fora/index.php?forums/%D0%92%D0%9C%D0%A4-%D0%B3%D1%80%D0%B0%D0%B6%D0%B4%D0%B0%D0%BD%D1%81%D0%BA%D0%B8%D0%B9-%D1%84%D0%BB%D0%BE%D1%82.12/"
+
+base_page = 1 #Starting with page-1
+lastSubForumPage = False
+
+while not lastSubForumPage:
+
+  # Send a GET request to the URL
+  response = requests.get(url+'page-'+str(base_page))
+  forum_threads = [] #threads on this page of subforum
+
+  # Check if the request was successful
+  if response.status_code == 200:
+    # Parse the HTML content of the page
+    soup = BeautifulSoup(response.content, "html.parser")
+      
+    # Get all the thread-links on the page
+    links = soup.find_all("a")
+      
+    # Get the links
+    for link in links:
+      lnk = link.get("href")
+      if lnk:
+        if 'threads' in lnk:
+          forum_threads.append((base_url+lnk).rsplit("/", 1)[0])
+
+    # Clear the duplicate links
+    forum_threads = list(set(forum_threads))
+      
+    for trd in forum_threads:
+      pages_of_thread(trd) # Starting at page=1
+      print(f'finished thread: {trd}')
+
+    if not compare_pages2(url+'page-'+str(base_page),url+'page-'+str(base_page+1)):
+      print(f'finished subforum page #{base_page}')
+      base_page+=1
+    else:
+      lastSubForumPage = True
+
+  else:
+    print("Failed to load the page")
+    lastSubForumPage = True
+
+# Lowercase all
+corpus['Quote'] = corpus['Quote'].apply(lambda x: x.lower() if isinstance(x,str) else x)
+corpus['Response'] = corpus['Response'].apply(lambda x: x.lower() if isinstance(x,str) else x)
+
+# Remove all non-alphanumericals
+corpus.Quote.str.replace('[^a-zA-Z]', '')
+corpus.Response.str.replace('[^a-zA-Z]', '')
+
+#Export to csv
+pathToDrive = ''
+filename = 'part5.csv'
+corpus.to_csv(pathToDrive+filename,index=False)