first part

Author: elenachekhina

app/models/bus.rb

@@ -13,7 +13,8 @@ class Bus < ApplicationRecord
   ].freeze
 
   has_many :trips
-  has_and_belongs_to_many :services, join_table: :buses_services
+  has_many :buses_services
+  has_many :services, through: :buses_services
 
   validates :number, presence: true, uniqueness: true
   validates :model, inclusion: { in: MODELS }

app/models/buses_service.rb

@@ -0,0 +1,4 @@
+class BusesService < ApplicationRecord
+  belongs_to :bus
+  belongs_to :service
+end

app/models/service.rb

@@ -12,7 +12,8 @@ class Service < ApplicationRecord
     'Можно не печатать билет',
   ].freeze
 
-  has_and_belongs_to_many :buses, join_table: :buses_services
+  has_many :buses_services
+  has_many :buses, through: :buses_services
 
   validates :name, presence: true
   validates :name, inclusion: { in: SERVICES }

app/services/data_loader.rb

@@ -1,41 +1,105 @@
+# frozen_string_literal: true
+
 class DataLoader
+  TRIPS_COMMAND =
+    "copy trips (from_id, to_id, start_time, duration_minutes, price_cents, bus_id) from stdin with csv delimiter ';'"
+  CITIES_COMMAND = "copy cities (id, name) from stdin with csv delimiter ';'"
+  BUSES_COMMAND = "copy buses (id, number, model) from stdin with csv delimiter ';'"
+  SERVICES_COMMAND = "copy services (id, name) from stdin with csv delimiter ';'"
+  BUSES_SERVICES_COMMAND = "copy buses_services (bus_id, service_id) from stdin with csv delimiter ';'"
+
+  def self.load(filename)
+    new(filename).load
+  end
+
+  def initialize(filename)
+    @stream = JsonStreamer.stream(filename)
+    @cities = {}
+    @services = {}
+    @buses = {}
+    @buses_services = []
+  end
+
+  def load
+    ActiveRecord::Base.transaction do
+      clean_database
+      connection = ActiveRecord::Base.connection.raw_connection
+
+      ActiveRecord::Base.connection.raw_connection.copy_data TRIPS_COMMAND do
+        stream.each do |trip|
+          from = city(trip['from'])
+          to = city(trip['to'])
+
+          if buses[trip['bus']['number']].nil?
+            bus_services = []
+            trip['bus']['services'].each do |name|
+              bus_services << service(name)
+            end
 
-  class << self
-    def load(filename)
-      ActiveRecord::Base.transaction do
-        clean_database
-
-        JsonStreamer.stream(filename).each do |trip|
-          from = City.find_or_create_by(name: trip['from'])
-          to = City.find_or_create_by(name: trip['to'])
-          services = []
-          trip['bus']['services'].each do |service|
-            s = Service.find_or_create_by(name: service)
-            services << s
+            create_bus(trip['bus']['number'], trip['bus']['model'])
+            create_bus_services(buses[trip['bus']['number']], bus_services)
           end
-          bus = Bus.find_or_create_by(number: trip['bus']['number'])
-          bus.update(model: trip['bus']['model'], services: services)
-
-          Trip.create!(
-            from: from,
-            to: to,
-            bus: bus,
-            start_time: trip['start_time'],
-            duration_minutes: trip['duration_minutes'],
-            price_cents: trip['price_cents'],
-          )
+
+          bus = buses[trip['bus']['number']]
+
+          connection.put_copy_data("#{from[:id]};#{to[:id]};#{trip['start_time']};#{trip['duration_minutes']};#{trip['price_cents']};#{bus[:id]}\n")
+        end
+      end
+
+      ActiveRecord::Base.connection.raw_connection.copy_data CITIES_COMMAND do
+        cities.each do |name, attrs|
+          connection.put_copy_data("#{attrs[:id]};#{name}\n")
+        end
+      end
+
+      ActiveRecord::Base.connection.raw_connection.copy_data BUSES_COMMAND do
+        buses.each do |number, attrs|
+          connection.put_copy_data("#{attrs[:id]};#{number};#{attrs[:model]}\n")
+        end
+      end
+
+      ActiveRecord::Base.connection.raw_connection.copy_data SERVICES_COMMAND do
+        services.each do |name, attrs|
+          connection.put_copy_data("#{attrs[:id]};#{name}\n")
+        end
+      end
+
+      ActiveRecord::Base.connection.raw_connection.copy_data BUSES_SERVICES_COMMAND do
+        buses_services.each do |bus_id, service_id|
+          connection.put_copy_data("#{bus_id};#{service_id}\n")
         end
       end
     end
+  end
+
+  private
 
-    private
+  attr_reader :stream
+  attr_accessor :cities, :services, :buses, :buses_services
+
+  def clean_database
+    City.delete_all
+    Bus.delete_all
+    Service.delete_all
+    Trip.delete_all
+    ActiveRecord::Base.connection.execute('delete from buses_services;')
+  end
+
+  def city(name)
+    cities[name] ||= { id: cities.size + 1 }
+  end
+
+  def service(name)
+    services[name] ||= { id: services.size + 1 }
+  end
+
+  def create_bus(number, model)
+    buses[number] = { id: buses.size + 1, model: }
+  end
 
-    def clean_database
-      City.delete_all
-      Bus.delete_all
-      Service.delete_all
-      Trip.delete_all
-      ActiveRecord::Base.connection.execute('delete from buses_services;')
+  def create_bus_services(bus, services)
+    services.map do |service|
+      @buses_services << [bus[:id], service[:id]]
     end
   end
 end

case-study.md

@@ -12,4 +12,53 @@
 1) время выполнения fixtures/small.json - 10.167809
 2) воспользуемся rbspy для профилирования скрипта импорта
 3) rbspy / rubyprof выдают много лишних данных при вызове таски, поэтому можно вынести импорт в отдельный класс и профилировать его
-4) вынесла в класс DataLoader, перенесла тесты
+4) вынесла в класс DataLoader, перенесла тесты
+
+Пока выносила обратила внимание что файл считывается в память целиком, также в задании упоминается про файл 1М который весит примерно 3ГБ, перепишем сразу на стриминг
+добавила класс jsonStreamer - собирает объекты и возвращает по одному, какой то адекватный гем не нашла для такой обработки файла, теперь используется потоковая обработка файла
+
+
+1) время выполнения не поменялось
+2) время выполнения fixtures/small.json - 10.473295
+3) отчет stackfrof - главная точка роста:
+в отчете видны 2 главные точки роста - update (41%) и find_or_create_by (25%)
+4) что делать с update пока непонятно, а вот такое кол-во find_or_create_by можно заменить
+5) Внесем правки в работу с городами, написано что в файле их не больше 100, попробуем собирать их в словать параллельно создавая
+6) время выполнения fixtures/small.json - 8.523640
+7) изменения в отчете профилировщика: find_or_create_by снизился до 18%
+
+1) также у нас собирается еще 2 стравочника - services, buses
+2) заменим find_or_create_by и там
+3) services: 6.919434, find_or_create_by 23%
+4) buses: 5.319638, find_or_create_by больше нет
+
+1) главная точка роста: update (64%)
+2) обновляется автобус сервисами, это обновление в целом выглядит довольно бесполезно, потому что сервисы останутся от последнего trip в файле
+3) поэтому обновление сервисами можно в принципе убрать, либо уточнить формат файла, должны ли они добавляться / обновляться или браться пересечение
+4) убрали обновление заменив его на создание сервисов при создании автобуса
+5) время: 3.025756
+6) отчет профилировщика: update больше нет
+
+1) главная точка роста: создание записей
+2) обратимся к логам и посмотрим на кол-во обращений к базе
+3) на файл example к базе было 10 (создание trip) + 2 (проверка существования автобуса + создание) + 4 (проверка городов + создание) + 2 (создание сревисов) = 18
+4) можно воспользоваться стримингом из readme
+5) время для small: 0.138599
+6) medium: 0.510029
+7) large: 3.958625
+8) 1M: 38.381950
+9) ну тут уже время упирается в стример, без каких либо преобразований он перебирает файл 1M за 34.973238
+10) причем потребление памяти на 1М не превышает 8МБ
+```
+INITIAL MEMORY USAGE: 103 MB
+MEMORY USAGE: 103 MB
+MEMORY USAGE: 110 MB
+... 7 строчек с 110 MB
+MEMORY USAGE: 110 MB
+MEMORY USAGE: 111 MB
+... 26 строчек с 111 MB
+MEMORY USAGE: 111 MB
+FINAL MEMORY USAGE: 110 MB
+```
+
+

lib/tasks/profile.rake

@@ -3,7 +3,7 @@ namespace :profile do
   task time: :environment do
     require 'benchmark'
 
-    puts(Benchmark.measure { DataLoader.load('fixtures/small.json') })
+    puts(Benchmark.measure { DataLoader.load('fixtures/1M.json') })
   end
 
   desc 'Ruby prof'
@@ -39,7 +39,23 @@ namespace :profile do
       io.close
     end
 
-    DataLoader.load('fixtures/small.json')
+    DataLoader.load('fixtures/1M.json')
     monitor_thread.kill
   end
+
+  desc 'Stackprof cli'
+  task stackprof_cli: :environment do
+    StackProf.run(mode: :wall, out: Rails.root.join('profile', 'stackprof_reports/stackprof.dump'), interval: 1000) do
+      DataLoader.load('fixtures/small.json')
+    end
+  end
+
+  desc 'Stackprof speedscope'
+  task stackprof_speedscope: :environment do
+    profile = StackProf.run(mode: :wall, raw: true) do
+      DataLoader.load('fixtures/small.json')
+    end
+
+    File.write(Rails.root.join('profile', 'stackprof_reports/stackprof.json'), JSON.generate(profile))
+  end
 end

spec/services/data_loader_spec.rb

@@ -23,22 +23,33 @@
     )
   end
 
+  it 'creates buses_services' do
+    bus = Bus.find_by(number: '123')
+    wifi = Service.find_by(name: 'WiFi')
+    toilet = Service.find_by(name: 'Туалет')
+
+    expect(BusesService.all).to contain_exactly(
+      have_attributes(bus_id: bus.id, service_id: wifi.id),
+      have_attributes(bus_id: bus.id, service_id: toilet.id)
+    )
+  end
+
   it 'creates trips' do
     samara = City.find_by(name: 'Самара')
     moscow = City.find_by(name: 'Москва')
     bus = Bus.find_by(number: '123')
 
     expect(Trip.all).to contain_exactly(
-      have_attributes(start_time: '11:00', duration_minutes: 168, price_cents: 474, from: moscow, to: samara, bus:),
-      have_attributes(start_time: '17:30', duration_minutes: 37, price_cents: 173, from: samara, to: moscow, bus:),
-      have_attributes(start_time: '12:00', duration_minutes: 323, price_cents: 672, from: moscow, to: samara, bus:),
-      have_attributes(start_time: '18:30', duration_minutes: 315, price_cents: 969, from: samara, to: moscow, bus:),
-      have_attributes(start_time: '13:00', duration_minutes: 304, price_cents: 641, from: moscow, to: samara, bus:),
-      have_attributes(start_time: '19:30', duration_minutes: 21, price_cents: 663, from: samara, to: moscow, bus:),
-      have_attributes(start_time: '14:00', duration_minutes: 598, price_cents: 629, from: moscow, to: samara, bus:),
-      have_attributes(start_time: '20:30', duration_minutes: 292, price_cents: 22, from: samara, to: moscow, bus:),
-      have_attributes(start_time: '15:00', duration_minutes: 127, price_cents: 795, from: moscow, to: samara, bus:),
-      have_attributes(start_time: '21:30', duration_minutes: 183, price_cents: 846, from: samara, to: moscow, bus:)
+      have_attributes(start_time: '11:00', duration_minutes: 168, price_cents: 474, from_id: moscow.id, to_id: samara.id, bus_id: bus.id),
+      have_attributes(start_time: '17:30', duration_minutes: 37, price_cents: 173, from_id: samara.id, to_id: moscow.id, bus_id: bus.id),
+      have_attributes(start_time: '12:00', duration_minutes: 323, price_cents: 672, from_id: moscow.id, to_id: samara.id, bus_id: bus.id),
+      have_attributes(start_time: '18:30', duration_minutes: 315, price_cents: 969, from_id: samara.id, to_id: moscow.id, bus_id: bus.id),
+      have_attributes(start_time: '13:00', duration_minutes: 304, price_cents: 641, from_id: moscow.id, to_id: samara.id, bus_id: bus.id),
+      have_attributes(start_time: '19:30', duration_minutes: 21, price_cents: 663, from_id: samara.id, to_id: moscow.id, bus_id: bus.id),
+      have_attributes(start_time: '14:00', duration_minutes: 598, price_cents: 629, from_id: moscow.id, to_id: samara.id, bus_id: bus.id),
+      have_attributes(start_time: '20:30', duration_minutes: 292, price_cents: 22, from_id: samara.id, to_id: moscow.id, bus_id: bus.id),
+      have_attributes(start_time: '15:00', duration_minutes: 127, price_cents: 795, from_id: moscow.id, to_id: samara.id, bus_id: bus.id),
+      have_attributes(start_time: '21:30', duration_minutes: 183, price_cents: 846, from_id: samara.id, to_id: moscow.id, bus_id: bus.id)
     )
   end
 end