Tag: migration

Ruby on Rails, Mysql2::Error: Incorrect string value: ‘\xF0\x9F\x99\x82’ and Specified key was too long; max key length is 767 bytes

If you get error like this one:

Mysql2::Error: Incorrect string value: '\xF0\x9F\x99\x82'

it means that you use verion of Mysql with settings that does not support full Unicode. Changing that in Ruby on Rails should be fairly simple:

class ChangeEncoding < ActiveRecord::Migration[5.0]
  def change
    config = Rails.configuration.database_configuration
    db_name = config[Rails.env]["database"]
    collate = 'utf8mb4_polish_ci'
    char_set = 'utf8mb4'

    execute("ALTER DATABASE #{db_name} CHARACTER SET #{char_set} COLLATE #{collate};")

    ActiveRecord::Base.connection.tables.each do |table|
      execute("ALTER TABLE #{table} CONVERT TO CHARACTER SET #{char_set} COLLATE #{collate};")
    end
  end
end

However you might encounter following error:

Specified key was too long; max key length is 767 bytes

767 bytes is the stated prefix limitation for InnoDB tables.

To fix that you need to:

  • Update your database.yml file
  • Upgrade to MySQL 5.7 or edit your my.cnf  to enable innodb_large_prefix
  • Change row format to DYNAMIC
  • Alter the database and all the tables using Ruby on Rails migration

Database.yml

You need to change your encoding and collation for ActiveRecord:

production:
  encoding: utf8mb4
  collation: utf8mb4_polish_ci

MySQL my.cnf

Edit my.cnf and add following lines:

innodb_large_prefix=on
innodb_file_format=barracuda
innodb_file_per_table=true

DYNAMIC row format

If you don't do this, you will probably (if you have enough indexes) end up with this error:

767 bytes is the stated prefix limitation for InnoDB tables

To change row format, you need to run following query for each table:

ALTER TABLE table_name ROW_FORMAT=DYNAMIC;

However, you don't need to do this manually - below you will find a Ruby on Rails migration that will do everything that is required to make things going.

Complex migration to set everything as it should be in the MySQL database

class ChangeEncoding < ActiveRecord::Migration[5.0]
  def change
    config = Rails.configuration.database_configuration
    db_name = config[Rails.env]["database"]
    collate = 'utf8mb4_polish_ci'
    char_set = 'utf8mb4'
    row_format = 'DYNAMIC'

    execute("ALTER DATABASE #{db_name} CHARACTER SET #{char_set} COLLATE #{collate};")

    ActiveRecord::Base.connection.tables.each do |table|
      execute("ALTER TABLE #{table} ROW_FORMAT=#{row_format};")
      execute("ALTER TABLE #{table} CONVERT TO CHARACTER SET #{char_set} COLLATE #{collate};")
    end
  end
end

After you run this migration, everything should work fine.

Migracja z Rails 3.0.9 do Rails 3.1 RC5

Wstęp

Na fali RC5 nowych Railsów (3.1), postanowiłem zmigrować doń Susanoo (CMS pod Senpuu v5). Było to moje drugie podejście do przenosin. Pierwsze (jeszcze bodajże przed RC1) zakończyło się porażką. Głównie ze względu na to, że logika pod v5 nie była skończona i na przenosiny nie miałem zbyt dużo czasu.

Aktualne podejście na szczęście skończyło się dużo lepiej. Działa całość kodu i testów, jedyne problemy jakie występują (ale już niedługo), to niekompatybilność mojego gemu do osadzania obrazków w kodzie CSS (CSS image embedder). Nie powinno być z tym jednak większych problemów, ponieważ nowe Railsy umożliwiają wbicie się w Pipeline.

Wracając jednak do sedna sprawy, bardzo pomógł mi wpis Davida Rice'a dot. właśnie migracji. Duża część poniższych porad pochodzi właśnie z jego bloga.

Gemfile

Pierwszą rzeczą jaką musimy zaktualizować jest Gemfile w którym dodajemy (lub zamieniamy jeśli mieliśmy starsze wersje) następujące gemy:

gem 'rake', '~> 0.9.2'
gem "rails", "3.1.0.rc5"
gem 'mysql2', '0.3.6'
gem 'json'
gem 'sass'
gem 'coffee-script'
gem 'uglifier'
gem "sprockets", :git => 'https://github.com/sstephenson/sprockets.git'
gem 'jquery-rails'
gem "meta_search", '1.1.0.pre'
gem 'kaminari'
gem 'dynamic_form'
gem 'execjs'
gem 'therubyracer'

Oczywiście jest to kawałek gemfile'a z Susanoo, więc jeśli nie korzystacie z któregoś z gemów, to nie dodawajcie go do gemfile'a. Warto też pamiętać o tym, aby zaktualizować gemy (w miarę możliwości) do najnowszych wersji. Na przykład Mysql2 musi być z brancha 0.3.* aby współpracował z Railsami 3.1 (wersja RC5 wymaga wersji 0.3.6 mysql2).

config/boot.rb

Następnym krokiem jest zmiana pliku boot.rb. Usuwamy starą zawartość i wklejamy to co jest poniżej:

require 'rubygems'

# Set up gems listed in the Gemfile.
ENV['BUNDLE_GEMFILE'] ||= File.expand_path('../../Gemfile', __FILE__)

require 'bundler/setup' if File.exists?(ENV['BUNDLE_GEMFILE'])

application.rb

Po pierwsze na początku tego pliku dajemy:

require 'rake/dsl_definition'

Po drugie (to ważna decyzja!) jeśli nie chcemy korzystać z assetsów, tylko mieć (jak w 3.0) wszystkie JSy, Imgi i CSSy w public/ wpisujemy:

config.assets.enabled = false

W przeciwnym wypadku (app/assets), wpisujemy:

config.assets.enabled = true

Initializers

Jeśli korzystaliśmy z Sassa - usuwamy jego initializer (sass:plugin). Tak samo robimy ze wszystkimi innymi które nie są już potrzebne (bądź są niekompatybilne).

Routes w kilku plikach

W jednym z poprzednich wpisów, pokazywałem jak rozłożyć routsy w logiczny sposób. Jeśli uruchomimy nowe Railsy, zobaczymy taki oto warning:

DEPRECATION WARNING: 
config.paths.app.controller API is deprecated 
in favor of config.paths["app/controller"]

Aby go usunąć, zmieniamy linijkę:

config.paths.config.routes << route_file

na następującą:

config.paths['config/routes'] << route_file

ActionMailer

Kolejny warning będzie następujący:

DEPRECATION WARNING: content_type= is deprecated. 
Please pass :content_type as hash key to mail() instead.

Jego likwidujemy usuwając taki (lub podobny wpis) z pliku application.rb:

ActionMailer::Base.content_type = "text/html"

Assets - Pipeline

Jeśli nie włączyłeś assetsów - w tej chwili możesz odpalić swoją aplikację na Rails 3.1 RC5 :)
Jeśli jednak skusiła Cię wizja SCSSa i CoffeScriptu musisz wszystko przenieść do katalogu app/assets. Ja wybrałem trochę łatwiejszą drogę. Przeniosłem Javascripty i SCSSa, pozostawiłem jednak w katalogu public/assets wszystkie obrazki. Z niewiadomego dla mnie powodu, przeniesienie obrazków skutkuje baardzo powolnym ładowaniem się strony w trybie deweloperskim. Jak tylko sytuacja ta zostanie rozwiązana, nic nie stoi na przeszkodzie aby i obrazki leciały przez pipe'a.

# Przenosiny
mkdir app/assets
git mv public/images /assets
git mv public/javascripts app/assets/javascripts
git mv public/stylesheets app/assets/stylesheets

config/environments/production.rb

Dwie opcje dla produkcji (config/environments/production.rb):

config.assets.js_compressor  = :uglifier
config.assets.css_compressor = :scss

Ścieżki (referencje) do obrazków

Jak nietrudno się domyślić, wszelkie referencje wskazujące na /images/ nie będą działać. Z tego względu musimy zamienić w naszych plikach css/scss:

# Zamieniamy:
/images/
# Na:
/assets/

Manifesty dla plików CSS i JS

W manifeście umieszczamy informacje o tym jakie pliki mają zostać połączone w jeden, który zostanie zaserwowany klientowi.
Przykład dla JSa:

// This is a manifest file that'll be compiled into including all the files listed below.
// Add new JavaScript/Coffee code in separate files in this directory and they'll automatically
// be included in the compiled file accessible from http://example.com/assets/application.js
// It's not advisable to add code directly here, but if you do, it'll appear at the bottom of the
// the compiled file.
//
//= require jquery
//= require jquery_ujs
//= require_tree .

i wersja dla CSSa:

/*
 * This is a manifest file that'll automatically include all the stylesheets available in this directory
 * and any sub-directories. You're free to add application-wide styles to this file and they'll appear at
 * the top of the compiled file, but it's generally better to create a new file per style scope.
 *= require_self
 *= require_tree . 
*/

Warto pamiętać, że ścieżki podajemy od roota assetsów, czyli przykładowo

//= require "layouts/admin/costam.js"

W przypadku SCSSów możemy korzystać z dyrektywy @import. Musimy jednak pamiętać, że ścieżka będzie względna w stos. do położenia naszego pliku.

Dołączanie arkuszy styli do kodu

<%= stylesheet_link_tag    "sciezka/manifest" %>
<%= javascript_include_tag "sciezka/manifest" %>

Podsumowanie

To by było na tyle. Na pierwszy rzut oka wydaje się to proste, jednak jeśli mamy dużo stylów, plików JS oraz rzeczy "pobocznych" w jakiś sposób z nimi powiązanych, przeniesienie może nie być zbyt łatwe. Może okazać się też, że część gemów z których korzystamy nie jest kompatybilna z R3.1. Warto też zdawać sobie sprawę, że bez solidnego obłożenia kodu testami - taka zmiana może źle się dla nas skończyć. Taka zmiana jest też dobrą okazją do refaktoryzacji i uprzątnięcia kodu - a więc, do dzieła!

Problemy

Z poważniejszych to mam póki co jeden który występuje tylko w środowisku produkcyjnym, mianowicie taki oto piękny error:

cache error: File name too long - /home/blabla/sciezka/tmp/cache/http%3A%2F%2Flocalhost%3A3001%2Fassets%2Flayouts%2Fadmin%2Fdefault%2Fmodule%2Fads-190528e5830bd4c5019cd4da9bcdbfdb.css%3F20110812-2214-j2m5kl.lock

Wygląda na to, że nie do końca dobrze tworzone są nazwy w cache'u. Pożyjemy zobaczymy - widziałem już gdzieś po drodze ticket, tak więc ekipa jest świadoma błędu. Pewnie niedługo naprawią.

Copyright © 2024 Closer to Code

Theme by Anders NorenUp ↑