Yearly Archives: 2014

2014-11-14 , ,

org-modeで数式を書く(HTMLへMathMLでエクスポートする)

このブログ(Org2Blog使用)で数式を書くにはどうすれば良いのだろうか。

もともとorg-modeはLaTeXの表記が使えるのだけど、今の環境にはTeX関連のソフトウェアは入ってないし、画像化して埋め込むというのは面倒くさそうだ。

出力はHTML限定なのだから、MathMLを #+BEGIN_HTML#+END_HTML に書けば良さそうだ。でもMathMLはとても手で書ける代物では無いので、何らかのエディタを使わなければならない。MathMLが出力できる手軽なエディタはあるのだろうか。数式エディタは沢山ありすぎて正直よく分からない。

とりあえず http://www.mathtowebonline.com/ でLaTeXからの変換が出来るようだ。

例えば $a^2=b$ とすると、次のMathMLが得られる。

#+BEGIN_HTML
<math xmlns="http://www.w3.org/1998/Math/MathML">
<mrow>
        <msup>
                <mi>a</mi>
                <mn>2</mn>
        </msup>
        <mo>=</mo>
        <mi>b</mi>
</mrow>
</math>
#+END_HTML

これを実際に書くと↓こんな感じ?(要MathML対応ブラウザ)

a2=b

エクスポートするときにこの変換を自動的にしてくれれば良いのに。調べてみるとorg-modeはLaTeXで書かれた部分をhtmlへエクスポートする際、Mathjaxというものを使うらしい。

うはぁ、JavaScriptを使って html内のLaTeX表記 をブラウザ側でMathMLや(ブラウザが対応していなければ)HTML+CSSへ置換していくらしい。実際試しにエクスポートしてみたら、 LaTeXの表記はそのまま本文に出力 され、ヘッダーで http://orgmode.org/mathjax/MathJax.js を読み込むようなコードが出力されていた。FirefoxはMathMLに対応しているので最終的にMathMLで表示されているかと思いきや、spanとimgタグになっていた。どうもorgmode.orgに置いてあるMathJax.jsがversion="1.0.1"と古いせいのようだ。最新の2.4を使うように修正したらちゃんとMathMLへ置換されるようになった。確かにMathMLに対応していないブラウザでも表示させたければ、こういう方法しか無いのかもしれないけど……。

と、ここまで来て気がついたが、Chromeは未だにMathMLに対応していないらしい。

Issue 152430 - chromium - Enabling support for MathML - An open-source project to help move the web forward. - Google Project Hosting

なるほど、Chromeで使えないとなるとJavaScriptで何とかするのも仕方が無い。しかし、html内の$や\を自動的に置換されてしまうと既存の文章の意味が変わってしまう。私は日常的に数式を書くわけでは無いし、普段は$や\をエスケープせずにそのままの意味で使いたい。ブログ全体にLaTeX→MathML変換を適用するのは得策では無いだろう。

MathjaxにはMathMLに対応していないブラウザー向けにMathMLをHTML+CSSに置換する機能があり、LaTeXからの変換はしないで、それだけをすることも出来るようだ。ここはやはり エクスポート時点でMathMLへ変換 し、Chrome等が対応するまでMathjaxをブログのヘッダーに埋め込んでおき、将来ほとんどのブラウザーが対応したらMathjaxだけ取り外す、ということができると一番良いのではないか。

というわけで、エクスポート時に何とかorgのLaTeX部分をMathMLへ変換したい。

org-modeに既にMathML関連の関数が無いかと探してみると、 org-format-latex-mathml というものが見つかった。それに関連して二つのカスタマイズ可能な変数 org-latex-to-mathml-convert-command と org-latex-to-mathml-jar-file も見つかった。どうもこれはOpenDocumentエクスポートで使用する関数らしい。

MathToWeb というJavaで作られたプログラムを使用してLaTeX表記をMathMLへ変換するようだ。これは使える。

OpenDocumentエクスポートの時は #+OPTIONS: tex:mathml と書けばMathMLでエクスポートされる。これをHTMLエクスポートの時でも使えるようにしたい。

ox-html.elとorg.elを詳しく見た結果、次のように変更することで実現できることが分かった。

まず、ox-html.el内のorg-html-latex-environmentとorg-html-latex-fragmentはlatexで書かれた部分をhtmlへ変換する関数なので、これを修正する。(変更箇所はコメント;;BEGINと;;ENDで挟んである)

(defun org-html-latex-environment (latex-environment contents info)
  "Transcode a LATEX-ENVIRONMENT element from Org to HTML.
CONTENTS is nil.  INFO is a plist holding contextual information."
  (let ((processing-type (plist-get info :with-latex))
        (latex-frag (org-remove-indentation
                     (org-element-property :value latex-environment)))
        (attributes (org-export-read-attribute :attr_html latex-environment)))
    (case processing-type
      ((t mathjax)
       (org-html-format-latex latex-frag 'mathjax info))
;;BEGIN ADD
      ((mathml)
       (org-html-format-latex latex-frag 'mathml info))
;;END ADD
      ((dvipng imagemagick)
       (let ((formula-link
              (org-html-format-latex latex-frag processing-type info)))
         (when (and formula-link (string-match "file:\\([^]]*\\)" formula-link))
           ;; Do not provide a caption or a name to be consistent with
           ;; `mathjax' handling.
           (org-html--wrap-image
            (org-html--format-image
             (match-string 1 formula-link) attributes info) info))))
      (t latex-frag))))

(defun org-html-latex-fragment (latex-fragment contents info)
  "Transcode a LATEX-FRAGMENT object from Org to HTML.
CONTENTS is nil.  INFO is a plist holding contextual information."
  (let ((latex-frag (org-element-property :value latex-fragment))
        (processing-type (plist-get info :with-latex)))
    (case processing-type
      ((t mathjax)
       (org-html-format-latex latex-frag 'mathjax info))
;;BEGIN ADD
      ((mathml)
       (org-html-format-latex latex-frag 'mathml info))
;;END ADD
      ((dvipng imagemagick)
       (let ((formula-link
              (org-html-format-latex latex-frag processing-type info)))
         (when (and formula-link (string-match "file:\\([^]]*\\)" formula-link))
           (org-html--format-image (match-string 1 formula-link) nil info))))
      (t latex-frag))))

processing-typeがmathmlのとき、mathjaxと同じようにorg-html-format-latexを呼び出すようにした。ただし、引数のprocessing-typeは'mathmlとする。

それで呼ばれるorg-html-format-latex関数(ox-html.el内)は変更無し。ただし、この関数はorg-format-latex(org.el内)を呼び出す。

呼ばれるorg-format-latex関数(org.el内)も変更無し。ただし、この関数はorg-format-latex-as-mathml(org.el内)を呼び出す。

呼ばれるorg-format-latex-as-mathml関数(org.el内)はorg-create-math-formula関数(org.el内)を呼び出してLaTeX表記をMathMLへ変換する。そしてOpenDocument用にMathMLファイルへのリンク文字列([[file:hoge-formula-0780fe71dd8921d4e3ff293d9e68b588e526cd9c.mathml]] みたいなの)を生成する。これをリンクでは無く、変換後のMathMLの内容になるように修正する。

ただし、キャッシュを使うかどうかで迷う。元の実装は数式のSHA1ハッシュ値をファイル名にすることで、同じ数式は1回しか変換しないようになっている。この仕組みを流用すれば、同様に同じ数式を何回も変換することを避けることが出来る。その場合は、すでにキャッシュファイルを作るところまでは出来ているので、リンク文字列の代わりにキャッシュファイルの内容を読み込んで文字列にし、それを結果とすれば良い。

(defun org-format-latex-as-mathml (latex-frag latex-frag-type
                                              prefix &optional dir)
  "Use `org-create-math-formula' but check local cache first."
  (let* ((absprefix (expand-file-name prefix dir))
         (print-length nil) (print-level nil)
         (formula-id (concat
                      "formula-"
                      (sha1
                       (prin1-to-string
                        (list latex-frag
                              org-latex-to-mathml-convert-command)))))
         (formula-cache (format "%s-%s.mathml" absprefix formula-id))
         (formula-cache-dir (file-name-directory formula-cache)))

    (unless (file-directory-p formula-cache-dir)
      (make-directory formula-cache-dir t))

    (unless (file-exists-p formula-cache)
      (org-create-math-formula latex-frag formula-cache))

    (if (file-exists-p formula-cache)
        ;; Successful conversion.  Return the link to MathML file.
        (org-add-props
;;BEGIN DEL
;;          (format  "[[file:%s]]" (file-relative-name formula-cache dir))
;;END DEL
;;BEGIN ADD
            (with-temp-buffer (insert-file-contents formula-cache) (buffer-string))
;;END ADD

            (list 'org-latex-src (replace-regexp-in-string "\"" "" latex-frag)
                  'org-latex-src-embed-type (if latex-frag-type
                                                'paragraph 'character)))
      ;; Failed conversion.  Return the LaTeX fragment verbatim
      latex-frag)))

もし余計なファイルを生成するのが煩わしい場合は、毎回org-create-math-formulaを呼び出せば良い。一つの記事に数式がそれほど多くないのであればこれでも良いと思う(全体的に関数を差し替え)。

(defun org-format-latex-as-mathml (latex-frag latex-frag-type
                                              prefix &optional dir)
  "Use `org-create-math-formula' but check local cache first."
  (let* ((print-length nil) (print-level nil) ;;必要?
         (mathml (org-create-math-formula latex-frag)))

    ;; Successful conversion.  Return the MathML.
    (if mathml
        (org-add-props
            mathml

            (list 'org-latex-src (replace-regexp-in-string "\"" "" latex-frag)
                  'org-latex-src-embed-type (if latex-frag-type
                                                'paragraph 'character)))
      ;; Failed conversion.  Return the LaTeX fragment verbatim
      latex-frag)))

最後にorg-create-math-formula(org.el内)関数。余計なxmlヘッダーを付けるコードが入っているので修正する。

(defun org-create-math-formula (latex-frag &optional mathml-file)
  "Convert LATEX-FRAG to MathML and store it in MATHML-FILE.
Use `org-latex-to-mathml-convert-command'.  If the conversion is
sucessful, return the portion between \"<math...> </math>\"
elements otherwise return nil.  When MATHML-FILE is specified,
write the results in to that file.  When invoked as an
interactive command, prompt for LATEX-FRAG, with initial value
set to the current active region and echo the results for user
inspection."
  (interactive (list (let ((frag (when (org-region-active-p)
                                   (buffer-substring-no-properties
                                    (region-beginning) (region-end)))))
                       (read-string "LaTeX Fragment: " frag nil frag))))
  (unless latex-frag (error "Invalid LaTeX fragment"))
  (let* ((tmp-in-file (file-relative-name
                       (make-temp-name (expand-file-name "ltxmathml-in"))))
         (ignore (write-region latex-frag nil tmp-in-file))
         (tmp-out-file (file-relative-name
                        (make-temp-name (expand-file-name  "ltxmathml-out"))))
         (cmd (format-spec
               org-latex-to-mathml-convert-command
               `((?j . ,(shell-quote-argument
                         (expand-file-name org-latex-to-mathml-jar-file)))
                 (?I . ,(shell-quote-argument tmp-in-file))
                 (?o . ,(shell-quote-argument tmp-out-file)))))
         mathml shell-command-output)
    (when (org-called-interactively-p 'any)
      (unless (org-format-latex-mathml-available-p)
        (user-error "LaTeX to MathML converter not configured")))
    (message "Running %s" cmd)
    (setq shell-command-output (shell-command-to-string cmd))
    (setq mathml
          (when (file-readable-p tmp-out-file)
            (with-current-buffer (find-file-noselect tmp-out-file t)
              (goto-char (point-min))
              (when (re-search-forward
                     (concat
                      (regexp-quote
                       "<math xmlns=\"http://www.w3.org/1998/Math/MathML\">")
                      "\\(.\\|\n\\)*"
                      (regexp-quote "</math>")) nil t)
                (prog1 (match-string 0) (kill-buffer))))))
    (cond
     (mathml
;;BEGIN DEL
;;      (setq mathml
;;          (concat "<?xml version=\"1.0\" encoding=\"UTF-8\"?>\n" mathml))
;;END DEL
      (when mathml-file
        (write-region mathml nil mathml-file))
      (when (org-called-interactively-p 'any)
        (message mathml)))
     ((message "LaTeX to MathML conversion failed")
      (message shell-command-output)))
    (delete-file tmp-in-file)
    (when (file-exists-p tmp-out-file)
      (delete-file tmp-out-file))
    mathml))

というわけで、

  • 以上のように関数を修正(修正するとOpenDocumentエクスポートが壊れるので注意。私はOpenDocumentでエクスポートしないので気にしていない)
  • mathtoweb.jarをダウンロードして適当なところに置く
  • 変数をカスタマイズ
    • org-latex-to-mathml-convert-command を "java -jar %j -unicode -force -df %o %I"
    • org-latex-to-mathml-jar-file を "~/bin/mathtoweb.jar"
  • 数式を使いたい記事を書くorgファイルの先頭ある #+OPTIONS:tex:mathml を書き加える

これで式が書けるようになる。

T = [ cos θ - sin θ 0 sin θ cos θ 0 0 0 1 ]

\begin{displaymath}
T = \left[
\begin{array}{rrr}
\cos \theta & -\sin \theta & 0\\
\sin \theta & \cos \theta & 0\\
0 & 0 & 1
\end{array}
\right]
\end{displaymath}

原理的に式番号等の連番は振れないのが残念。

後はChromeでも表示できるように、Blogのヘッダーに次のhtmlを入れる……んだけど、本当に全体に適用しちゃっていいのかな。

<script type="text/javascript"
  src="http://cdn.mathjax.org/mathjax/latest/MathJax.js?config=MML_HTMLorMML">
</script>

後でもう少し調査する。

Org2Blogで使う上で少し修正。

  • org2blog/wp-use-wp-latexをnilにする。tだとWP LaTeX用の変換が使われてしまうので。
  • 変換後のMathMLから改行を取り除く。WordPress側で<br>が挿入されてしまうので。org-format-latex-as-mathmlを修正する。
(defun org-format-latex-as-mathml (latex-frag latex-frag-type
                                              prefix &optional dir)
  "Use `org-create-math-formula' but check local cache first."
  (let* ((print-length nil) (print-level nil) ;;必要?
         (mathml (org-create-math-formula latex-frag)))

    ;; Successful conversion.  Return the MathML.
    (if mathml
        (org-add-props
            (replace-regexp-in-string "[\n\r]" " " mathml) ;; 改行を削除する。WordPressが<br>を挿入しやがるので

            (list 'org-latex-src (replace-regexp-in-string "\"" "" latex-frag)
                  'org-latex-src-embed-type (if latex-frag-type
                                                'paragraph 'character)))
      ;; Failed conversion.  Return the LaTeX fragment verbatim
      latex-frag)))

WP LaTeXを使うという手もあったんですが、まぁ、今回はあくまでMathMLでエクスポートしたかったと言うことで。

(追記: 上記の修正をadviceの形でまとめた org-modeで数式を書く(HTMLへMathMLでエクスポートする) )

2014-11-12 ,

マルチプルタブハンドラ(Firefox拡張)

Feedlyでタブを一気に開くと、それを閉じるのが結構面倒くさい。タブをマウスのShift+クリックで範囲選択して、一気に閉じられたらなぁと思って調べてみた。

すでに入っていたTab Mix Plusにそんな機能は無いかなとShift+クリックしてみたらタブがピン留めされた。Ctrl+クリックはマージがどうのという機能らしいのだけどよく分からず。いずれにせよ、Tab Mix Plusにはそんな機能は無いようだ。

Google検索で調べた結果、Selecting multiple tabs, e.g. for mass window migrations によると、Multiple Tab HandlerかSession Managerを使うか、Bug 566510 – Allow multiselect operations on tabsの実現を待てということらしい。

マルチプルタブハンドラ (Multiple Tab Handler) :: Add-ons for Firefox を入れてみた。

すでにTab Mix Plusが入っているところにインストールすると、Tab Mix Plusで使われている操作と衝突するけどどうするかと聞かれた。素晴らしい気遣い! 当然マルチプルタブハンドラの操作だけを使うようにした。すると、タブを複数選択できるようになり、一括で閉じることが出来るようになった。

2014-11-12 , ,

Feedly Open All Unread Button Nov.2014

(2021-07-22追記:新しいのを作りました)

Feedlyに対する色々なユーザースクリプトが大分前に動かなくなったのを面倒くさいので放置していたのですが、重い腰を上げて未読を一気に別タブで開くのだけ実装しました。探せばどこかにあるのかもしれませんが、userscripts.orgが止まってからというものそれも面倒になりましたし、度々使えなくなるものなので、この際自分で調べて実装することにしました。

Feedlyサイト内の一つ一つのエントリーは.u0Entry(Title Only表示時)とか.u4Entry(Magazine表示時)とか.u5Entry(Cards表示時)とか.u100Frame(Full Articles表示時)とか、表示モードによって違うクラス名のdiv(以下、エントリーdiv)に囲まれるようですね。 エントリーdivではdata-で始まる属性で記事における様々な情報を表現しているようです。URLなんかはありますが、残念ながら既読未読の情報は無いようです。

未読だけを列挙するには、セレクターa.title.unreadにマッチするものを列挙すれば良さそうです。このa要素はエントリーdivの子孫ですが、何段下になるかは状況によって変わるようです。つまり、a.parentNode.parentNodeが必ずしもエントリーdivになるとは限りません。ただ、parentNodeをたどっていくといつかはエントリーdivにたどり着くようではあります。

記事のオリジナルURLは、aのhref=から求めても良いですし、エントリーdivのdata-alternate-link=から求めても良いでしょう。

URLを開いた後、記事を既読としてマークして一覧から消したいところです。Title Only表示の時はimg[title="Mark as read and hide"]にマッチする要素を、それ以外はspan.action[title="mark as read and remove from list"]にマッチする要素をクリックすることで実現できます。

後はUIです。開くボタンや一度に開く記事数のUIをページ内に追加したいです。しかしfeedlyが余分な要素を削除してしまう場合があるようだったので、1秒ごとに document.bodyの直下 (2014-11-13変更: .pageActionBarの直下) に挿入し直すようにしてみます。

以上を勘案して、次のようなスクリプトになりました。

function openUnreadEntries(limit){
    var unreads = document.querySelectorAll(".title.unread");
    var count = Math.min(unreads.length, limit || 5);
    for(var i = 0; i < count; ++i){
        // determine elements
        var title = unreads[i];
        var entry = (function(e){
            while(e && !e.getAttribute("data-alternate-link"))
                e = e.parentNode;
            return e;})(title.parentNode);

        // open url
        var url = (entry && entry.getAttribute("data-alternate-link")) ||
                title.getAttribute("href");
        window.open(url, "_blank");

        // mark as read and hide
        var readAndHideButton = entry && (
            entry.querySelector('.condensedTools img[title="Mark as read and hide"]') || //Title Only
            entry.querySelector('.action[title="mark as read and remove from list"]') //Magazine, Card, Full Articles
        );
        (readAndHideButton || entry || title).click();
    };
}
var BUTTON_CLASS_NAME = "openUnreadButton";
function createButton(){
    var div = document.createElement("div");
    div.style.display = "inline-block";
    div.style.border = "1px solid #bbb";
    div.style.borderRadius = "3px";
    div.style.verticalAlign = "top";
    div.className = "pageAction " + BUTTON_CLASS_NAME;

    div.innerHTML =
        '<input type="number" value="5" style="width:3em">'+
        '<input type="button" value="Open Unread">';

    var count = div.querySelector('input[type="number"]');
    var button = div.querySelector('input[type="button"]');
    button.addEventListener("click", function(e){
        openUnreadEntries(parseInt(count.value, 10));
    }, false);
    return div;
}
function setupUI(){
    var bars = document.getElementsByClassName("pageActionBar");
    for(var i = 0; i < bars.length; ++i){
        var bar = bars[i];
        if(!bar.querySelector("."+BUTTON_CLASS_NAME)){
            bar.insertBefore(createButton(), bar.firstChild);
        }
    }
}
setInterval(setupUI, 1000);

あとはこれをGreasemonkeyに登録して、 http://feedly.com/* で有効になるようにすればOKです。

2014-11-04 ,

JavaScriptペグソリティア

この間旅行に行ったときのこと。小さなレストラン兼お土産屋で食事をしたのですが、テーブルの上に木製のパズルが。挑戦してみたのですが全く解けませんでした。悔しかったので作りました。

JavaScript Peg Solitaire

ペグソリティアです。ペグ(黒いの)をドラッグして隣接する他のペグを飛び越えると、その飛び越えられたペグを取り除くことが出来ます。最終的にペグが一本になったら成功です。

English StyleでもEuropean Styleでも難しすぎて解ける気がしません。誰か解き方教えて!

編集機能が付いているので、簡単な問題を作って自分で解くのも楽しいです。自分の力量にあった問題を遊べますからね。出来た問題はURLで共有したり、ブログ等に埋め込むことも出来ます。

ほぼ一本道の簡単な問題(埋め込み)。


この辺りも簡単(URL共有)。

http://misohena.github.io/js_pegsolitaire/index.html?p=H+3+3+OPOPP__PP

穴15個くらいなら適当にやっても偶然解けたりしますね。


例によってソースはGitHubです。

2014-11-02 ,

JavaScript反転パズルゲーム

なんかこういうパズルってあったよなぁと思い出して作りました。

ずっと名前が思い出せなくて、少し作った後に検索してライツアウトだと思い出しました。そうそう、昔一時流行りましたよね。まぁ、私はあまりやってなかったんですけど。

その他のサンプルは使用例ページへ。ソースコードはGitHubへ。

問題が解けたらご褒美画像がもらえるような仕組みにしてみました。 でもスクリプトを見たら画像のURLが分かってしまうようだと興ざめなので、対策を施したバージョンも作ってあります。 一つは画像のファイル名に正解の手をエンコードした文字列を付加する方法。ランダムで出題できなくなりますが、一応解かないとファイル名が分かりません。正解の手は複数ある場合があるので、全ての正解をあらかじめ列挙しておく必要があります。意外と面倒くさい。 もう一つはサーバが出題・解答判定を行う方法。本当はセッション管理をして個別に問題を出題したかったのですが、面倒なのでIPアドレスと時刻などを使用して問題を決定します。解答が送られてきたときは、その問題が解答の手順で解けるかどうかを確認し、解ければ画像ファイルを送ります。 ググればSolverも見つかるようなパズルなので別にそこまでしなくても良いのでしょうが、別なゲームにも応用できそうなので少し考えてみました。

解法については未だ詳しくないのですが、5x5だけは確実に解ける方法を覚えました。

2014-10-30 ,

加速度センサーを使ったJavaScriptスキーゲーム

左右の傾きを検出できるようになったところなので何か応用を。……スキーゲームでも作りましょうか。

適当にどんな感じにするか決めて……(汚い字でスミマセン)

wpid-wp-1414652864075-150x150.jpeg

作ったのが以下(単独のプレイページはこちら)。


デバイス左右の傾きでスキーヤーが左右に動きます。ゲートをくぐって得点を競いましょう。

一応キーボードにも対応しました。あえて傾き操作のみにしようと思っていたのですが、開発中のテストプレイが面倒だったので対応しました。でも傾けるインタフェースに合わせてわざと操作しづらくしてあります。

ソースコードはGitHubで。

あ、そういえば、Nexus7(2012)で試したらdeviceorientationを使った方法だと姿勢が安定しなかったので、devicemotionを使って傾きを検出しています。Nexus5やXperia Z2だとどちらを使ってもそれほど違いは無かったのですが、Nexus7(2012)だと大きく違いが出ました。キャリブレーションすれば直るかもしれませんが、一応大丈夫な方を取りました。

スキーヤーの当たり判定は体の前半分にしかありません。なので、後ろ半分はポールに当たっても大丈夫です。

フィールドの座標系は上がY正方向、右がX正方向、原点はスタート地点下部中央という取り方をしてみました。慣れない座標系を使うと色々ミスをしますね。パパッと作りたい場合は普通にY正方向が画面下になる座標系の方が良かったかなぁと思ったり。

メモ書きではleftWallとrightWall(左右の黒い部分)というオブジェクトを見いだしていたのですが、実際に作っている途中でroad(中央の白い部分)にしました。壁だと左右を別々に管理しなければならず、かといって壁を延ばすときは同じ長さだけ伸ばすように注意しなければならないなど、少し無駄に面倒な気がしたので。

左右移動の速度調整が一番面倒でした。

あとはゲートの出現頻度。1分半(90000ms)までは100フレーム毎から40フレーム毎まで単調に減少していき、それ以降は(20+40*(100000/(100000+(time-90000))))フレーム毎という緩やかに漸近線をとりながら減少していくのを基本としつつランダムで±20フレームの揺れを入れてみました。2~3分くらいからもう少し沢山出た方が忙しくなって良いかもしれないけどどうかなぁ。

2014-10-28

JavaScriptでデバイスを左右に傾けて移動するユーザーインタフェース

デバイスの向きが取得できるようになったところなので、実際の応用を考えてみることにします。画面の中に何かが表示されていて、右に傾けたら右へ、左に傾けたら左へ移動するようなユーザーインタフェースというのはどうでしょう。

左右の傾きを検出するにはどうしたら良いでしょうか。

さて、そもそも「左右の傾き」とはいったい何でしょうか。

deviceorientationのgammaでしょうか? gammaはデバイスのY軸、つまり画面縦方向を軸とした回転角でした。確かに机の上にデバイスを水平において、少し左右に傾けたときの姿勢はY軸回りの回転だけで表されそうです。

しかしデバイスを手で持って顔の前で使っている場合はどうでしょう。左右に傾けるというのはZ軸(画面奥から手前に向けての軸)回りの回転ではないでしょうか。

仰向けに寝そべって天井に向けてデバイスを持っている場合はどうでしょう。これはY軸の回転で左右操作をしそうですね。人によってはZ軸で操作するかもしれません。

これらに共通するものは何でしょうか。人は左右の傾きを何を基準に入力しているのでしょうか。

おそらく、X軸(デバイス横方向の軸)の傾きではないでしょうか。つまり、X軸の正方向(右方向)が地を向けば右、逆に天を向けば左なのではないでしょうか。これはデバイス(板)の上に乗っているボールが重力に沿って左右に動く様を想像しているのかもしれません。

となれば、デバイスのX軸が地面に対して何度傾いているかを計算すれば、左右の傾きになりそうです。

デバイスの向きがdeviceorientationイベントのalpha, beta, gammaで表されるとき、デバイス座標rから地球座標r'への変換は次の式になるのでした。

r' = matRotZ(alpha)*matRotX(beta)*matRotY(gamma)*r

(rとr'は列ベクトル、matRotZ(alpha)はZ軸回りにalpha度回転する変換行列)

今知りたいのはデバイスのX軸正方向を地球座標へ変換したときにZ軸(地面に対して垂直な軸)方向が正になるか負になるかです。

デバイスのX軸正方向を代表する座標 r=[1,0,0] を変換元にして、行列を全て結合すると次のようになります。

r'= [ cos(alpha)*cos(gamma)-sin(alpha)*sin(beta)*sin(gamma) ]
    [ sin(alpha)*cos(gamma)+cos(alpha)*sin(beta)*sin(gamma) ]
    [ -cos(beta)*sin(gamma)                                 ]

つまり、r'_z=-cos(beta)*sin(gamma) が答えになります。これが正なら左に傾き、負なら右に傾いていることになります。

地面と平行な面との角度を知りたければsin^-1をとります。斜辺が長さ1のデバイスX軸正方向に沿ったベクトル、垂線がr'_zの三角形を思い浮かべれば分かると思います。

th = sin^-1(-cos(beta)*sin(gamma))

これだと画面の回転を考慮していません。デバイスの自然な向きで使用しているときは問題ありませんが、portraitやlandscapeといった画面の向きを変えるとおかしな事になります。

それを補正するために、screen.orientation.angleを使用します(もしこのプロパティが使えないならlockOrientationで画面の向きを固定するか、諦めて他の入力方法に切り替えた方が良いかもしれません)。

画面上の座標からデバイス座標へ変換するには、screen.orientation.angleだけZ軸まわりに逆回転させます。なので、画面上の座標から地球座標へ変換する式は次のようになります。

r' = matRotZ(alpha)*matRotX(beta)*matRotY(gamma)*matRotZ(-screen.orientation.angle)*r

先ほどと同じように行列を結合すると次のようになります。

angle = -screen.orientation.angle
r' = [ cos(alpha)*cos(gamma)*cos(angle) -sin(alpha)*( cos(beta)*sin(angle)+sin(beta)*sin(gamma)*cos(angle) ) ]
     [ sin(alpha)*cos(gamma)*cos(angle) +cos(alpha)*( cos(beta)*sin(angle)+sin(beta)*sin(gamma)*cos(angle) ) ]
     [ sin(beta)*sin(angle)-cos(beta)*sin(gamma)*cos(angle)                                                  ]

角度は次のようになります。

th = sin^-1(sin(beta)*sin(angle)-cos(beta)*sin(gamma)*cos(angle))

最終的なJavaScriptのコードは次のようになります。

function toRad(deg){return deg*(Math.PI/180);}
function toDeg(rad){return rad*(180/Math.PI);}
function getLeftTiltAngle(ev){
    // r = rotz(alpha)*rotx(beta)*roty(gamma)*rotz(-screen.orientation.angle)*colvec[1,0,0]
    // tilt = sin^-1(r.z)
    var b = toRad(ev.beta);
    var c = toRad(ev.gamma);
    var d = toRad(-screen.orientation.angle);
    var rz = Math.sin(b)*Math.sin(d)-Math.cos(b)*Math.sin(c)*Math.cos(d);
    return toDeg(Math.asin(rz));
}

以上の論法はDeviceOrientation Event SpecificationのWorked Exampleに書いてあるのとほとんど同じです。そちらはデバイス背面方向の方位を求める例ですね。

他にもdevicemotionイベントを使用して傾きを求める方法もあります。傾きを求めるだけならばコンパス(方位)の情報は不要なので、むしろこちらの方が本筋かもしれません。accelerationからaccelerationIncludingGravityを引くと重力加速度のベクトルが得られます。そのベクトルからデバイスX軸正方向の成分だけを取り出せば良いのです。もちろん画面の向きを考慮するなら、X軸正方向のベクトルをscreen.orientation.angleでZ軸回りに逆回転させて、そのベクトルと重力加速度のベクトルとの内積を求めます。JavaScriptのコードにすると次のようになります。

function getLeftTiltAngleFromMotionEvent(motionEvent){
  var gravityX = motionEvent.acceleration.x - motionEvent.accelerationIncludingGravity.x;
  var gravityY = motionEvent.acceleration.y - motionEvent.accelerationIncludingGravity.y;
  var gravityZ = motionEvent.acceleration.z - motionEvent.accelerationIncludingGravity.z;
  var screenAngleRev = toRad(-screen.orientation.angle);
  var rightX = Math.cos(screenAngleRev);
  var rightY = Math.sin(screenAngleRev);
  var dotGR = rightX * gravityX  + rightY * gravityY;
  var rightGravity = dotGR / Math.sqrt(gravityX*gravityX+gravityY*gravityY+gravityZ*gravityZ);
  return -(90 - toDeg(Math.acos(rightGravity)));
}

両方の方法を試してみましたが、deviceorientationを使った方が若干安定しているように見えます。devicemotionを使った方は、デバイスを振ったときに角度が大きく変化してしまいました。

以下、動作例。対応しているブラウザだと赤いバーが左右に動くはず。

2014-10-28

JavaScript DeviceOrientationでデバイスの向きや加速度を得る

JavaScriptのDeviceOrientationイベントについて調べたついでに、向きや加速度をグラフで表示するものを作りました。Android(Nexus5, Xperia Z2 Tablet)のChromeとFirefoxで動作を確認。

DeviceOrientationイベントでは、デバイスの標準的な画面の向きに対して右がX軸正方向、上がY軸正方向、手前がZ軸正方向という座標系をデバイス座標フレーム(Device coordinate frame)と称して、それを前提にした回転角や加速度が色々と得られます。

例えばwindowオブジェクトのdeviceorientationイベントが発生したとき、そのイベントオブジェクトのalpha, beta, gammaプロパティの値はそれぞれZ軸, X軸, Y軸まわりの回転角(度数単位)を表します。X軸正方向を東、Y軸正方向を北、Z軸正方向が天頂を指すような姿勢を基準として、そこから現在のデバイスの姿勢への回転角が取得できます。ただし、absoluteプロパティがfalseの時は、そのような絶対的な値ではない、何らかの近似値となるようです(詳細不明)。角度が得られない場合、各プロパティはnullになります。

加速度はdevicemotionイベントで得られます。accelerationプロパティとaccelerationIncludingGravityプロパティではデバイス座標フレームでの角軸方向の加速度(m/s^2)が得られます。accelerationは手に支えられて落下しないときに0、accelerationIncludingGravityは自由落下(無重力)の時に0(手で持っているときは天頂方向へ約9.8m/s^2加速)となります。(2014-12-16追記: AndroidとiOSとで軸の向きが逆になっているようです。右へ加速させたとき、Androidだとxは正になりますがiOSだと負になります。yもzもそれぞれ逆向きです)

devicemotionイベントのrotationRateプロパティでは角速度がdeg/sの単位で得られます。

devicemotionイベントのintervalプロパティでは加速度検出の分解能がミリ秒で得られるようです。ただ、Android版のFirefoxでは100msを返しておきながら、数ミリ秒(5ms前後)間隔というきわめて細かい単位でイベントが発生しており、どうなっているのかよく分かりません。イベント毎にグラフを更新したら重すぎてしかたがなかったので、ある程度間引く処理を入れました。

ちなみに、deviceorientationイベントの方は定期的にイベントが起きるわけではなく、姿勢に変化が起きたときか、または、新しいリスナーが登録されたときとのことです。

一番注意しなければならないのは、デバイス座標フレームはあくまでデバイスの姿勢を基準にしたものであって、画面の内容を基準にしたものでは無いという点です。つまり、画面の向き(screen.orientation)が縦(portrait)であろうが横(landscape)であろうが、得られる値はデバイスの標準的な向きを基準にした値のみが得られます。なので、画面の向きを基準にしたい場合は、何らかの補正処理が必要になります。

補正にはscreen.orientation.angleプロパティが使えそうですが、対応していないブラウザも多いようです。screen.orientation.typeでは4種類の向きの内いずれかが分かりますが、結局どれが標準的な向きなのかが分からないので困ります。向きをscreen.orientation.lock("natural")してしまえば良いのかもしれませんが、それで済むとも限らないですよね。どうすれば良いんでしょうね。