前回は、OCRを完璧にするのではなく、丸の見落としを減らし、誤検出は残して人が消す方針に切り替えました。
その結果、一覧には「?」がずらりと並びます。本物の番号の丸もあれば、ダクトや関節の丸い形もあります。これを速く片付けられなければ、方針を変えた意味がありません。
今回は、1.8.2から1.9.1までの記録です。最初はマウスで、途中からキーボードで、片付ける手順を詰めていきました。その中で、企画の当初にはなかった「棚卸モード」が生まれます。
完成したWindows用ソフトは無料公開中です。→ ダウンロード・動作環境はこちら
一覧より、拡大画像を見た方が早い
1.8.1の「未認識のみ表示」で全部を選んだ画面を見て、こう考えました。
最終的には運用者の手数を減らすことだから検出率ではなくここでUIを詰めたい。
一覧は全部「?」なので、どれが本物か区別できません。でも、人が拡大画像を見れば、番号の丸かどうかはすぐ分かります。
そこで考えたのが、選択を画像の上で外していく手順です。まず「?」を全部選ぶ。拡大画像の中で本物の番号をCtrl+クリックして、選択から外す。最後に、選ばれたまま残った誤検出をまとめて削除する。誤検出だけが消え、OCRが番号を読めなかった本物の丸は残ります。
Codexへの1.8.2の指示書は、目的をこう書いて始めています。
未認識候補を全選択した状態から、拡大画像上で正しい番号ラベルをCtrl＋左クリックして選択解除し、残った誤検出だけを一括削除できるようにする。
OCR修正は通常操作であり、操作回数の削減を重視する。
普通のクリックは逆引き、Ctrl+クリックは選択の反転、ドラッグは画面の移動。既存の操作とぶつからないように、それぞれの役割も指示書に並べました。
1.8.2で誤検出を消した後の画面です。
拡大表示で？の誤検出を削除した状態。この後はLVで上から？を一個選択、表示された数値を入力していけば良いからかなり効率よくいける。
残った「?」を一覧の上から1つずつ選び、拡大画像に映った番号を打ち込んでいけば終わります。
選んだまま、その場で直したい
ただ、やってみると、本物の丸を外し忘れたまま削除すると消えてしまいます。それに、外していく作業自体が思ったより多い。
○以外を誤検出した方が圧倒的に多かったので作業としては当初の想定の方が少ない。選択状態をキープしたままOCR失敗に数値入力して選択解除する操作を実現できれば混在から正解を抜いていけるのだがUI設計がむずいな
答えは、少し考えて出ました。
Ctrl＋ダブルクリックで番号編集 これだ。
拡大画像の番号をCtrl+ダブルクリックすると、その近くに入力欄が出る。番号を入れて確定すれば、その丸は選択から外れる。誤検出のほうが多い画像では、本物を直しながら外し、最後に残りをまとめて消せます。
クリックとダブルクリックの両立には、昔の経験も効いています。
ダブルクリック時もクリックイベントも飛んでくるのは昔のWindowsからだったが割と泣かされた記憶。
ダブルクリックしたときも、1回目のクリックは届きます。クリックをなかったことにするのではなく、クリックはクリックとして処理し、ダブルクリックではさらに処理を足す。そうしないと破綻する、と伝えました。
1.8.3では、このCtrl+ダブルクリックの編集と、枠線の太さを1〜4pxから選べる設定を入れました。触った感想は「編集機能としてかなり優秀」です。
マウスより、キーボードの方が楽だった
1.8.3で本番に近い使い方を続けるうちに、使い方そのものが変わりました。
マウスではなくキーボード操作が楽だと気づいた。LV上から↓キーで確認していく。間違いを消すなり修正。
まず誤検出をまとめて消し、絞り込みを外して、一覧を上から↓キーで1つずつ確かめる。間違っていれば消すか直す。
ここで引っかかったのが、直したり消したりした後に、どの行が選ばれるかです。消した後は選択が外れる。直した後はその番号が選ばれたままになる。確かめる作業なら次の行へ進んでほしいのに、そうならない。
ところが、貼る作業では話が逆になります。直した番号は、そのまま次に貼る候補でもあります。選ばれたままの方が都合がいい。
編集モードと貼り作業モードで挙動を変える方向にしよう。全てで操作ぶつからない、片方を我慢しない方向でUIを整理しよう
編集モードを棚卸モードにしようか。確認終わったモノは表示しない、操作を崩さない設計を検討してみて
棚卸モード：確かめたものは消え、次へ進む
確かめる作業を、店の在庫を数える棚卸に見立てました。棚卸モードに入ると、一覧の番号を1つずつ確かめていきます。
- Spaceで「合っている」と確定すると、その行は一覧から消え、次の行が選ばれる。
- 直したり消したりした後も、元の位置の次の行が選ばれる。
- Spaceの長押しでの連続確定は止める。うっかり何十件も確定しないためです。
- 2回目の棚卸のために、選んだ範囲をまとめて確定する操作も用意する。
- 直前の1操作は元に戻せる。戻せるので、削除の確認ダイアログはOFFにできる。
棚卸モードを終えると、通常の貼り作業のモードに戻ります。貼り作業では、直した番号を選んだままにします。棚卸の確認と貼付済みのチェックは、別の状態として保存します。
1.9.0の棚卸モードです。ツールバーの右に、まだ確かめていない件数が出ます。
メニューとツールバーにも、編集・削除・元に戻す・棚卸の操作をすべて並べました。キーだけで操作できれば速いのですが、それしかない作りは避けたかったからです。
ショートカットキーやコンテキストメニューってあくまでも時短簡単操作で慣れた人向けって位置づけだと思っていて、それでしか操作できないのは設計として不便で初心者初見殺し。なので手数増えてもメニューやツールバーに削除や編集の正規コマンドを配置したい
Enterで編集。手をホームポジションから動かさない
1.9.0を使い始めて、もう一つ気付きました。
基本LVフォーカスで↓で次々に目視確認。誤認識は削除。問題ないし。編集はF2もしくはダブルクリック。ここで[enter][del][カーソル]あたりに置いている手を大きく移動する。
確かめるのは↓、消すのはDel。直すときだけ、手がF2まで飛びます。それなら、一覧にフォーカスがあるときのEnterで編集を始めればいい。
Codexへの1.9.1の指示書では、既存のEnterの動きとぶつからないかを先に調べるよう書いています。検索欄のEnterは番号の場所へ移動、編集中のEnterは確定、棚卸のCtrl+Enterは選んだ範囲をまとめて確定。どれも、そのまま残す必要があります。
EnterがWinForms標準の処理に吸収されないようにする。
ただし、フォーム全体のEnter動作を変更しないこと。
1.9.1では、通常モードのSpaceで、選んでいる先頭の1件だけ済みを切り替えられるようにしました。枠線を4pxにしても目立たないという声から、赤い枠・青い枠の中を半透明で塗る設定も足しています。
検索した51番が、赤く塗られています。拡大画像の中でも、どこにあるかがすぐ目に入ります。
200個近くが、数分で終わった
1.9.1の仕上がりを確かめるために、仕掛かり中のテムジンの説明書を最初から通しました。第1回の冒頭でお見せした画面が、このときのものです。
白虹テムジンをリネームして最初から通した。満足。70-76が見当たらない。他に抜け番あるが、取りこぼし目視じゃ見つからない。
一覧を見ると、70〜76番がありません。全部選んでも、青い枠の付いていない番号の丸は見当たらない。OCRの見落としではなさそうです。
特定した。作成中に貼る指示出てたやつだ
70〜76番は、マーキング図ではなく、組み立て途中の手順の中で貼るよう指示されていたデカールでした。
そして、このときの感想です。
これは革命だ。自画自賛
棚卸が強力。企画当初は無かった機能だが、スペースとEnter、delでサクサクで200個近いデカール全部棚卸が数分で完了
時間を測ったわけではなく、私の体感です。テムジンの番号は161番までですが、同じ番号のデカールが何枚もあるので、貼る数は番号の数より多くなります。その200個近くを1つずつ確かめる作業が、数分で済むようになりました。
次回：仕事部屋からプラモ部屋へ
棚卸は、スキャナーとキーボードのある仕事部屋のPCで済ませました。でも、デカールを貼るのはプラモ部屋です。
次回は、棚卸したデータとソフトそのものを、プラモ部屋のPCへ運ぶ話です。
前の記事：OCRは完璧でなくていい。誤検出を残して、削る【AF-DecalFinder 第3回】
コメント