データクレンジング時に必要な操作や機能

2015年 08月 01日

「データはありますよ。」と、Excelブックで渡されることがあります。
見た目は綺麗なデータに見えますが、そのExcelをAccessにインポートしようとしても、すんなりとはいかないことがほとんどです。
90％ぐらいは、出来ません！！キッパリ。システムからダウンロードしたCSVファイルであってもです。

これまで派遣社員として数社の企業で働いてきましたが、どこも真面なデータベースはありませんでした。
Accessにインポートできるデータにするためには、Excelであれこれ、たーくさん作業しなければなりません。

また、Excelで既存の表をテーブルやピボットテーブルに変換しようとしてもうまくいかないことも多々あります。以下の記事で解説しています。

市販のテキストや、パソコン教室で学習する時のデータは、綺麗なんです。クレンジングの必要がないデータなんです。だから、うまくいくんですね。

ただ、職場では、そんな綺麗なデータは存在しないことがほとんどです。表として綺麗に装飾されたデータなんです。データをクレンジングするところから、戦いが始まります。分析できるデータを作成するには、相当なエネルギーを要します。手元に届くExcelブックをすべてクレンジングしないとデータにはならないからです。

そのデータクレンジング時に必要な操作や機能です。
最低、これぐらいの操作や機能は知っておかなければ、クレンジングはできません。

●重複のチェック
これは、Excel2007以降であれば標準の機能ですね。「ホーム」タブにある「条件付き書式」を使うといいですね。
●重複の削除
これも標準の機能です。「データ」タブにあります。
●空白の削除
これは、「検索と置換」ダイアログボックスを起動して置換作業でできます。
Excelは、Wordと違ってセル内の空白スペースが分かりづらいですね。Accessにインポートした場合、文字列の前や後ろに空白スペースがあると別物と認識されてしまいます。データの抽出などを行った際に、意図しない結果となることがあります。文字列の前後の空白スペースは要注意です。
●Vlookup関数
Excelが出来るというレベルは、この関数は使えるくらいであってほしいなぁと思います。
正しい値を引っ張ってくるときに、よく使います。

●EXACT関数
隣り合った文字列が合っているかどうか確認するときに便利です。EXACT関数は、アルファベットの大文字と小文字が区別されます。
2つのワークシートを比較して、同じセルに同じ値が入力されているかどうかは、条件付き書式にEXACT関数を使って調べることができます。以下の記事では、データ修正されたときに塗りつぶしを設定する方法を紹介していますが、データを比較をするときにも活用できます。
●文字列から文字をとり出す関数
入力された文字列はばらばらなんですよ。文字数もばらばらです。

●TEXT関数

文字列の文字数を揃えるときに便利です。たとえば、本来は先頭に0がついた4文字の番号なのに、先頭の0が抜けて3文字の番号になっているものがあった時などに便利です。

●データ型の変換
日付に見えても、文字列のときがあります。これじゃ、時間の計算はできませんからね。
これ、区切り位置を使うと便利です。姓名を分けるときにも使えます。重宝する機能です。ピボットテーブルで日付のグループ化ができないでも解説しています。
●文字列変換アドイン　こちらのサイトのアドインは、便利なものが多いです。お世話になっています。

日本語ってヤダなぁと思います。全角カタカナ、半角カタカナ、アルファベットの全角、半角、漢字、ひらがな、機種依存文字、外字。。。本当に面倒。英語圏の人は、こんなに苦労はしないんじゃないでしょうか？

複数人で使うものに関しては、特に最初のルール決めは重要です。そして、そのルールを徹底的に守らせること。

いい加減なデータが多い原因は、ルールを守らない、皆が入力しやすい方法で入力してしまうというのがあります。

そして、Excelでの管理は限界があることも知って欲しいものです。

入力規則をつけてるからと安心なんてことはありません。入力規則は、コピーして貼り付けたりするとリスト以外の値を簡単に入力することができます。

ピボットテーブルやテーブルが作成できない場合の見直し点もまとめてみました。テーブルを作成する場合もデータクレンジングは必要です。

主たるデータは1つでなければいけないのに、複数存在することもあります。データをエクスポートして加工するのはExcelでいいのです。が、データは一つでなければならないのです。

最後にもっとも重要なことは、気力と体力です。いかんせん、孤独な戦いです。空しくなるような作業です。企業の末端で働いた人しか分からないかもしれませんね。

データクレンジングについて愚痴ってます。