ディープラーニング

TensorFlow

TensorFlowのデータフォーマットTFRecordを読み込む

TensorFlowの保存形式TFRecordの中身を読み込んで見る TensorFlowにはTFRecordというバイナリ保存形式があるのですが、それを読み込んでみました。 './tf_records/wiki_aa.tf_recor...
ディープラーニング

Wikipediaから日本語コーパスを利用してSentencePieceでトークナイズ(分かち書き)

Wikipediaから日本語の大量の文章をダウンロードする から日本語コンテンツをダウンロードする(1時間ぐらいかかった)。 jawiki-latest-pages-articles.xml.bz2 がダウンロードしたファイル。 圧...