サイドバーにプロフィールとカテゴリーを表示したいのですが、どこから入ればその設定ができるのでしょうか？

livedoor Blogでプロフィールを付けるのは、「プロフィール(新)」というプラグインを追加することで可能です。

プラグインの追加は、
投稿ページ、管理ページなどの上にある

管理ページトップ|ブログの投稿|カスタマイズ/管理|モバイル設定

の「カスタマイズ/管理」をクリックして「ブログの設定」のページを開き、左横にある

　ブログの設定/管理
ブログの設定 / ユーザー情報
デザインの設定
プラグインの設定 / 新規追加

の「新規追加」をクリックし「プラグインの追加」ページの「基本プラグイン」をクリックすると、「プロフィール(新)」が見つかります。右端の［追加する］をクリックして下さい。

プラグインの位置、順番は「プラグインの設定」で設定します。
一番下に「プロフィール(新)　Profile」として、今設置したプラグインが出ています。
タイトルを変えたければ、「Profile」を適当に変え、設置したいのが
左のサイドバーの一番上なら、数字を「0」に、位置を「A」にして
一番下の［順序/タイトルを変更する］をクリックします。

プロフィール情報は、上で書いた「ブログの設定」ページの左横にある「ユーザー情報の設定」で設定します。

性別、生年月日、都道府県別ブログポータル用の都道府県などの登録ができます。

写真を使いたい場合は、下のほうの

アイコン（表示する画像）　　　　○ 画像を表示   （ファイルを選択）
※表示画像が更新されない時は　　● livedoor アバターを表示 
Ctrl + F5を押してください

（ファイルを選択）で写真を選んだら、「画像を表示」をマーク●してください。

一番下の［この内容で設定する］をクリックして設定します。

後は、「ブログに設定を反映（再構築）」のページに移動し、
［インデックス（トップの記事）］になっているプルダウンフォームを［サイドバー（プラグイン）］に合わせ、
［ブログを再構築する］をクリックし、「サイトの再構築が完了しました。」のメッセージが出たら、終了です。
ブログを開き直して（更新して）確認してください。

　トップページで「カスタマイズ/管理」からプラグインの「新規追加」を選び、出てきた画面で「基本プラグイン」をクリックすればプラグインを設定するところがあります。

新しいプラグインの追加の手順が次に分かりやすく説明されていますので是非参考にされてお進め下さい。