Loose-Info.com
Last Update 2026/05/09
TOP - 各種テスト - LLM - ローカルLLMの実測値比較 - コーディング - Nemotron 3 Nano Omni

低スペック寄りのPCでローカルLLMを動作させた際の記録です。
LLM以外の仮想マシンなどが起動され、多少負荷がかかった状態で実行しています。
ベンチマークなどでLLMの性能を評価する内容ではありません。

検証用PC

OS

Debian GNU/Linux 12 (bookworm)

CPU

Intel(R) Core(TM) i5-14400F

GPU

GeForce RTX 3060 12GB

メモリ

DDR4 PC4-25600 32GB × 4

SSD

crucial P310 CT1000P310SSD8-JP

構築環境 : Docker + Ollama (特別な設定などは無い状態)

検証用プロンプト

``` ### 依頼内容 - コード生成 ### 指示 - C言語 - コード以外の出力は不要 - 中括弧スタイルはオールマン - テストコードも生成 - テストコードは別ファイル - 実行用ソースファイル名 : sample_code.c - テスト用ソースファイル名 : sample_test.c - 標準ヘッダ以外は使用しない - 戻り値はEXIT_SUCCESSを使用 - 関数はmain()の前で定義 ### コード仕様(sample_code.c) - コマンドラインから整数2つを取得 - [引数1]から[引数2]までをインクリメントして空白区切りで標準出力に出力 - 出力する文字列はmain()ではなく関数で生成 ### コード仕様(sample_test.c) - unity.hを使用しない ```

Nemotron 3 Nano Omni [実測結果一覧へ]

GPU無し
33b-q4_K_M(13.80TPS)  
GPU使用
33b-q4_K_M(18.87TPS)  

33b-q4_K_M(GPU無し)

Model architecture nemotron_h_omni parameters 33.0B context length 131072 embedding length 2688 quantization Q4_K_M 2026-05-05 total duration: 6m2.454505549s load duration: 101.656639ms prompt eval count: 236 token(s) prompt eval duration: 4.392540321s prompt eval rate: 53.73 tokens/s eval count: 4920 token(s) eval duration: 5m56.487013146s eval rate: 13.80 tokens/s

コード生成結果の概要

・C言語による生成 ・コード以外の出力無し ・コードの記述スタイルのオールマン指定を無視 (最外括弧のみオールマン) ・標準ヘッダ以外の使用無し ・関数戻り値は stdlib.h の EXIT_*** を使用 ・文字列生成関数 start > end の場合はNULL文字のみのメモリへのポインタを返す 文字列長に応じたメモリの確保(エラー処理有) インクリメント+空白区切りで文字列用メモリに書き込み 文字列用メモリへのポインタを返す ・main() 引数個数のチェック(エラー処理有) 文字列生成関数の呼び出し 生成文字列の標準出力への出力 文字列用メモリの解放 ・テストコードを別途生成 実行用コードと同一の文字列生成関数定義を記述 main()を伴うテストコード テストケースは3ケース (1) 整数1 < 整数2 (2) 整数1 == 整数2 (3) 整数1 > 整数2 (注) 上記概要は、検証用プロンプトを実測回数分実行した際の結果を使用しています。 LLMの生成結果は毎回一定ではないため、結果によっては上記内容通りではないことが考えられます。

生成コードの実行結果

sample_code.c : 検証用プロンプトにて生成されたコード
sample_test.c : 検証用プロンプトにて生成されたテストコード
$ gcc -Wall -o sample_code sample_code.c $ gcc -Wall -o sample_test sample_test.c $ ./sample_code 1 5 1 2 3 4 5$ ./sample_code -3 3 ← 改行の出力無し -3 -2 -1 0 1 2 3$ ./sample_code 1 1 1$ ./sample_code 5 1 $ ./sample_test ← テスト成功時の出力無し $

33b-q4_K_M(GPU使用)

Model architecture nemotron_h_omni parameters 33.0B context length 131072 embedding length 2688 quantization Q4_K_M 2026-05-05 total duration: 2m39.317863423s load duration: 87.235619ms prompt eval count: 236 token(s) prompt eval duration: 1.39888113s prompt eval rate: 168.71 tokens/s eval count: 2962 token(s) eval duration: 2m36.991866659s eval rate: 18.87 tokens/s

コード生成結果の概要

・C言語による生成 ・コード以外の出力無し ・コードの記述スタイルのオールマン指定を無視 ・標準ヘッダ以外の使用無し ・関数戻り値は stdlib.h の EXIT_*** を使用 ・文字列生成関数 文字列長に応じたメモリの確保(エラー処理有) インクリメント+空白区切りで文字列用メモリに書き込み 文字列用メモリへのポインタを返す ・main() 引数個数のチェック(エラー処理有) 文字列生成関数の呼び出し 生成文字列の標準出力への出力 文字列用メモリの解放 ・テストコードを別途生成 テスト対象関数の宣言 main()を伴うテストコード テストケースは4ケース (1) 整数1 < 整数2 (2) 整数1 < 整数2 ただし整数1と整数2は2桁 (3) 整数1 == 整数2 ただし整数1と整数2は0 (4) 整数1 == 整数2 (注) 上記概要は、検証用プロンプトを実測回数分実行した際の結果を使用しています。 LLMの生成結果は毎回一定ではないため、結果によっては上記内容通りではないことが考えられます。

生成コードの実行結果

sample_code.c : 検証用プロンプトにて生成されたコード
sample_test.c : 検証用プロンプトにて生成されたテストコード
$ gcc -Wall -o sample_code sample_code.c sample_code.c: In function ‘generate_numbers’: sample_code.c:18:9: warning: implicit declaration of function ‘memcpy’ [-Wimplicit-function-declaration] 18 | memcpy(p, tmp, len); | ^~~~~~ sample_code.c:3:1: note: include ‘<string.h>’ or provide a declaration of ‘memcpy’ 2 | #include <stdlib.h> +++ |+#include <string.h> 3 | sample_code.c:18:9: warning: incompatible implicit declaration of built-in function ‘memcpy’ [-Wbuiltin-declaration-mismatch] 18 | memcpy(p, tmp, len); | ^~~~~~ sample_code.c:18:9: note: include ‘<string.h>’ or provide a declaration of ‘memcpy’ $ gcc -Wall -o sample_test sample_code.c sample_test.c sample_code.c: In function ‘generate_numbers’: sample_code.c:18:9: warning: implicit declaration of function ‘memcpy’ [-Wimplicit-function-declaration] 18 | memcpy(p, tmp, len); | ^~~~~~ sample_code.c:3:1: note: include ‘<string.h>’ or provide a declaration of ‘memcpy’ 2 | #include <stdlib.h> +++ |+#include <string.h> 3 | sample_code.c:18:9: warning: incompatible implicit declaration of built-in function ‘memcpy’ [-Wbuiltin-declaration-mismatch] 18 | memcpy(p, tmp, len); | ^~~~~~ sample_code.c:18:9: note: include ‘<string.h>’ or provide a declaration of ‘memcpy’ /bin/ld: /tmp/ccHKNkQ0.o: in function `main': sample_test.c:(.text+0xc9): multiple definition of `main'; /tmp/ccfm8rLZ.o:sample_code.c:(.text+0xfa): first defined here collect2: error: ld returned 1 exit status $ vi sample_code.c ← main()関数重複エラー解消のため条件付きコンパイル用の#ifndefマクロを追加 $ gcc -D TEST_MAIN -Wall -o sample_test sample_code.c sample_test.c sample_code.c: In function ‘generate_numbers’: sample_code.c:18:9: warning: implicit declaration of function ‘memcpy’ [-Wimplicit-function-declaration] 18 | memcpy(p, tmp, len); | ^~~~~~ sample_code.c:3:1: note: include ‘<string.h>’ or provide a declaration of ‘memcpy’ 2 | #include <stdlib.h> +++ |+#include <string.h> 3 | sample_code.c:18:9: warning: incompatible implicit declaration of built-in function ‘memcpy’ [-Wbuiltin-declaration-mismatch] 18 | memcpy(p, tmp, len); | ^~~~~~ sample_code.c:18:9: note: include ‘<string.h>’ or provide a declaration of ‘memcpy’ $ ./sample_code 1 5 1 2 3 4 5 $ ./sample_code -3 3 -3 -2 -1 0 1 2 3 $ ./sample_code 1 1 1 $ ./sample_code 5 1 $ ./sample_test PASS: 1 to 5 -> 1 2 3 4 5 PASS: 10 to 12 -> 10 11 12 PASS: 0 to 0 -> 0 PASS: 5 to 5 -> 5

© loose-info.com All Rights Reserved.