Autor Téma: rychlost kopírování z sda na sdb (Přečteno 4651 krát)

mouseman · « **kdy:** 15 Února 2010, 19:09:52 »

Dobrý den,
mám takový problém: 1.disk - sda, ext3, ATA100, na IDE 0. 2disk - sdb, ext3, ATA100, IDE 1 a rychlost kopírování souboru 8.5GB . avi mezi disky cca 15 - 20(někdy 30)MB. Myslím si, že reálná rychlost kopírování by měla být někde okolo 50MB. Už jsem pročetl všechno možné, ale výsledek žádný. Prosím poraďte.Dík

/dev/sda:
Timing cached reads: 716 MB in 2.00 seconds = 357.28 MB/sec
Timing buffered disk reads: 188 MB in 3.00 seconds = 62.66 MB/sec

/dev/sdb:
Timing cached reads: 710 MB in 2.00 seconds = 354.33 MB/sec
Timing buffered disk reads: 188 MB in 3.00 seconds = 62.63 MB/sec

mouseman · « **Odpověď #1 kdy:** 16 Února 2010, 13:06:52 »

nikdo se s tím nesetkal, nebo to nikdo netestoval? Mne by teda docela zajímalo, proč systém nejede jak má!

TIBOR · « **Odpověď #2 kdy:** 16 Února 2010, 13:31:55 »

Mne kopiruje v ramci dvoch particii na jednom SATA disku(5400 ot/s) 16-18MB. Cize nebude to tym ze to mas na jednom kabli a tym padom sa zapisuje v jednom momente iba na jeden disk?
Skus ich dat kazdy na iny radic(kabel) alebo spusti tie testy diskov naraz ked su na jednom kabli.

TomMiga · « **Odpověď #3 kdy:** 16 Února 2010, 14:35:36 »

Mám podobný problém.

Můj probém je v tom, že když kopíruju z HDD na flash disk soubor vetsi nez 100 MB tak krásně vidim jak prvních 100 MB je zkopírováno během cca 5 vteřin, ale pak to jede cca 4 MB/s, s tímto se nikdo nesetkal?

TIBOR · « **Odpověď #4 kdy:** 16 Února 2010, 14:40:58 »

Aku rychlu flash mas? Ak je pomala a jej bezna rychlost je okolo tych 4MB tak ten zaciatok sposobuje cashovanie do ram a po zaplneni tejto cash sa zacina kopirovat skutocnou rychlostou na aku je stavana.

mouseman · « **Odpověď #5 kdy:** 16 Února 2010, 17:22:48 »

jak píši na začátku 1.disk je na IDE 0 a ten druhý na IDE 1, což znamená, že NEJSOU na jednom kabelu.

TIBOR · « **Odpověď #6 kdy:** 16 Února 2010, 17:35:27 »

V tom pripade by nemal byt jeden sda a druhy sdc? Alebo to uz od doby kedy sa vsetky disky oznacuju sdx neplati?
Zeby som mal daco dostudovat?

mouseman · « **Odpověď #7 kdy:** 16 Února 2010, 18:49:41 »

nevím jak to má být, ale vidím jak to je! budeme se tu dohadovat, nebo radši vymyslíme něco ohledně toho problému. Zas taková lama nejsem, po těch letech.....Kdyby to bylo na jedné kšandě, tak tu rychlost vůbec neřeším.

arrange · « **Odpověď #8 kdy:** 16 Února 2010, 22:16:10 »

Můžeš poslat zkušební vzorek rychlosti z Terminálu? (Nebo si vymysli vlastní)

Jedná se o příkazy

Kód: [Vybrat]

sudo -s
df -Th | grep ext
dd if=/dev/zero of=/media/base/temp.bin bs=1M count=1000
echo 3 > /proc/sys/vm/drop_caches
dd if=/media/base/temp.bin of=/home/temp.bin.copy

(cesty za of= vyměň dle své situace)

Např. u mě

Kód: [Vybrat]

# budu kopírovat z sda5 na sdb1
# z výstupu je vidět, že místa je dost
# a že používám ext3
#########################
root@lean:~# df -Th | grep ext
/dev/sda8     ext4     15G  3.7G   10G  28% /
/dev/sdb1     ext3     78G   22G   52G  30% /home
/dev/sda5     ext3     29G  4.1G   23G  16% /media/base

# vytvořím si 1G soubor
###############
root@lean:~# dd if=/dev/zero of=/media/base/temp.bin bs=1M count=1000
1000+0 records in
1000+0 records out
1048576000 bytes (1.0 GB) copied, 18.8942 s, 55.5 MB/s
# rychlost zápisu je 55 MB/s

# vymažu RAM cache, aby neovlivnila výsledek
############################
root@lean:~# echo 3 > /proc/sys/vm/drop_caches

# zkopíruji na sdb1
########################
root@lean:~# dd if=/media/base/temp.bin of=/home/temp.bin.copy
2048000+0 records in
2048000+0 records out
1048576000 bytes (1.0 GB) copied, 31.0097 s, 33.8 MB/s
# rychlost kopírování je cca 33 MB/s

mouseman · « **Odpověď #9 kdy:** 17 Února 2010, 07:19:12 »

Dik za nápad. Ted jsem v praci. Večer to testnu.

jmp · « **Odpověď #10 kdy:** 17 Února 2010, 08:40:07 »

zkuste se jeste podivat na to v jakem rezimu ty disky bezi a jestli tam nevznikaji nejake chyby
tedy hdparm -i /dev/sdX pripadne hdparm -I /dev/sdX
a projit logy ve /var/log

mouseman · « **Odpověď #11 kdy:** 17 Února 2010, 18:47:19 »

výsledky hdparm:

Kód: [Vybrat]

hdparm -i /dev/sda

/dev/sda:

 Model=WDC, FwRev=05.04E05, SerialNo=WD-WCASY4987290
 Config={ HardSect NotMFM HdSw>15uSec SpinMotCtl Fixed DTR>5Mbs FmtGapReq }
 RawCHS=16383/16/63, TrkSize=0, SectSize=0, ECCbytes=50
 BuffType=unknown, BuffSize=16384kB, MaxMultSect=16, MultSect=16
 CurCHS=16383/16/63, CurSects=16514064, LBA=yes, LBAsects=976773168
 IORDY=on/off, tPIO={min:120,w/IORDY:120}, tDMA={min:120,rec:120}
 PIO modes:  pio0 pio3 pio4
 DMA modes:  mdma0 mdma1 mdma2
 UDMA modes: udma0 udma1 udma2 udma3 udma4 *udma5 udma6
 AdvancedPM=no WriteCache=enabled
 Drive conforms to: Unspecified:  ATA/ATAPI-1,2,3,4,5,6,7

 * signifies the current active mode
hdparm -I /dev/sda

/dev/sda:

ATA device, with non-removable media
   Model Number:       WDC WD5000AAKB-00H8A0                   
   Serial Number:      WD-WCASY4987290
   Firmware Revision:  05.04E05
   Transport:          Parallel, ATA8-APT
Standards:
   Supported: 8 7 6 5
   Likely used: 8
Configuration:
   Logical      max   current
   cylinders   16383   16383
   heads      16   16
   sectors/track   63   63
   --
   CHS current addressable sectors:   16514064
   LBA    user addressable sectors:  268435455
   LBA48  user addressable sectors:  976773168
   Logical/Physical Sector size:           512 bytes
   device size with M = 1024*1024:      476940 MBytes
   device size with M = 1000*1000:      500107 MBytes (500 GB)
   cache/buffer size  = 16384 KBytes
Capabilities:
   LBA, IORDY(can be disabled)
   Standby timer values: spec'd by Standard, with device specific minimum
   R/W multiple sector transfer: Max = 16   Current = 16
   Recommended acoustic management value: 128, current value: 254
   DMA: mdma0 mdma1 mdma2 udma0 udma1 udma2 udma3 udma4 *udma5 udma6
        Cycle time: min=120ns recommended=120ns
   PIO: pio0 pio1 pio2 pio3 pio4
        Cycle time: no flow control=120ns  IORDY flow control=120ns
Commands/features:
   Enabled   Supported:
      *   SMART feature set
          Security Mode feature set
      *   Power Management feature set
      *   Write cache
      *   Look-ahead
      *   Host Protected Area feature set
      *   WRITE_BUFFER command
      *   READ_BUFFER command
      *   NOP cmd
      *   DOWNLOAD_MICROCODE
          Power-Up In Standby feature set
      *   SET_FEATURES required to spinup after power up
          SET_MAX security extension
          Automatic Acoustic Management feature set
      *   48-bit Address feature set
      *   Device Configuration Overlay feature set
      *   Mandatory FLUSH_CACHE
      *   FLUSH_CACHE_EXT
      *   SMART error logging
      *   SMART self-test
      *   General Purpose Logging feature set
      *   64-bit World wide name
      *   Segmented DOWNLOAD_MICROCODE
      *   SMART Command Transport (SCT) feature set
      *   SCT Long Sector Access (AC1)
      *   SCT LBA Segment Access (AC2)
      *   SCT Error Recovery Control (AC3)
      *   SCT Features Control (AC4)
      *   SCT Data Tables (AC5)
          unknown 206[12] (vendor specific)
          unknown 206[13] (vendor specific)
Security:
   Master password revision code = 65534
      supported
   not   enabled
   not   locked
   not   frozen
   not   expired: security count
   not   supported: enhanced erase
   114min for SECURITY ERASE UNIT. 114min for ENHANCED SECURITY ERASE UNIT.
Logical Unit WWN Device Identifier: 50014ee202ba40c1
   NAA      : 5
   IEEE OUI   : 0014ee
   Unique ID   : 202ba40c1
HW reset results:
   CBLID- above Vih
   Device num = 0 determined by the jumper
Checksum: correct

hdparm -i /dev/sdb

/dev/sdb:

 Model=Hitachi, FwRev=V5DOA42A, SerialNo=VF1100R1CDA18B
 Config={ HardSect NotMFM HdSw>15uSec Fixed DTR>10Mbs }
 RawCHS=16383/16/63, TrkSize=0, SectSize=0, ECCbytes=51
 BuffType=DualPortCache, BuffSize=7372kB, MaxMultSect=16, MultSect=16
 CurCHS=16383/16/63, CurSects=16514064, LBA=yes, LBAsects=488397168
 IORDY=on/off, tPIO={min:240,w/IORDY:120}, tDMA={min:120,rec:120}
 PIO modes:  pio0 pio1 pio2 pio3 pio4
 DMA modes:  mdma0 mdma1 mdma2
 UDMA modes: udma0 udma1 udma2 udma3 udma4 *udma5 udma6
 AdvancedPM=yes: disabled (255) WriteCache=enabled
 Drive conforms to: ATA/ATAPI-7 T13 1532D revision 1:  ATA/ATAPI-2,3,4,5,6,7

 * signifies the current active mode

/dev/sdb:

ATA device, with non-removable media
   Model Number:       Hitachi HDT725025VLAT80                 
   Serial Number:      VF1100R1CDA18B
   Firmware Revision:  V5DOA42A
Standards:
   Used: ATA/ATAPI-7 T13 1532D revision 1
   Supported: 7 6 5 4 & some of 8
Configuration:
   Logical      max   current
   cylinders   16383   16383
   heads      16   16
   sectors/track   63   63
   --
   CHS current addressable sectors:   16514064
   LBA    user addressable sectors:  268435455
   LBA48  user addressable sectors:  488397168
   Logical/Physical Sector size:           512 bytes
   device size with M = 1024*1024:      238475 MBytes
   device size with M = 1000*1000:      250059 MBytes (250 GB)
   cache/buffer size  = 7372 KBytes (type=DualPortCache)
Capabilities:
   LBA, IORDY(can be disabled)
   Standby timer values: spec'd by Standard, no device specific minimum
   R/W multiple sector transfer: Max = 16   Current = 16
   Advanced power management level: disabled
   Recommended acoustic management value: 128, current value: 254
   DMA: mdma0 mdma1 mdma2 udma0 udma1 udma2 udma3 udma4 *udma5 udma6
        Cycle time: min=120ns recommended=120ns
   PIO: pio0 pio1 pio2 pio3 pio4
        Cycle time: no flow control=240ns  IORDY flow control=120ns
Commands/features:
   Enabled   Supported:
      *   SMART feature set
          Security Mode feature set
      *   Power Management feature set
      *   Write cache
      *   Look-ahead
      *   Host Protected Area feature set
      *   WRITE_BUFFER command
      *   READ_BUFFER command
      *   DOWNLOAD_MICROCODE
          Advanced Power Management feature set
          Power-Up In Standby feature set
          SET_FEATURES required to spinup after power up
          Address Offset Reserved Area Boot
          SET_MAX security extension
          Automatic Acoustic Management feature set
      *   48-bit Address feature set
      *   Device Configuration Overlay feature set
      *   Mandatory FLUSH_CACHE
      *   FLUSH_CACHE_EXT
      *   SMART error logging
      *   SMART self-test
          Media Card Pass-Through
      *   General Purpose Logging feature set
      *   WRITE_{DMA|MULTIPLE}_FUA_EXT
      *   64-bit World wide name
      *   URG for READ_STREAM[_DMA]_EXT
      *   URG for WRITE_STREAM[_DMA]_EXT
      *   Segmented DOWNLOAD_MICROCODE
      *   SMART Command Transport (SCT) feature set
      *   SCT Long Sector Access (AC1)
      *   SCT LBA Segment Access (AC2)
      *   SCT Error Recovery Control (AC3)
      *   SCT Features Control (AC4)
      *   SCT Data Tables (AC5)
Security:
   Master password revision code = 65534
      supported
   not   enabled
   not   locked
   not   frozen
   not   expired: security count
   not   supported: enhanced erase
   112min for SECURITY ERASE UNIT.
Logical Unit WWN Device Identifier: 5000cca210c59a25
   NAA      : 5
   IEEE OUI   : 000cca
   Unique ID   : 210c59a25
HW reset results:
   CBLID- above Vih
   Device num = 0 determined by the jumper
Checksum: correct

mouseman · « **Odpověď #12 kdy:** 17 Února 2010, 19:07:40 »

vkládám výsledky dle návodu od arrange:

Kód: [Vybrat]

root@dfghh:~# df -Th | grep ext
/dev/sda2     ext3     19G  3,4G   15G  19% /
/dev/sda5     ext3    276G  110G  152G  42% /data
/dev/sda6     ext3    163G  742M  154G   1% /web
/dev/sdb1     ext3    230G  100G  118G  46% /media/_pokus
root@mouse1:~# dd if=/dev/zero of=/home/temp.bin bs=1M count=1000
1000+0 vstoupivších záznamů
1000+0 vystoupivších záznamů
1 048 576 000 bajtů (1,0 GB) zkopírováno, 13,7611 s, 76,2 MB/s
root@mouse1:~# echo 3 > /proc/sys/vm/drop_caches
root@mouse1:~# dd if=/home/temp.bin of=/media/pokus/temp.bin.copy
dd: otevírám „/media/pokus/temp.bin.copy“: No such file or directory
root@mouse1:~# dd if=/home/temp.bin of=/media/_pokus/temp.bin.copy
2048000+0 vstoupivších záznamů
2048000+0 vystoupivších záznamů
1 048 576 000 bajtů (1,0 GB) zkopírováno, 40,2619 s, 26,0 MB/s
root@mouse1:~#

arrange · « **Odpověď #13 kdy:** 17 Února 2010, 21:01:28 »

Sám vůbec nevím, jestli 26MB/s je pomalu, nebo standard, já to mám o 25% rychlejší, ale je to zásadní rozdíl?

Jestli máš Ubuntu 9.10, můžeš tady ještě dát výpis ze SMART dat

Kód: [Vybrat]

devkit-disks --show-info /dev/sda | awk '/ATA\ SMART/,/*/'
devkit-disks --show-info /dev/sdb | awk '/ATA\ SMART/,/*/'

mouseman · « **Odpověď #14 kdy:** 17 Února 2010, 21:49:24 »

hodí mi to:
awk: line 1: regular expression compile failed (missing operand)

arrange · « **Odpověď #15 kdy:** 17 Února 2010, 21:52:46 »

Najdi ta data ve výpise devkit-disks --show-info /dev/sdx sám, vypadá to nějak takto

Kód: [Vybrat]

ATA SMART:                 Updated at Wed 17 Feb 2010 09:36:38 PM CET
      overall assessment:      Good
===============================================================================
 Attribute       Current|Worst|Threshold  Status   Value       Type     Updates
===============================================================================
 raw-read-error-rate         200|200| 51   good    0           Pre-fail Online 
 spin-up-time                190|159| 21   good    1.5 secs    Pre-fail Online 
 start-stop-count             98| 98|  0    n/a    2193        Old-age  Online 
 reallocated-sector-count    200|200|140   good    0 sectors   Pre-fail Online 
 seek-error-rate             200|200| 51   good    0           Pre-fail Online 
 power-on-hours               86| 86|  0    n/a    435.5 days  Old-age  Online 
 spin-retry-count            100|100| 51   good    0           Pre-fail Online 
 calibration-retry-count     100|100| 51   good    0           Old-age  Online 
 power-cycle-count            99| 99|  0    n/a    1799        Old-age  Online 
 temperature-celsius-2        98| 76|  0    n/a    45C / 113F  Old-age  Online 
 reallocated-event-count     200|200|  0    n/a    0           Old-age  Online 
 current-pending-sector      200|200|  0    n/a    0 sectors   Old-age  Online 
 offline-uncorrectable       200|200|  0    n/a    0 sectors   Old-age  Offline
 udma-crc-error-count        200|200|  0    n/a    0           Old-age  Online 
 multi-zone-error-rate       200|200| 51   good    0           Pre-fail Offline

mouseman · « **Odpověď #16 kdy:** 17 Února 2010, 22:14:45 »

Kód: [Vybrat]

devkit-disks --show-info /dev/sda

ATA SMART:                 Updated at St 17. únor 2010, 21:42:53 CET
      overall assessment:      Good
===============================================================================
 Attribute       Current|Worst|Threshold  Status   Value       Type     Updates
===============================================================================
 raw-read-error-rate         200|200| 51   good    0           Pre-fail Online 
 spin-up-time                163|161| 21   good    4,8 secs    Pre-fail Online 
 start-stop-count            100|100|  0    n/a    45          Old-age  Online 
 reallocated-sector-count    200|200|140   good    0 sectors   Pre-fail Online 
 seek-error-rate             100|253|  0    n/a    0           Old-age  Online 
 power-on-hours               94| 94|  0    n/a    188,7 days  Old-age  Online 
 spin-retry-count            100|253|  0    n/a    0           Old-age  Online 
 calibration-retry-count     100|253|  0    n/a    0           Old-age  Online 
 power-cycle-count           100|100|  0    n/a    43          Old-age  Online 
 power-off-retract-count     200|200|  0    n/a    22          Old-age  Online 
 load-cycle-count            200|200|  0    n/a    45          Old-age  Online 
 temperature-celsius-2       109|101|  0    n/a    38C / 100F  Old-age  Online 
 reallocated-event-count     200|200|  0    n/a    0           Old-age  Online 
 current-pending-sector      200|200|  0    n/a    0 sectors   Old-age  Online 
 offline-uncorrectable       200|200|  0    n/a    0 sectors   Old-age  Offline
 udma-crc-error-count        200|200|  0    n/a    0           Old-age  Online 
 multi-zone-error-rate       200|200|  0    n/a    0           Old-age  Offline

devkit-disks --show-info /dev/sdb
ATA SMART:                 Updated at St 17. únor 2010, 22:12:53 CET
      overall assessment:      Good
===============================================================================
 Attribute       Current|Worst|Threshold  Status   Value       Type     Updates
===============================================================================
 raw-read-error-rate         100|100| 16   good    0           Pre-fail Online 
 throughput-performance      100|100| 50   good    0           Pre-fail Offline
 spin-up-time                120|120| 24   good    328 msec    Pre-fail Online 
 start-stop-count            100|100|  0    n/a    1409        Old-age  Online 
 reallocated-sector-count    100|100|  5   good    0 sectors   Pre-fail Online 
 seek-error-rate             100|100| 67   good    0           Pre-fail Online 
 seek-time-performance       100|100| 20   good    0           Pre-fail Offline
 power-on-hours               98| 98|  0    n/a    842,0 days  Old-age  Online 
 spin-retry-count            100|100| 60   good    0           Pre-fail Online 
 power-cycle-count           100|100|  0    n/a    166         Old-age  Online 
 power-off-retract-count      99| 99|  0    n/a    2241        Old-age  Online 
 load-cycle-count             99| 99|  0    n/a    2241        Old-age  Online 
 temperature-celsius-2       142|142|  0    n/a    42C / 108F  Old-age  Online 
 reallocated-event-count     100|100|  0    n/a    0           Old-age  Online 
 current-pending-sector      100|100|  0    n/a    0 sectors   Old-age  Online 
 offline-uncorrectable       100|100|  0    n/a    0 sectors   Old-age  Offline
 udma-crc-error-count        200|200|  0    n/a    0           Old-age  Online

arrange · « **Odpověď #17 kdy:** 17 Února 2010, 22:22:18 »

Vše vypadá OK.
Jakou máš rychlost zápisu na tu starší mechaniku?

Kód: [Vybrat]

dd if=/dev/zero of=/media/_pokus/temp.bin bs=1M count=1000

mouseman · « **Odpověď #18 kdy:** 18 Února 2010, 07:01:12 »

Kód: [Vybrat]

dd if=/dev/zero of=/media/_pokus/temp.bin bs=1M count=1000
1000+0 vstoupivších záznamů
1000+0 vystoupivších záznamů
1 048 576 000 bajtů (1,0 GB) zkopírováno, 22,4353 s, 46,7 MB/s

Milhouse · « **Odpověď #19 kdy:** 18 Února 2010, 09:44:39 »

Cesty nejsou stejné, tudíž to vypadá na kopírování na stejný disk:

/dev/sdb1 ext3 230G 100G 118G 46% /media/_pokus
vs
root@mouse1:~# dd if=/home/temp.bin of=/media/pokus/temp.bin.copy

arrange · « **Odpověď #20 kdy:** 18 Února 2010, 11:48:54 »

Mám 2 SATA disky a rychlost při kopírování z jednoho na druhý je cca na polovině (60%) rychlosti zápisu na disk samotný, stejně jako u tebe. (viz moje a tvoje výpisy)

Čili bych řekl, že je to normální. Třeba se ale někdo ozve s většími zkušenostmi. Nebo vlastními výpisy pro porovnání.

mouseman · « **Odpověď #21 kdy:** 18 Února 2010, 12:48:06 »

ta rychlost se mi nezdála nejdříve po síti 1G, kdy kopírování velkých souborů jelo max 20MB, tak jsem začal hledat nejslabší článek a zjistil jsem, že to zřejmě nedají disky souborového serveru. V práci 1G síť při kopírování jede 55MB také přes sambu. Proto se hrabu v rychlosti disků v mašině s ubuntu 9.10. Když jsem zkoušel stejné kopírování pod win z disku na disk tak rychlost byla těch 50MB až 60MB.

jmp · « **Odpověď #22 kdy:** 19 Února 2010, 07:34:04 »

na HW zalezitost to opravdu nevypada, tak to patrne bude v tom, jakym zpusobem se s diskem pracuje
HOWTO: Tweak your ext3 filesystem for a performance boost: http://ubuntuforums.org/showthread.php?t=107856
dukladne si ale prectete i to, jaka rizika z uvedenych zmen vyplyvaji

mouseman · « **Odpověď #23 kdy:** 19 Února 2010, 17:12:31 »

Všem děkuji za pomoc. Když něco vykoumám, dám vědět.

Autor Téma: rychlost kopírování z sda na sdb (Přečteno 4651 krát)

jmp

jmp